待验证60% 置信事实精确时间
主流AI爬虫包括GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google DeepMind）、Bytespider（字节跳动）
2
来源数
60%
置信度
中期 (~90 天)
时效性
2026/8/28
首次发现
有效期至：2026/11/26
来源
涉及实体
相关事实
待验证GPTBot（OpenAI训练与检索）、OAI-SearchBot（ChatGPT搜索）、ClaudeBot、PerplexityBot、Google-Extended（Google的AI训练，独立于Googlebot）是当前最关键的AI爬虫标识78% 相似待验证AI爬虫（如PerplexityBot、GPTBot、ClaudeBot、Google Gemini）更看重服务器初始响应、结构化语义数据和机器可读的入口文件，而不只依赖站点地图和链接图谱。74% 相似已验证代表性的AI编程Agent包括Devin（Cognition Labs）、SWE-Agent（普林斯顿团队自研）、OpenHands（原OpenDevin）以及Anthropic的Claude与工具使用结合的方案68% 相似待验证AI爬虫与机器人流量管理涉及区分三类自动化流量：合法搜索引擎爬虫（如Googlebot）、AI训练数据采集器（如OpenAI的GPTBot、Common Crawl）以及恶意机器人（内容窃取、凭证填充、库存囤积）。68% 相似待验证OpenAI和Google DeepMind也在进行类似的AI谄媚行为研究67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/812384API
curl https://kongchang.com/api/v1/knowledge/claims/812384MCP
get_claim(id=812384)