待验证85% 置信事实时间未知
AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等
1
来源数
85%
置信度
长期有效
时效性
2026/6/2
首次发现
来源
Claude Code SEO Skills实战：四大技巧重塑SEO工作流
bilibili犬哥网站
涉及实体
相关事实
待验证许多AI公司的爬虫被发现忽略robots.txt的限制指令，或使用未声明身份的爬虫绕过规则72% 相似待验证2024年的一项研究发现，在已知的AI训练爬虫中，超过35%的爬虫完全无视robots.txt的限制指令66% 相似待验证Anthropic使用'ClaudeBot'标识，Google的AI爬虫标识为'Google-Extended'，Perplexity使用'PerplexityBot'，Apple使用'Applebot-Extended'66% 相似待验证nanobot是一个Python项目，定位为超轻量级个人AI智能体65% 相似待验证ChatGPT和DeepSeek等AIGC技术的爆发正在赋予机器人前所未有的智能水平63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/37805API
curl https://kongchang.com/api/v1/knowledge/claims/37805MCP
get_claim(id=37805)