ClaudeBot
Anthropic用于抓取网页内容训练Claude模型的网络爬虫，通过user-agent标识
核心事实
时间轴 (近 90 天)
Verified AI bot 请求量指标按已验证的 AI 机器人分别统计请求数，已验证的 AI 机器人通常指通过反向 DNS 或 IP 段校验确认身份的爬虫，例如 GPTBot、Google-Extended、ClaudeBot 等。
ClaudeBot在实测周期内对/sitemap-posts.xml发出128次请求，占该文件192次请求的三分之二。
在同周期约3000次AI爬虫请求中，首页被请求207次，具体分布为Googlebot 39次、GPTBot 29次、OAI-SearchBot 25次、BingBot 20次、ClaudeBot 11次。
GPTBot、PerplexityBot、ClaudeBot分别是OpenAI、Perplexity、Anthropic用于抓取公开网络内容的爬虫。
user-agent 名称拼写错误会导致规则静默失败，正确名称包括 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User。
Anthropic 有三个爬虫：ClaudeBot 用于训练、Claude-User 用于用户触发抓取、Claude-SearchBot 用于提升搜索结果质量。
GPTBot（OpenAI训练与检索）、OAI-SearchBot（ChatGPT搜索）、ClaudeBot、PerplexityBot、Google-Extended（Google的AI训练，独立于Googlebot）是当前最关键的AI爬虫标识
剔除仅因429限流被拒的14个站点后，仍有64个站点（11.7%）在robots.txt允许的情况下被服务器拒绝。
GPTBot、ClaudeBot、PerplexityBot等主流AI爬虫目前基本不执行JavaScript，因此对于JavaScript依赖渲染的站点，即使robots.txt和WAF都放行，它们拿到的内容仍为空。
GPTBot被服务器拒绝率为14.4%，其中11.1%发生在robots.txt允许的情况下；ClaudeBot被拒14.8%，10.9%在允许之下；PerplexityBot被拒11.3%，8.4%在允许之下；OAI-SearchBot被拒9.8%，8.0%在允许之下。
还有 14 条时间轴事件
全部知识事实 (20)
AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等
65%部分验证ClaudeBot is Anthropic's crawler
65%待验证主流AI爬虫包括GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google DeepMind）、Bytespider（字节跳动）
60%待验证Verified AI bot 请求量指标按已验证的 AI 机器人分别统计请求数，已验证的 AI 机器人通常指通过反向 DNS 或 IP 段校验确认身份的爬虫，例如 GPTBot、Google-Extended、ClaudeBot 等。
50%待验证GPTBot、PerplexityBot、ClaudeBot分别是OpenAI、Perplexity、Anthropic用于抓取公开网络内容的爬虫。
50%待验证user-agent 名称拼写错误会导致规则静默失败，正确名称包括 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User。
50%待验证Anthropic 有三个爬虫：ClaudeBot 用于训练、Claude-User 用于用户触发抓取、Claude-SearchBot 用于提升搜索结果质量。
50%待验证GPTBot（OpenAI训练与检索）、OAI-SearchBot（ChatGPT搜索）、ClaudeBot、PerplexityBot、Google-Extended（Google的AI训练，独立于Googlebot）是当前最关键的AI爬虫标识
50%待验证GPTBot、ClaudeBot、PerplexityBot等主流AI爬虫目前基本不执行JavaScript，因此对于JavaScript依赖渲染的站点，即使robots.txt和WAF都放行，它们拿到的内容仍为空。
50%待验证在549个对普通浏览器返回2xx的Tranco前1000站点中，78个（14.2%）拒绝了GPTBot、OAI-SearchBot、ClaudeBot或PerplexityBot中的至少一个，尽管它们的robots.txt明确允许这些爬虫。
50%待验证剔除仅因429限流被拒的14个站点后，仍有64个站点（11.7%）在robots.txt允许的情况下被服务器拒绝。
50%待验证GPTBot被服务器拒绝率为14.4%，其中11.1%发生在robots.txt允许的情况下；ClaudeBot被拒14.8%，10.9%在允许之下；PerplexityBot被拒11.3%，8.4%在允许之下；OAI-SearchBot被拒9.8%，8.0%在允许之下。
50%待验证OpenAI公开了GPTBot的文档以及如何允许或阻止它，Anthropic也为其ClaudeBot提供了同样的说明。
50%待验证GEO工作流中，页面必须能被AI爬虫（如GPTBot、ClaudeBot、PerplexityBot）爬取，否则无法被引用。
50%待验证Anthropic明确表示屏蔽ClaudeBot意味着网站的未来内容被排除在训练数据集之外，即屏蔽只对将来生效
50%待验证目前主流 AI 爬虫（GPTBot、ClaudeBot、Google-Extended 等）是否、以及在多大程度上读取 llms.txt，尚无公开的采用率或效果数据。
50%待验证AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
50%待验证攻击者大量伪造GPTBot、ClaudeBot、PerplexityBot等AI爬虫的User-Agent，一个IP在单次会话中轮换KimiBot、Qwenbot、Hunyuan等User-Agent，同时请求`.env`文件。
50%待验证Anthropic 的拆分逻辑与 OpenAI 一致：ClaudeBot 采集可能用于训练的内容，Claude-SearchBot 用于提升搜索结果质量，Claude-User 只在用户主动询问时抓取页面。
50%待验证很多网站的robots协议会屏蔽ClaudeBot、GPTBot等AI爬虫，导致这些AI引擎无法获取被屏蔽站点内容
50%