OAI-SearchBot
OpenAI用于为ChatGPT搜索功能抓取网页内容的爬虫，与训练数据采集爬虫GPTBot相区分
核心事实
时间轴 (近 90 天)
在同周期约3000次AI爬虫请求中，首页被请求207次，具体分布为Googlebot 39次、GPTBot 29次、OAI-SearchBot 25次、BingBot 20次、ClaudeBot 11次。
GPTBot、PerplexityBot、ClaudeBot分别是OpenAI、Perplexity、Anthropic用于抓取公开网络内容的爬虫。
如果屏蔽检索型AI爬虫（如OAI-SearchBot、ChatGPT-User），内容将不会被AI回答引用；但如果只屏蔽训练型爬虫（如GPTBot），内容仍可能被引用。
GPTBot和Google-Extended属于训练型爬虫，OAI-SearchBot和ChatGPT-User属于检索型爬虫，用于实时回答查询时读取内容。
blog.naver.com/robots.txt 明确禁止 GPTBot、OAI-SearchBot、PerplexityBot 和 Google-Extended 等AI相关爬虫，并在注释中声明严格禁止为AI训练和RAG目的抓取。
user-agent 名称拼写错误会导致规则静默失败，正确名称包括 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User。
GPTBot（OpenAI训练与检索）、OAI-SearchBot（ChatGPT搜索）、ClaudeBot、PerplexityBot、Google-Extended（Google的AI训练，独立于Googlebot）是当前最关键的AI爬虫标识
GPTBot被服务器拒绝率为14.4%，其中11.1%发生在robots.txt允许的情况下；ClaudeBot被拒14.8%，10.9%在允许之下；PerplexityBot被拒11.3%，8.4%在允许之下；OAI-SearchBot被拒9.8%，8.0%在允许之下。
在549个对普通浏览器返回2xx的Tranco前1000站点中，78个（14.2%）拒绝了GPTBot、OAI-SearchBot、ClaudeBot或PerplexityBot中的至少一个，尽管它们的robots.txt明确允许这些爬虫。
剔除仅因429限流被拒的14个站点后，仍有64个站点（11.7%）在robots.txt允许的情况下被服务器拒绝。
还有 10 条时间轴事件
全部知识事实 (20)
OpenAI 官方文档说明 OAI-SearchBot、GPTBot、ChatGPT-User 等设置相互独立；OAI-SearchBot 负责让站点出现在 ChatGPT 搜索中，选择退出的站点不会出现在 ChatGPT 搜索的回答里。
80%已验证AI爬虫包括GPTBot、ClaudeBot、PerplexityBot等
65%部分验证OpenAI表示选择退出OAI-SearchBot的网站不会出现在ChatGPT搜索回答中，但仍可能以导航链接形式出现
65%待验证GPTBot、PerplexityBot、ClaudeBot分别是OpenAI、Perplexity、Anthropic用于抓取公开网络内容的爬虫。
50%待验证如果屏蔽检索型AI爬虫（如OAI-SearchBot、ChatGPT-User），内容将不会被AI回答引用；但如果只屏蔽训练型爬虫（如GPTBot），内容仍可能被引用。
50%待验证GPTBot和Google-Extended属于训练型爬虫，OAI-SearchBot和ChatGPT-User属于检索型爬虫，用于实时回答查询时读取内容。
50%待验证blog.naver.com/robots.txt 明确禁止 GPTBot、OAI-SearchBot、PerplexityBot 和 Google-Extended 等AI相关爬虫，并在注释中声明严格禁止为AI训练和RAG目的抓取。
50%待验证user-agent 名称拼写错误会导致规则静默失败，正确名称包括 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User。
50%待验证GPTBot（OpenAI训练与检索）、OAI-SearchBot（ChatGPT搜索）、ClaudeBot、PerplexityBot、Google-Extended（Google的AI训练，独立于Googlebot）是当前最关键的AI爬虫标识
50%待验证GPTBot被服务器拒绝率为14.4%，其中11.1%发生在robots.txt允许的情况下；ClaudeBot被拒14.8%，10.9%在允许之下；PerplexityBot被拒11.3%，8.4%在允许之下；OAI-SearchBot被拒9.8%，8.0%在允许之下。
50%待验证在549个对普通浏览器返回2xx的Tranco前1000站点中，78个（14.2%）拒绝了GPTBot、OAI-SearchBot、ClaudeBot或PerplexityBot中的至少一个，尽管它们的robots.txt明确允许这些爬虫。
50%待验证剔除仅因429限流被拒的14个站点后，仍有64个站点（11.7%）在robots.txt允许的情况下被服务器拒绝。
50%待验证封锁GPTBot（训练）同时允许OAI-SearchBot（ChatGPT搜索引用）是合理且常见的选择，那2.6%认真这样做的头部站点证明它有效。
50%待验证可以通过对比curl以Mozilla浏览器和OAI-SearchBot user agent请求首页的状态码，来判断服务器行为是否与robots.txt一致：浏览器200、爬虫403说明有CDN或WAF层规则在起作用。
50%待验证三类AI爬虫的屏蔽退出成本呈梯度：训练爬虫 < 搜索爬虫 < 用户触发式抓取器
50%待验证为了出现在ChatGPT中而屏蔽GPTBot取决于你指哪个OpenAI代理；如果搜索可见性重要，应先查阅最新用户代理文档再写规则。
50%待验证AI 爬虫 user agent 可分为三类：训练类（GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended）、搜索索引类（OAI-SearchBot、Claude-SearchBot、PerplexityBot）、用户触发类（ChatGPT-User、Claude-User、Perplexity-User）。
50%待验证营销人员应检查CDN或WAF日志，确认OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot和Googlebot收到的是200响应而非403。
50%待验证robots.txt 中对 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的访问权限设置直接决定内容能否进入这些模型的训练集或实时检索池
50%待验证在同周期约3000次AI爬虫请求中，首页被请求207次，具体分布为Googlebot 39次、GPTBot 29次、OAI-SearchBot 25次、BingBot 20次、ClaudeBot 11次。
50%