已验证65% 置信事实精确时间
许多主流AI训练数据集在形成时并未严格遵守robots.txt协议
3
来源数
65%
置信度
长期有效
时效性
2026/9/19
首次发现
来源
涉及实体
相关事实
已验证许多AI训练数据爬虫倾向于无视robots.txt协议，以极高的并发量快速抓取整站内容，与传统搜索引擎爬虫有本质区别79% 相似待验证同一份robots.txt可以精细控制允许搜索索引但禁止AI训练，因为不同AI厂商使用多个不同的User-agent分别对应不同用途。78% 相似待验证AI智能体执行框架（如LangChain、AutoGPT或OpenAI的Assistants API）默认并不强制检查robots.txt，除非开发者主动实现相关逻辑74% 相似待验证AI+机器人自动化实验室的最大技术瓶颈在于表征环节的自动化，因为许多性能测试本质上需要时间无法被软件加速71% 相似待验证AI 训练数据爬虫的用户代理字符串并不统一，部分甚至伪装成普通浏览器。71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/935920API
curl https://kongchang.com/api/v1/knowledge/claims/935920MCP
get_claim(id=935920)