待验证50% 置信注意事项精确时间

若网站使用 CDN 或反向代理，需确认根目录的 robots.txt 未被缓存层覆盖或改写。

1

来源数

50%

置信度

长期有效

时效性

2026/10/30

首次发现

来源

OpenAI 认可 robots.txt 信号：网站 AI 训练偏好迎来统一表达

涉及实体

CDNconcept robots.txtconcept

相关事实

待验证如果内容必须保密，应放到登录之后，因为 robots.txt 不能拦住一切。69% 相似待验证网页抓取时应遵守站点 robots.txt 与条款，避免对小站点高频请求。66% 相似待验证robots.txt 是公开可读的，运营者列出的屏蔽 User-Agent 清单反而会被爬虫用来伪装成其他身份66% 相似待验证Microsoft明确表示部分外部机器人不会被检测到，同时一些真人会被误标。Zoom也承认被其Web App防护标记的真实用户仍然可以通过登录加入。63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1117565

API

curl https://kongchang.com/api/v1/knowledge/claims/1117565

MCP

get_claim(id=1117565)