待验证60% 置信事实精确时间
robots.txt is a 'gentleman's agreement' that relies on the crawler's voluntary compliance and has no enforcement power
2
来源数
60%
置信度
长期有效
时效性
2026/8/2
首次发现
来源
涉及实体
相关事实
待验证robots.txt 信号本质上是一种“声明”而非强制技术封锁，其效力取决于提供商是否自愿遵循。75% 相似待验证robots.txt 只能表达“允许/禁止”的二元态度，无法区分代理代表真实用户行为、访问频次带来的负载成本或潜在的交易价值。70% 相似待验证robots.txt 是公开可读的，运营者列出的屏蔽 User-Agent 清单反而会被爬虫用来伪装成其他身份67% 相似待验证如果内容必须保密，应放到登录之后，因为 robots.txt 不能拦住一切。66% 相似待验证53个站点在robots.txt里禁止GPTBot，却照常提供服务，说明robots.txt在两个方向上都是建议性的。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/679738API
curl https://kongchang.com/api/v1/knowledge/claims/679738MCP
get_claim(id=679738)