待验证50% 置信观点精确时间
多数AI爬虫和Agent实际上并不会主动发送Accept: text/markdown，往往沿用默认Accept头把自己伪装成普通浏览器或直接抓取原始HTML
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/28
首次发现
有效期至：2026/11/26
来源
涉及实体
相关事实
待验证seo-agent检测到AI爬虫访问时，动态提供干净的Markdown格式内容而非原始HTML72% 相似待验证传统爬虫工具如BeautifulSoup只能解析静态HTML，面对JavaScript动态渲染页面往往抓取到空白内容65% 相似待验证浏览器默认样式表（User Agent Stylesheet）导致不同浏览器对相同HTML元素的渲染差异65% 相似待验证基于Accept头的方案：当请求头包含Accept: text/markdown时服务器返回Markdown版本，收到Accept: text/html时返回完整HTML页面，同一URL根据请求方返回不同表现形式65% 相似待验证只需给任意元素添加HTML的popover属性，它就会被浏览器用户代理样式隐藏（包含display: none）64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/813682API
curl https://kongchang.com/api/v1/knowledge/claims/813682MCP
get_claim(id=813682)