[控场AI]
概念

Perplexity-User

Perplexity的实时用户代理爬虫,当Perplexity用户请求浏览网页时代表该用户抓取页面内容

时间轴 (近 90 天)

10月16日

Perplexity 有两个爬虫:PerplexityBot 用于在搜索结果中展示并链接网站、Perplexity-User 用于支持用户操作。

待验证50%
10月16日

Perplexity 表示 Perplexity-User 通常忽略 robots.txt,因为抓取是用户请求的。

待验证50%
10月16日

user-agent 名称拼写错误会导致规则静默失败,正确名称包括 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User。

待验证50%
10月14日

Anthropic称禁止Claude-User会阻止Claude为用户查询检索页面,但OpenAI和Perplexity表示自己的用户触发式抓取器可能不遵守robots.txt

待验证50%
10月13日

AI 爬虫 user agent 可分为三类:训练类(GPTBot、ClaudeBot、CCBot、Google-Extended、Applebot-Extended)、搜索索引类(OAI-SearchBot、Claude-SearchBot、PerplexityBot)、用户触发类(ChatGPT-User、Claude-User、Perplexity-User)。

待验证50%

全部知识事实 (5)

来源文章