robots 协议

robots.txt is a plain text file placed in a website's root directory that tells web crawlers which pages can be crawled and which should be avoided

采集公开数据时应尊重网站的 robots 协议和使用条款，采集行为是否合规取决于目标站点服务条款与当地法律法规

robots.txt 是放置于网站根目录的纯文本文件，遵循机器人排除标准，用于向爬虫声明哪些路径允许访问

robots.txt 属于自愿遵守的行业惯例而非法律强制，但在多数司法辖区被视为判断抓取行为是否善意的重要依据。

抓取公开职位信息在不同司法辖区的合规边界并不一致，项目需要明确数据使用范围并尊重目标站点的 robots 协议

robots 协议是网站根目录下 robots.txt 文件所声明的爬虫访问规则，用于告知自动化程序哪些路径可以抓取、哪些应当避开；它并非法律条文，但在多数司法辖区被视为判断抓取行为是否善意的重要参考。