#反爬虫

共 3 篇相关文章

Google 在搜索结果中引入 google.com/goto 中转跳转链接，作为新的反爬虫机制，抬高自动化数据抓取门槛。本文解析其技术逻辑、对 AI 数据采集与开发者生态的影响，并给出应对建议。

CloakFetch是一款开源工具，帮助Claude Code等Coding Agent自动绕过Cloudflare、Datadome等反爬系统的403拦截。通过真实浏览器救援和内容清洗，实现对Agent透明的网页抓取，支持Hook和Skill两种模式。

Simon Willison发布datasette-ip-rate-limit插件，借助OpenAI Codex（GPT-5.5）快速构建基于IP的速率限制方案，对抗AI爬虫对datasette.io的恶意抓取。本文解析插件配置策略、技术设计与AI辅助开发实践。