#网页抓取

共 27 篇相关文章

详细教程：使用DevBox云开发平台从零构建MCP服务端和Gradio客户端，涵盖天气查询工具定义、大模型工具调用链路、SSE连接及一键部署全流程，无需Docker基础即可快速上线MCP应用。

Simon Willison在露营时用手机和Claude Code，结合Git Scraping与GitHub Actions，零服务器搭建了iNaturalist自然观察记录展示工具。本文拆解其三层架构设计、Prompt工程技巧及对开发者的实用启示。

深度解析GitHub热门开源项目company-research-agent，基于LangGraph多智能体架构+Tavily搜索+双LLM协同，实现自动化公司尽调与竞争情报分析，附技术架构与应用场景详解。

Deep Research Web UI是一款开源AI研究助手，支持DeepSeek R1模型，通过迭代式搜索、网页抓取和LLM推理实现自动化深度研究。已获2100+ Star，适用于学术调研、市场分析等场景。

详解开源项目workers-research如何结合Cloudflare Workers无服务器架构与Google Gemini 2.5，构建自动化深度研究AI代理，涵盖技术架构、工作原理及实际应用场景。

Agent-Reach是一款开源Python工具，支持Twitter、Reddit、YouTube、B站、小红书等中外平台的免费数据抓取，一行CLI命令即可集成到LangChain等AI Agent框架中，已获GitHub近19000 Star。

Simon Willison用手机和Claude Code在露营时构建了iNaturalist观察记录展示工具，采用Git Scraping+GitHub Actions实现零服务器架构。本文拆解其三层技术设计：Python CLI数据聚合、自动化数据更新、AI生成前端页面。