DeepResearch
长文本深度研究智能体基准,涉及多种工具调用,采用复合评分标准评估智能体的长程研究与综合能力
核心事实
时间轴 (近 90 天)
Valyu 在其30天搜索系列的第13天完整展示了一个真实案例:如何为供应商准入调研构建自定义 DeepResearch 工作流,并通过 TypeScript API 调用它。
DeepResearch 执行多步骤、长耗时的流程,运行成本和时间都远高于普通查询,因此固化研究框架有价值。
作者在FrozenLake、HotpotQA、ScienceWorld、DeepResearch四个智能体基准上评估了RLDS
RLDS在HotpotQA和DeepResearch上的提升处于噪声范围内,与这两个任务可回收信息不多的诊断预测一致
DeepResearch任务涉及搜索、摘要、引用等四种工具,并采用复合评分标准(composite rubric reward)衡量报告质量
全部知识事实 (6)
Deep Research能够自主规划研究路径、在互联网上执行多轮搜索、阅读并综合数十乃至上百个网页内容,最终生成结构化的深度报告
80%待验证DeepResearch 执行多步骤、长耗时的流程,运行成本和时间都远高于普通查询,因此固化研究框架有价值。
50%待验证作者在FrozenLake、HotpotQA、ScienceWorld、DeepResearch四个智能体基准上评估了RLDS
50%待验证RLDS在HotpotQA和DeepResearch上的提升处于噪声范围内,与这两个任务可回收信息不多的诊断预测一致
50%待验证DeepResearch任务涉及搜索、摘要、引用等四种工具,并采用复合评分标准(composite rubric reward)衡量报告质量
50%待验证Valyu 在其30天搜索系列的第13天完整展示了一个真实案例:如何为供应商准入调研构建自定义 DeepResearch 工作流,并通过 TypeScript API 调用它。
50%