腾讯DiscoBench：评测LLM搜索代理歧义澄清能力的首个基准

深度搜索代理的隐藏短板

近两年，大语言模型驱动的搜索代理发展迅猛。**深度搜索代理（Deep Search Agent）**是基于大语言模型（LLM）构建的自主信息检索系统，其核心能力在于将传统的单次检索扩展为多步骤、多工具调用的推理链条。从系统工程角度看，深度搜索代理本质上是一种「感知-规划-执行」循环系统（Perceive-Plan-Act Loop），与机器人领域的自主代理架构高度同构，区别仅在于执行层的「工具」从物理传感器替换为API调用。这类架构通常分为三层：意图理解层（将自然语言查询转化为可执行计划）、执行调度层（管理工具调用序列与资源分配）、结果整合层（将多源信息融合为连贯输出）。LangChain、LlamaIndex等开源框架正是沿着这一架构思路构建的主流工具链。

值得补充的是，这一架构范式的直接先驱是2022年前后兴起的「工具增强型语言模型」研究浪潮。谷歌提出的ReAct（Reason+Act）框架首次系统性地将思维链推理与工具调用交织融合——模型在每次行动前先输出显式推理步骤（Reason），再执行具体操作（Act），形成「推理-行动-观察」的交替循环，奠定了现代搜索代理的基础范式。LangChain于2022年底开源后迅速成为构建代理系统的事实标准，其AgentExecutor循环正是这一范式的工程实现。

与早期的关键词搜索或向量检索不同，深度搜索代理能够自主规划检索策略、解析网页内容、整合跨来源信息，并通过迭代推理得出最终答案。

这一技术范式的兴起有三个关键技术支柱：强化学习（尤其是RLHF与RLVR）使模型能够从反馈信号中学习何时调用工具、何时停止搜索。其中RLHF（基于人类反馈的强化学习）由OpenAI在InstructGPT中系统化应用，通过人类偏好信号训练奖励模型；RLVR（基于可验证奖励的强化学习）则依赖可客观验证的任务（如数学题、代码执行）提供奖励信号，DeepSeek-R1等模型即采用此路径。工具调用能力（Function Calling）允许LLM在推理过程中动态调用搜索API、代码解释器、浏览器等外部工具——自GPT-4起，Function Calling成为主流接口标准，允许模型在推理中途"暂停"并调用外部API，再将结果注入上下文继续推理；思维链（Chain-of-Thought）推理让模型在每次工具调用前后显式输出中间推理步骤，形成可追溯的决策路径。三者合力，使得LLM能够像人类研究员一样，在获取中间信息后动态调整后续搜索方向。代表性产品包括OpenAI的Deep Research、谷歌的Gemini Deep Research以及Perplexity Pro等。从传统的静态文本检索，到能自主浏览网页、完成多步推理的深度搜索代理，OpenAI、谷歌等厂商都在积极布局相关产品。然而，这类系统存在一个明显却常被忽视的局限：它们默认用户的初始查询是完整且明确的。

这与真实使用场景差距巨大。现实中，用户给出的查询往往是模糊甚至碎片化的。例如用户搜索"去年爆款电影的导演获奖情况"，却没说明是哪个地区的爆款。如果系统直接默认为国产片去检索，后续所有推理步骤都会走偏，最终浪费大量计算资源却得出错误答案。

正是针对这一痛点，腾讯混元团队与清华大学联合发布了 DiscoBench——首个专门评测搜索代理动态歧义澄清能力的基准测试集。它要考察的核心问题只有一个：搜索代理能否主动识别歧义、向用户提问澄清？

DiscoBench 的核心创新

与现有基准相比，DiscoBench 最大的差异在于：它把歧义当作多步搜索过程中动态出现的现象，而非单个查询的静态属性。

查询歧义（Query Ambiguity）是自然语言处理领域的经典问题，可追溯至早期信息检索（IR）研究。研究者通常将歧义分为三个层次：词汇歧义（Lexical Ambiguity）是最基础的层次，指同一词汇在不同语境下含义不同，如"苹果"指水果还是公司；语义歧义（Semantic Ambiguity）发生在句法层面，同一句子结构可对应多种语义解读；语用歧义（Pragmatic Ambiguity）则依赖说话人意图与语境背景，是最难被系统自动识别的类型。在中文语境中，由于代词指代范围宽泛、多义字比例高、大量依赖省略主语的表达习惯，以及依赖共同文化背景的语用惯例，语用歧义的密度远高于英文——这种结构性差异使得专门面向中文场景的歧义基准对国内大模型团队具有格外高的参考价值，也正是DiscoBench聚焦中文场景的重要动因。在问答系统领域，AmbigQA数据集（2020年）是重要里程碑，它基于NQ数据集系统性地标注了具有多个合理答案的歧义问题，推动了歧义感知问答研究。

此前的相关基准各有局限。GAIA、BrowseComp 等只提供明确查询，仅考验模型的多步推理能力，完全没有考虑歧义问题；而专门做歧义处理的 AmbigQA 等数据集，则是静态问答场景，没有模拟动态的搜索交互过程——它们假设歧义在提问时就已完全呈现，而无法模拟"搜索过程中逐步发现歧义"这一动态场景。

DiscoBench 的做法是：在完整的多步搜索链条中设置歧义检查点。模型需要在搜索过程中主动发现某个中间节点信息不足，然后主动向用户提问，而不是靠猜或选选项。比如搜索到某一步时出现多个符合条件的候选实体，这时才产生歧义，模型需要自己判断要不要向用户确认。这种设计更贴近真实场景——用户的歧义往往不是一开始就完全暴露，而是搜到一半才发现信息不够。

数据集如何构建

整个数据集构建分为两个阶段，采用了NLP领域称为"受控扰动"（Controlled Perturbation）的构建范式——在已知正确推理链的基础上，精确插入满足特定条件的干扰因素，优势在于可精确控制歧义类型和难度，同时保留真实领域数据的自然性。这一方法在NLP数据构建中有广泛先例，典型案例包括斯坦福的SQuAD对抗数据集和自然语言推理领域的ANLI（Adversarial NLI），其核心思想是保留真实语料的语义结构，仅在特定维度注入可控变量，从而实现对模型特定能力的精准探针。比起直接收集自然歧义查询，这种方式更具可控性；比起纯人工构造，又更具语言自然性。

第一阶段准备种子数据：团队从影视、体育、游戏、学术、金融等 11 个真实领域收集多跳问答样本，所有问题都不能靠常识回答，必须通过外部检索解决，且答案可客观验证。

多跳问答（Multi-hop Question Answering）是指需要跨越多个中间推理步骤或多个知识来源才能得出答案的问题类型。例如"诺贝尔文学奖最近一位获奖者的母语国家的GDP是多少"，需要先查获奖者，再查其母语，再查该国GDP，形成一条"跳转链"。多跳推理是深度搜索代理区别于简单检索系统的核心能力，但也正因为推理链较长，任何一个中间节点的信息偏差都会导致最终答案错误。从数学角度理解这一风险：若推理链每一步的准确率为p，则n步链条的整体准确率理论上约为p^n——即便单步准确率高达90%，经过5步后整体准确率也会跌至约59%。这种机制在信息检索领域被称为"错误级联"（Error Cascading），是深度搜索代理面临的核心工程挑战，也是DiscoBench中"检查点通过率远高于最终准确率"这一现象的根本原因。

针对错误级联问题，工业界已发展出多种缓解手段：Self-Consistency通过并行采样多条推理路径并多数投票来降低单路径失误影响；**Process Reward Model（PRM）**在每个中间步骤给予奖励信号而非仅评分最终答案，OpenAI的「Let's Verify Step by Step」是该方向的代表性工作；Tree of Thoughts则将推理空间扩展为树状结构，通过广度优先或束搜索探索多条路径。然而这些方法的共同前提是推理起点明确——在歧义场景下，这一前提本身就不成立，这正是歧义澄清能力无可替代的根本原因。

第二阶段是在确定的多跳推理链中注入歧义。每个歧义点需满足三个条件：目标实体有相似替代选项、放松约束后推理链仍能走通、靠用户一条线索即可区分。最终生成 211 个测试样本，包含 463 个歧义实例。

四种歧义类型与评测维度

463 个歧义实例覆盖了四种类型，基本涵盖了真实搜索中的主要歧义场景：

• 实体歧义：多个实体符合同一描述。如"姓张的导演的科幻作品"，张艺谋、张帆都符合。
• 版本歧义：不同时间或版本状态不同。如"微信语音进度调节功能何时上线"，不同系统版本时间不一。
• 标准歧义：评价标准不明确。如"票房最高的电影"，是全球票房还是中国内地票房？
• 事实错误歧义：用户描述本身与事实不符。如"陆寒主演的流浪地球"，需先澄清事实错误。

评测框架专为多轮交互设计，从四个维度评估：任务效用（端到端准确率与检查点通过率）、歧义检测能力（检测准确率与 F1 值）、交互策略（澄清准确率与推进率）、成本效率（提问次数、工具调用次数、token 消耗）。

此外，团队还设计了一个用户模拟器（User Simulator）。用户模拟器在对话系统研究中有悠久历史，从早期基于规则的模拟器（如针对任务型对话的agenda-based模拟器）到如今基于LLM的神经模拟器，其核心目标始终是在无需真实用户参与的前提下实现可重复、可控制的交互评测。衡量模拟器质量的关键指标是生态效度（Ecological Validity），即模拟行为与真实用户行为的相似程度。传统模拟器的最大缺陷在于"上帝视角"——模拟器预先知晓所有答案，导致对话中的信息披露往往过于理想化，无法真实反映用户在不确定状态下的信息提供行为。DiscoBench的用户模拟器采用"按需逐步披露信息"策略——根据模型提问"逐步给出区分性线索"，而非一次性披露所有信息，精确模拟了真实用户的"按需提供信息"行为，有效避免了传统模拟器中"上帝视角"带来的评测偏差，使得模型的提问质量直接影响其能获取的信息量。这种设计无需真人参与即可大幅降低测试成本，同时又具备真实交互的生态效度。

测试设置了两种提示词模式：中性模式完全不提示歧义存在，考验模型自发的感知能力，更贴近真实使用；引导模式则明确提醒模型注意潜在歧义，测试其性能上限。两相对比，就能看出瓶颈究竟是"没意识到要澄清"还是"知道要澄清却做不好"。

主流大模型的真实表现

实验结果并不理想。中性模式下，表现最好的 Doubao Seed 2.0 Pro 端到端准确率仅 43.1%，Gemini 3.1 Pro Preview 为 40.8%，大部分模型都在 40% 以下，较弱的 Qwen 3.6 Max 甚至只有 12.3%。

一个值得关注的现象是：许多模型的中间检查点通过率远高于最终准确率。如 Claude Opus 4.7 检查点通过率达 57%，最终准确率却只有 39.8%。这正是前文所述"错误级联"效应的直接体现——在n步推理链中，每个歧义点的处理失误会被后续步骤指数级放大，局部成功无法保证全局正确。全程稳定的歧义识别能力，才是真正的关键。

引导模式下，平均端到端准确率从 28.6% 提升到 33.7%，歧义检测 F1 值提升最明显，从 45.3% 涨到 64.9%。但提升主要集中在减少漏判，最终端到端性能改善有限——甚至 Claude Opus 4.7 在引导模式下检查点通过率更高，最终准确率却小幅下降。这表明提示词工程只能部分解决问题，根本瓶颈在于模型的歧义澄清能力不足。

歧义感知与有效提问：两种独立的能力

论文揭示了一个重要结论："知道什么时候问"和"会问有效的问题"是两种完全独立的能力。

从信息论视角看，最优澄清提问可被形式化为"最大化条件熵减少量"的决策问题——即选择那个能最大程度消除系统对用户真实意图不确定性的问题。这一思路与决策树中的**信息增益（Information Gain）**计算高度同构：好的澄清问题相当于在决策树中选择分类能力最强的节点进行分裂，一个问题能最大程度减少系统对用户意图的不确定性，其信息增益就越高。具体而言，若用户意图空间有n种可能的解读，最优问题应将这n种解读尽量均等地分割为两个子集，使得无论用户如何回答，系统的不确定性都能减半——这正是二元澄清问题（是/否型提问）在理论上最高效的原因。

值得补充的是，如何自动生成高质量澄清问题本身是对话系统研究的核心难题之一。早期方法依赖模板和槽填充，仅适用于受限领域。近年来，基于检索增强生成（RAG）的澄清问题生成成为主流思路：先检索与当前查询相关的候选文档，再基于文档揭示的歧义点生成针对性问题。另一条技术路径是基于混淆矩阵的问题选择——预先枚举用户意图空间的所有可能解读，将澄清问题生成转化为「哪个问题能最大程度区分这些解读」的选择优化问题，与信息增益最大化的理论框架直接对应。

从博弈论视角补充理解这一机制：搜索代理的澄清决策本质上是一个不完全信息动态博弈，代理是「提问方」，用户是「信息持有方」。贝叶斯更新机制是理解整个澄清过程的最优框架——每次提问后，代理根据用户回答更新对其意图的后验概率分布，直至不确定性降至可接受阈值。这一视角同样解释了为何「先搜再问」策略的澄清质量更高：搜索行为同步更新了代理对外部世界状态的信念，两种信念的联合更新使后续澄清问题的信息增益显著提升。

实验数据清晰印证了这一框架：Qwen 3.6 Max 中性模式下歧义检测 F1 仅 16%，平均每任务只问 0.07 个问题，几乎不主动提问；但一旦提问，澄清准确率高达 94.7%——它问的问题质量很高（信息增益极大），只是没意识到要问。反过来，MiniMax M2.7 提问频率很高（每任务 0.6 个问题），但澄清推进率只有 60.7%，问了很多无效问题（低信息增益提问）。优秀的歧义澄清系统必须两者兼备。

另一个反直觉的结论是：更多工具调用不一定带来更好的性能。Claude Opus 4.7 工具调用频率很高，准确率却低于调用更少的 Gemini 和 Doubao。很多模型明明已发现多个候选实体，却反复搜索而不停下来提问，结果在错误路径上越走越远。这一现象在强化学习训练的模型中尤为值得关注：若训练过程中对工具调用行为给予过多正向激励，模型可能习得"多调用工具总比停下来提问更安全"的策略偏好，即使这一策略在歧义场景下适得其反。这提示工业界在设计训练信号时，需要对「无效工具调用」（即未能缩减不确定性的调用）给予显式负向激励，而非仅对最终答案的对错进行奖惩。

行为模式分析与消融验证

团队将模型在歧义点的行为分为四类：直接猜、搜多次再猜、直接问、先搜再问。结果显示"先搜再问"成功率最高，平均通过率达 93.4%，远高于直接猜的 56.5%。更有意思的是，"搜多次再猜"（51.5%）比"直接猜"还低——模型其实已意识到歧义所以反复搜，却不愿或不知道向用户提问，反而浪费了更多资源。这正是当前搜索代理最主要的失败模式。

"先搜再问"策略之所以效果最佳，原因在于搜索行为本身具有"歧义诊断"的副产品价值：通过搜索获取更多上下文后，模型能够更精确地识别歧义的具体性质，从而提出更有针对性的澄清问题，而非宽泛地询问用户"您的意思是什么"。这一发现对工业界的系统设计有直接启示：歧义澄清不应与检索过程割裂，而应紧密嵌入推理循环之中。用系统工程的语言表述，这意味着「澄清触发器」的位置应从流程的起始节点（Pre-search clarification）后移至中间节点（Mid-search clarification），与检索循环深度耦合，而非作为独立的前置模块存在。

消融实验进一步验证了基准的合理性。移除搜索工具后，Doubao Seed 2.0 Pro 准确率从 43.1% 暴跌至 2.4%，证明任务无法靠参数知识解决，必须依赖外部检索。而移除歧义后，所有模型准确率提升 26.8 至 40.2 个百分点，Gemini 甚至达到 81%。这清楚地表明：歧义是当前深度搜索代理最大的性能瓶颈之一。

对搜索产品研发的启示

这项研究为搜索产品研发提供了明确方向。过去大家都在提升推理能力和检索能力，现在看来必须把歧义感知与主动澄清作为核心模块来建设。澄清机制不能只靠提示词引导，需要专门模块判断何时提问、如何提出有效问题，并将检索的不确定性与用户交互打通。

工业界已有若干澄清触发策略可供借鉴：基于置信度阈值的触发机制在智能客服领域应用较广，当模型对用户意图的分类置信度低于预设阈值时触发追问；混合输出策略（如Perplexity的"相关问题"推荐）本质上是一种隐式澄清，通过展示多个可能方向让用户自主选择；隐式澄清（Implicit Clarification）——即在回答中嵌入假设说明，如"假设您指的是中国内地票房……"——则在用户体验与澄清效率之间提供了折中方案。从产品工程角度看，这三种策略在不同场景下各有优势：置信度阈值触发适合高风险、答案错误代价大的垂直场景（如医疗、法律咨询）；隐式澄清适合低风险、用户容忍度高的通用搜索场景；混合输出策略则在兼顾用户体验的同时保留了明确澄清的效果。DiscoBench的研究结果表明，这些策略的有效性都高度依赖底层模型的歧义感知精度，若歧义感知能力不足，再精巧的触发策略也难以发挥作用。

从用户体验看，很多搜索结果不准并非模型搜不到，而是一开始理解就偏了。在合适节点问用户一句，既能提高准确率，也能减少反复修改查询的麻烦。但这里存在平衡——不能什么都问，否则用户会厌烦。理想状态是模型能自行判断歧义的严重程度：选错代价小可直接给出多个结果，代价大则必须主动澄清。这一判断本质上是一个期望损失最小化问题：若澄清带来的用户体验成本低于歧义导致的答案质量损失，则应主动澄清；反之则可直接给出最可能的答案并附加说明。从贝叶斯决策理论的角度，最优决策取决于两个参数的乘积：歧义导致错误答案的概率，以及错误答案相对于打扰用户的效用损失比。当这一乘积超过阈值时，主动澄清才是理性选择——这为未来构建自适应澄清触发模块提供了形式化基础。

值得一提的是，DiscoBench 主要面向中文场景，填补了此前歧义数据集多为英文的空白。中文在语言结构上天然具有更高的歧义密度：代词指代范围宽泛、多义字比例高、大量依赖省略主语的表达习惯，以及丰富的依赖共同知识背景的语用惯例——这些特性使得中文查询中的语用歧义比英文更为普遍，也使得专门的中文基准对国内大模型团队具有更高的参考价值。团队已明确表示代码与数据将很快公开。

未来提升方向包括：歧义的提前预判、更精准的不确定性建模、个性化澄清策略，以及多模态澄清。归根结底，这项研究让我们重新审视搜索的本质——它不是简单的信息匹配，而是用户与系统协作解决信息需求的过程。当系统面对不确定时会主动沟通，而非自作主张给出错误答案，正是 AI 从"被动响应"走向"主动协作"的关键一步。

核心要点

核心要点