Q2D-Web：多重相关性标注如何重塑检索评测

从单一标签到多重验证

检索系统的评测长期依赖单一的相关性标注流程，这带来一个隐藏风险：当标签来源单一时，模型的表现好坏很大程度取决于标注方式本身，而非模型真实的检索能力。Q2D-Web 试图打破这一惯性，它引入了三套相互独立的相关性判断集合，来交叉验证检索结果的质量。

这三套集合分别是：智能体引用（agent citations）、生产环境的网页排名（production web rankings），以及一套经由大语言模型（LLM）判断扩展的组合集合。三者从不同角度定义"什么算相关"，共同构成了一个更稳健的评测基础。

第一套集合来自智能体在完成任务时实际引用的内容。当一个 AI 智能体在回答问题或执行检索任务时，它会主动选择并引用某些网页作为依据。这些引用行为本身就是一种"隐式相关性信号"——被引用的内容被智能体判定为对当前任务有用。相比人工标注，这种信号更贴近真实使用场景。

第二套集合基于生产系统中的网页排名数据。搜索引擎和检索系统在真实流量下产生的排名，蕴含着大量用户行为与算法优化沉淀下来的相关性信息。将其纳入评测集，意味着模型不仅要满足实验室定义的相关性，也要与真实产品环境的排名逻辑相吻合。

第三套集合最具实验性：它是一个组合集合，并通过大语言模型的判断进行扩展。LLM 可以对大量候选文档做出相关性评估，快速补全那些人工或行为信号难以覆盖的边缘案例，从而扩大标注的覆盖面。

Q2D-Web 的核心动机之一是降低"假阴性"（false negatives）。在传统评测中，一份文档若未被标注为相关，通常会被默认视为不相关。但现实是，标注流程有限，很多真正相关的文档只是没被标到而已。这种遗漏会系统性地低估检索模型的真实表现。

通过三套来源各异的相关性集合叠加，Q2D-Web 让一份文档只要在任意一个可靠信号中被认定相关，就不会被轻易判为无关。这显著减少了漏标带来的偏差，也降低了对单一标注管线的依赖——不再让某一种标注方式的局限性主导整个评测结论。

从方法论角度看，Q2D-Web 反映了检索评测领域的一个趋势：从追求"单一权威标签"转向"多源信号融合"。这一转变有几层意义。

多源融合让评测更接近真实世界的复杂性。真实用户的相关性判断本就多元，用单一标准去衡量必然失真。将行为信号、生产数据与 LLM 判断结合，能覆盖更广的相关性谱系。

借助 LLM 扩展标注，也体现了大模型在评测基础设施中的新角色——不只是被评测的对象，更成为构建评测集的工具。这在提升覆盖面的同时，也需要警惕 LLM 判断本身可能引入的偏差，因此它被设计为三套集合之一而非唯一依据，是一种审慎的平衡。

对于开发检索或 RAG 系统的团队而言，Q2D-Web 的思路提供了实践参考：不要把模型的评测结果绑定在单一标注体系上，多角度交叉验证才能得到更可信的性能判断。

Q2D-Web 通过智能体引用、生产网页排名与 LLM 扩展组合集三套相关性集合，构建了一个更抗偏差的检索评测框架。它既减少了假阴性和单一管线依赖，又为研究相关性定义如何塑造模型表现打开了空间。在检索与智能体系统日益复杂的当下，这类多源验证的评测方法正变得愈发重要。