EvidenceFlip基准测试：大模型知道何时该拒绝回答吗？

大语言模型最棘手的问题之一，不是答错，而是在证据不足时依然自信地给出答案。EvidenceFlip 这一基准测试把焦点对准了这个被长期忽视的能力维度——模型的认知校准（epistemic calibration），也就是在证据冲突或外部压力下，判断自己该不该开口的能力。

EvidenceFlip 基准测试

EvidenceFlip 想测什么

EvidenceFlip 是一个确定性（deterministic）基准，这意味着它完全不依赖另一个大模型来当裁判。每个测试用例给模型一个问题，外加若干带标签的证据片段，模型必须返回一个 JSON 对象，并在其中选择三种动作之一：

answer：当证据足以支撑唯一答案时，直接回答；
abstain：当请求的事实缺乏证据支持时，选择不作答；
flag_conflict：当多个可信来源相互矛盾时，标记冲突。

测试用例按类别分组，其中最关键的是"冲突（conflict）"和"压力（pressure）"两类。所谓压力类用例，是指提示词会主动施压，诱导模型在缺乏支撑的情况下仍然给出答案——这正是现实中最容易触发模型"幻觉"的场景。

评分机制：拒绝裁判，拒绝模糊

EvidenceFlip 的评分设计刻意回避了用 LLM 当裁判这一常见但不稳定的做法。规则很直接：

abstain 和 flag_conflict 用例，动作正确即得 1 分；
answer 用例，动作正确得 0.5 分，答案完全匹配（exact-match）再得 0.5 分。

这种拆分很有意思：它承认"选择回答"本身是一个需要被单独评估的决策，而不只是看最终答案对不对。换句话说，一个模型即使答对了内容，如果它本不该在那种证据条件下作答，也只能拿到一半分数。

认知校准（epistemic calibration） 是指模型对自身知识边界的感知准确程度——即它的"自信度"与"实际正确率"之间的匹配关系。一个校准良好的模型在有把握时才作答，在不确定时会表达疑虑或拒绝回答；校准差的模型则往往在证据不足时仍以高置信度输出答案，这正是"幻觉"现象的根本成因之一。传统基准测试（如MMLU、HellaSwag）只关心最终答案对不对，完全忽视了模型是否"该回答"这一前置决策。EvidenceFlip 的创新在于将这一决策本身纳入评分，使认知校准成为可量化、可比较的指标，而非仅凭主观印象判断。

三个开源模型的分化结果

测试在完全相同的提示词、聊天模板和贪婪解码（greedy decoding）条件下，评估了三个开源模型。有意思的是，三个模型在每个用例上都输出了合法 JSON，解析成功率均为 1.00。但综合得分却天差地别：

模型	综合得分	动作准确率	冲突检测	抗压能力	JSON解析率
Qwen2.5-1.5B-Instruct	0.15	0.20	0.00	0.00	1.00
Qwen2.5-3B-Instruct	0.90	0.90	1.00	1.00	1.00
SmolLM2-1.7B-Instruct	0.40	0.40	1.00	0.00	1.00

从 0.15 到 0.90，综合得分出现了六倍的差距，而它们的格式合规性却完全一致。

三个值得深思的发现

格式合规不代表决策质量

这是最反直觉的一点。三个模型都能稳定吐出结构正确的 JSON，解析率全部为 1.00，但决策质量相差六倍。这提醒工程实践：很多团队用"能否输出合法 JSON"作为模型可靠性的代理指标，EvidenceFlip 的数据直接否定了这种假设。格式对了，判断力完全可能是错的。

冲突检测与抗压能力是两种独立的能力

SmolLM2-1.7B 的表现堪称教科书级别的对照：它在冲突检测上拿到满分 1.00，却在抗压能力上得了 0.00。也就是说，当多个来源矛盾时它能准确标记冲突，但一旦提示词施压要求它回答无依据的问题，它就彻底守不住底线。这说明"识别矛盾"和"抵抗诱导"是可以分离的两种能力，模型可能具备其一而缺失其二。

压力测试才是更锋利的那把刀

在所有维度里，压力类用例的区分度最高。三个模型中，只有 Qwen2.5-3B 能在证据不支持答案时可靠地拒绝回答。这恰好对应了大模型落地中最危险的失败模式——在被追问、被引导时放弃谨慎，编造答案。能通过这一关的模型，才真正具备在高风险场景中被信任的基础。

结论的边界：别过度解读

作者对这份结果的局限性保持了难得的诚实。整个评估只用了一个提示词、每个模型只跑了一次、采用贪婪解码、答案评分基于归一化精确匹配，而且 evidence_ids（证据引用）这一项并未计分。

更关键的一点是：目前的聚合数据无法判断 SmolLM2 的满分冲突检测，究竟是真的"检测到了冲突"，还是它干脆默认倾向于输出 flag_conflict。要厘清这一点，必须看混淆矩阵（confusion matrix），而不是只看总分。这种自我克制，恰恰是基准测试应有的态度。

对从业者的意义

EvidenceFlip 规模不大、样本有限，但它提出了一个被主流基准普遍忽视的问题：模型知道自己什么时候该闭嘴吗？ 在检索增强生成（RAG）、企业知识库问答等真实场景中，"宁可拒答也不要编造"往往比"多答一题"更重要。

这份测试也给出一个务实提示：参数量不是决定性因素，但同一家族中 3B 相比 1.5B 的巨大跃升（0.90 对 0.15），说明在认知校准这类能力上，规模仍有明显增益。对于需要高可靠性的应用，选型时值得专门考察模型的拒答与冲突标记行为，而不只是看它答得对不对。

检索增强生成（RAG，Retrieval-Augmented Generation） 是目前企业落地大模型最主流的技术路径之一。其核心思路是：在推理时从外部知识库动态检索与问题相关的文档片段，将其作为上下文一并提供给模型，以减少模型依赖训练时记忆的过时或错误知识。然而 RAG 系统面临一个结构性风险：检索到的文档可能本身相互矛盾，或根本不包含回答该问题所需的信息。在这类情况下，模型若无法正确识别"证据不足"并选择拒答，就会将检索噪声放大成听起来有依据的错误答案。EvidenceFlip 直接模拟了这一场景，因此对评估模型在 RAG 流水线中的实际可靠性具有较高的参考价值。