Gemini决策闭合基准实测：285次运行99.3%通过率解读

一个被忽视的评测维度：决策闭合错误

大多数LLM评测关注的是模型能否给出正确答案，但一位研究者在Zenodo上发布了一份颇具新意的基准测试——它测量的不是"答对了什么"，而是模型能否正确地"关闭"一个决策。

所谓"决策闭合"（Decision Closure），指的是当证据、适用性、身份、冲突解决、转移规则、上下文或记录状态发生变化时，LLM是否还能保留合法关闭一个决策所需要的全部条件。换句话说，这套基准考察的是模型在复杂条件流转下的逻辑一致性与状态管理能力，而非简单的知识问答。

这份被作者命名为CFC（Conditional Closure）的基准，历史序列涵盖V1至V100，最终发布的可复现测试集包含95个变体、共计285次重复运行。

在285次实测运行中，Gemini的表现结果如下：

据此计算出的严格语义通过率为 99.3%。其中表现最强的完整保留区块V78–V100，取得了69/69的满分语义通过。

这个数字乍看惊人，但作者本人非常克制地给出了重要限定。

值得称道的是，这位研究者没有刻意美化数据档案。他明确指出：

换句话说，99.3%这个数字是在"可重建、可评分"的子集上得出的，而非全部100个版本。这种对数据缺口的坦诚，在充斥着营销式跑分的AI评测领域反而显得难得。

作者提到，整个实验中他认为最有价值的发现，是把语义正确性与输出格式合规性分离开来评分。

这是一个常被评测者混淆、却极其重要的区分。他发现：

Gemini 常常在语义上是正确的，即便它违反了所要求的序列化格式。

这意味着，如果一份评测把"没按JSON格式输出"直接判为失败，就会严重低估模型的实际推理能力。模型的"错"，很多时候不是想错了，而是没按你要求的方式把答案打包出来。

在实际工程应用中，格式问题往往可以通过后处理、约束解码或重试机制来缓解，而语义错误才是难以修复的根本缺陷。将两者混为一谈，会导致我们对模型能力的判断出现系统性偏差——要么高估（把格式糊弄过去当成推理正确），要么低估（把格式违规当成推理失败）。

这份基准通过明确拆分这两个维度，为后续的跨模型对比提供了更干净的评分口径。

作者表示，这第一份基准将被"冻结"（frozen），保持不变。下一步计划是在同一套冻结测试集上运行Claude和Grok，并且要在引入任何CFC规则改动之前完成，以保证跨模型对比的公平性。

这是一个值得肯定的实验设计原则：先固定测试标准，再横向比较，避免"边测边改规则"带来的数据污染。只有测试集完全一致，Gemini、Claude、Grok三者之间的数字才具有可比性。

作者反复强调的一点，也是读者最需要记住的：

99.3% 不是"CFC准确率"的普遍值，也不是Gemini的通用可靠性评分。它只是这个特定的、可复现的决策闭合基准上的分数。

这提醒我们，任何单一基准的高分都不应被过度解读。一个专门设计的边界测试集，其结果只能代表模型在该类特定失败模式上的表现，而无法外推到通用能力。

此外，这仍是一份探索性的、由个人研究者发布的基准，样本量（285次运行、95个变体）在统计意义上属于中等规模，尚未经过大规模同行评审。作者自己也在公开征求对方法论、评分策略以及边界测试类别设计的批评意见。

在大模型评测日益"军备竞赛化"的当下，这类聚焦于特定失败模式、坦诚公开数据缺口、坚持冻结基准以保证公平对比的工作，反而更有参考价值。

它不追求一个能上头条的"综合能力排行榜"，而是回答一个具体而深刻的问题：当决策所依赖的条件发生变化时，模型能否守住逻辑闭合的边界？

对于任何构建需要严谨状态管理和决策一致性的LLM应用（如工作流引擎、合规审查、多轮推理系统）的开发者而言，这套方法论——尤其是语义与格式的分离评分——都值得借鉴。完整数据已发布于Zenodo（记录号22045494），欢迎更多研究者参与验证与批评。