LLM评分器吞掉合规类：越狱成功率可差22倍

越狱研究里有一个被忽视的变量：判定响应的评分器。同一批模型输出，换一个评分器，攻击成功率可以从“几乎全挡”变成“几乎全过”。一项新研究把目标模型、提示词和响应全部固定，只更换评分器，发现三个80亿至90亿参数的高密度评分器会把明明“合规”（即完整给出有害内容）的响应，系统性地归入相邻的“规避”类，而不是随机分散到各类别。其中一个评分器在900条响应中一次都没有打出“合规”标签。

评分器换一个，结论就翻转

传统越狱论文报告的“攻击成功率”，通常被当作目标模型的安全属性。但这项研究指出，这个数字同时取决于谁来打分。作者选取了来自三个模型家族的8B和9B评分器，在保持被评估内容不变的前提下，观察评分结果的变化。

结果呈现出一种“类坍缩”现象：合规响应没有被分散到各个类别，而是被集中推入相邻的“规避”类。这种坍缩不是个别模型的怪癖——它在新的有害请求、来自第三个家族的目标模型，以及第四个家族留出的7B评分器上同样出现。也就是说，坍缩是评分器层面的系统性偏差，而非某个模型的偶然失误。

LLM-as-a-judge 是当前安全评估中最常用的自动化评分范式：用一个语言模型充当裁判，对目标模型的响应按预设类别（如“合规”“规避”“拒绝”等）打标签。其优势是成本低、可扩展，但代价是把评分器的偏差直接引入了评估结论。研究中出现的“类坍缩”（class collapse）即指评分器在决策边界附近系统性地把某一类样本推向相邻类别，而非随机误判——随机误差可以通过增加样本量平均掉，系统性偏差却会随样本量放大，导致攻击成功率被结构性高估或低估。这也解释了为何同一批响应在不同评分器下会呈现数量级差异。

一个免费的诊断信号

研究给出了一个零成本的检测方法：看每个类别的标签计数。如果“合规”类的计数异常偏低甚至为零，而相邻类别异常膨胀，就说明评分器可能在坍缩。这个过程不需要人工标注，也不需要额外调用模型。

据论文数据，某个评分器在900条响应中给“合规”标签的次数为零。这个数字本身就是警报——一个正常的评分器不该在近千条样本里完全“看不见”某一类。

标签计数分布（label count distribution）之所以能作为诊断信号，是因为一个校准良好的多类评分器在固定语料上的输出应大致反映真实类别比例；若某一类计数骤降、相邻类骤增，说明决策边界发生了偏移。这与混淆矩阵的思想一致：在不掌握金标准标签时，单看边际分布即可发现异常。实际操作中，团队可在每次评估后导出各标签的频次表，与历史基线或人工抽样的估计比例对比，偏差超过阈值即触发人工复核。该方法不依赖额外模型调用，适合嵌入现有评估流水线作为前置质检。

数量级的差距

在两个各含900条响应的语料、共八个评分器上，合规率在不同评分器之间相差22到25倍；非拒绝率的差距也有18到23个百分点。即便剔除那三个坍缩评分器，剩下四个语料上的合规率仍相差1.7到2.8倍，非拒绝率相差10到22个百分点。

这说明评分器分歧不是少数“坏评分器”造成的噪音，而是普遍存在的方法学问题。你可能没注意到，即使每个评分器只调用一次，这些结果也不变——坍缩不是多次采样带来的统计波动。

非拒绝率：更稳但不完全一致

研究同时比较了“非拒绝率”这一指标。它的跨评分器分歧是加性的，比合规率的乘性差异更温和，但仍不可忽略。作者因此建议：报告合规率时，同时附上各类别的标签计数和所用评分器的名称，并把非拒绝率作为并列指标。

这一“报告最低要求”并不复杂，却能暴露评分器坍缩。对于依赖自动化评分做安全评估的团队，这是低成本、高收益的改进。

合规率与非拒绝率的差异在于统计性质：合规率是“合规响应数/总响应数”，其分母固定，评分器间差异表现为乘性（比值可达数十倍）；非拒绝率通常指模型未明确拒绝的比例，把“合规”与“规避”等非拒绝类别合并计数，因此对相邻类之间的误判不敏感，差异表现为加性（百分点差）。这使得非拒绝率在评分器分歧下更稳健，但也更粗粒度——它无法区分“给出了有害内容”和“含糊其辞地绕开”，安全性信息量较低。二者并列报告，既能反映整体拒答倾向，又能暴露细粒度合规判定的不稳定性。

对越狱评估的启示

这项工作的核心提醒是：攻击成功率不是目标模型的固有属性，而是“目标模型×评分器”的联合产物。当评分器把合规响应静默地归入规避类，论文里漂亮的低成功率可能只是评分器的盲区。

对做红队测试和安全基准的团队来说，至少应做两件事：一是公开评分器身份，二是公开每类标签的计数。前者让结果可复现，后者让坍缩无处藏身。