Circe：免训练LLM自我评估新方法，利用组件交互一致性

大型语言模型（LLM）正被部署到越来越多的实际应用中，如何判断其回答是否正确成为可靠使用的关键。然而，实际场景中往往没有参考答案可供比对，这让评估变得棘手。现有的无参考评估方法主要依赖输出信号，但输出信号可能给错误回答打高分，未必能反映正确性。为此，研究者提出了一种免训练的自评估方法 Circe，通过融合内部计算信号与外部输出信号，在不依赖参考答案、也不重复采样的情况下评估回答的正确性。

现有方法的局限：只看输出或只看隐状态轨迹

无参考评估的常见思路是分析模型输出的概率分布，例如困惑度或负对数似然。这类信号计算简单，但存在一个根本问题：模型可能对错误答案同样“自信”，导致输出信号与正确性脱钩。近年来，一些研究尝试挖掘模型内部状态，通过分析隐藏状态在层间的轨迹来获取补充信号。但这些工作主要关注隐藏状态的逐层变化，而隐藏状态记录的是注意力（attention）和前馈网络（FFN）的联合更新，无法区分这两个组件各自贡献了什么，也忽略了它们之间的交互方式。

Circe 的出发点正在于此：与其只看隐藏状态的综合轨迹，不如拆解注意力与 FFN 的交互过程，从中提取更精细的正确性信号。

困惑度与负对数似然是语言模型评估中常用的两个指标，二者关系密切。负对数似然（NLL）指模型对给定文本中每个 token 分配概率的负对数平均值，数值越低表示模型越“认为”该文本合理。困惑度则是 NLL 的指数形式（perplexity = exp(NLL)），可理解为模型在预测下一个 token 时的平均不确定性程度。两者都只依赖模型输出的概率分布，计算简便，但共同缺陷在于：它们衡量的是模型对文本的“熟悉度”或“流畅度”，而非事实正确性。模型完全可能对一段流畅但错误的回答给出低困惑度，这正是输出信号与正确性脱钩的根源。

Transformer 架构中，每个层由注意力子层和前馈网络（FFN）子层串联组成，二者通过残差连接叠加到隐藏状态上。注意力机制负责在 token 之间聚合信息，FFN 则对每个位置独立进行非线性变换。隐藏状态的逐层变化实际上是这两个组件更新的叠加结果，因此仅观察隐藏状态轨迹无法区分某一层的变化究竟来自注意力还是 FFN。Circe 的核心洞察正在于：分别追踪注意力更新方向与 FFN 响应方向，并考察二者是否对齐，可以提取出被混合轨迹掩盖的细粒度信号。

核心创新：组件交互一致性（CIC）

Circe 提出的第一个内部信号是组件交互一致性（Component Interaction Consistency，CIC）。它衡量的是早期层中注意力更新方向，与后期层中由注意力引发的 FFN 输出变化方向之间的对齐程度。直观理解是：如果模型在生成回答时内部计算是连贯的，那么注意力模块传递的信息与 FFN 据此做出的调整应当方向一致；反之，若两者方向背离，可能暗示推理过程存在矛盾或不稳定。

CIC 的价值在于它跳出了“隐藏状态整体轨迹”的粗粒度视角，直接刻画注意力与 FFN 这两个核心组件之间的协作质量。这种组件级别的交互信号，是此前基于隐状态轨迹的方法所未能捕捉的。

补充信号：表示几何与似然置信度

除 CIC 外，Circe 还引入了表示几何（Representation Geometry，RG）来刻画隐藏状态轨迹的几何特征，具体包括归一化位移和角度变化。这一信号从另一个角度描述模型内部表示的演化是否平滑、合理。

在外部信号方面，Circe 将生成 token 的平均负对数似然转换为有界的似然置信度（Likelihood Confidence，LC）分数。与直接使用负对数似然相比，有界化处理让该信号在与其他分数融合时更加稳定。

最终，Circe 将 CIC、RG 和 LC 三个信号融合为一个统一的正误评分。整个方法无需训练、无需参考答案，也不需要多次采样，具备较好的实用性。

表示几何（Representation Geometry）关注隐藏状态在层间移动时的几何性质。归一化位移衡量相邻层隐藏状态向量的相对变化幅度，角度变化则刻画移动方向的偏转程度。若模型内部表示演化平滑，相邻层的位移应保持方向稳定、幅度适中；若出现剧烈方向偏转或异常大的位移，往往意味着模型在该位置的处理不够稳定。这类几何特征与输出概率无关，属于纯内部信号，可作为 CIC 之外的另一维补充证据。

实验验证：跨模型、跨领域、跨模态的泛化能力

研究者在五个 LLM 和覆盖四个领域的六个基准上进行了实验。结果显示，与现有基线相比，Circe 能更有效地区分正确与错误回答。更值得关注的是其泛化性：该方法在多语言、多模态以及开放世界设置下同样有效。这意味着 Circe 不局限于特定模型或特定任务类型，具备较广的适用潜力。

从方法论角度看，Circe 提供了一个有价值的思路：LLM 的自我评估不必只盯着最终输出，也不必只做隐状态的粗粒度分析，深入组件间的交互一致性可以挖掘出更可靠的正确性信号。对于需要在不依赖标注数据的场景下部署 LLM 的团队来说，这类免训练评估方法值得关注。

随着 LLM 应用场景的扩展，如何低成本、高可靠地评估模型输出，将是一个持续存在的需求。Circe 通过组件交互一致性切入，为免训练自我评估开辟了一条新路径。