Circe
一种免训练的LLM自评估方法，通过融合内部组件交互一致性、表示几何与外部似然置信度信号，无需参考答案或重复采样即可评估回答正确性
时间轴 (近 90 天)
Circe 是一种免训练的自评估方法，通过融合内部计算信号与外部输出信号，在不依赖参考答案、也不重复采样的情况下评估 LLM 回答的正确性。
Circe 提出的组件交互一致性（CIC）信号衡量早期层中注意力更新方向与后期层中由注意力引发的 FFN 输出变化方向之间的对齐程度。
Circe 引入的表示几何（RG）信号刻画隐藏状态轨迹的几何特征，具体包括归一化位移和角度变化。
Circe 将生成 token 的平均负对数似然转换为有界的似然置信度（LC）分数，有界化处理让该信号在与其他分数融合时更加稳定。
Circe 将 CIC、RG 和 LC 三个信号融合为一个统一的正误评分。
研究者在五个 LLM 和覆盖四个领域的六个基准上进行了实验。
实验结果显示，与现有基线相比，Circe 能更有效地区分正确与错误回答。
Circe 在多语言、多模态以及开放世界设置下同样有效。
全部知识事实 (8)
Circe 是一种免训练的自评估方法，通过融合内部计算信号与外部输出信号，在不依赖参考答案、也不重复采样的情况下评估 LLM 回答的正确性。
50%待验证Circe 提出的组件交互一致性（CIC）信号衡量早期层中注意力更新方向与后期层中由注意力引发的 FFN 输出变化方向之间的对齐程度。
50%待验证Circe 引入的表示几何（RG）信号刻画隐藏状态轨迹的几何特征，具体包括归一化位移和角度变化。
50%待验证Circe 将生成 token 的平均负对数似然转换为有界的似然置信度（LC）分数，有界化处理让该信号在与其他分数融合时更加稳定。
50%待验证Circe 将 CIC、RG 和 LC 三个信号融合为一个统一的正误评分。
50%待验证研究者在五个 LLM 和覆盖四个领域的六个基准上进行了实验。
50%待验证实验结果显示，与现有基线相比，Circe 能更有效地区分正确与错误回答。
50%待验证Circe 在多语言、多模态以及开放世界设置下同样有效。
50%