GAUGE
一项发表于arXiv的研究，提出可复用离线评测协议，用于检验「LLM模拟用户对话+LLM裁判打分」评测流程的排序有效性与构念有效性，揭示了满意度与任务成功之间的系统性脱钩现象
时间轴 (近 90 天)
GAUGE是研究者提出的一套可复用离线评测协议，用于检验'模拟器对话+LLM裁判打分'门禁的排序结果是否匹配有据可查、可验证的奖励信号
GAUGE研究覆盖了来自六家供应商的25个智能体，并在τ²-bench和SimulatorArena两个基准上进行测试
GAUGE区分了两种评测有效性：排序有效性（能否正确把强者排在前面）与构念有效性（所测指标是否真的对应任务成功）
研究显示用户满意度对于任务是否真正完成几乎不携带任何信息，被判定为'满意'的对话与实际任务成功之间是去相关的
在被盲评小组判定为'满意'的对话中，高达57.5%实际上并没有完成客户的任务
满意度—成功鸿沟这一规律在五个不同评分群体、两个基准、以及所有主观评价维度上都保持一致
在奖励差距较大的智能体配对上，决策分歧率低于1%
在实力接近的智能体配对上，决策分歧率飙升至31%
GAUGE提出'先校准、再信任'（calibrate-then-trust）的方案，主张主观满意度信号可保留但需辅以可验证客观成功信号来校准
GAUGE建议引入无需裁判的'完成位'（judge-free completion bit）作为零成本绊线，用于捕捉对话被截断导致的性能回退
全部知识事实 (10)
GAUGE是研究者提出的一套可复用离线评测协议，用于检验'模拟器对话+LLM裁判打分'门禁的排序结果是否匹配有据可查、可验证的奖励信号
50%待验证GAUGE研究覆盖了来自六家供应商的25个智能体，并在τ²-bench和SimulatorArena两个基准上进行测试
50%待验证GAUGE区分了两种评测有效性：排序有效性（能否正确把强者排在前面）与构念有效性（所测指标是否真的对应任务成功）
50%待验证研究显示用户满意度对于任务是否真正完成几乎不携带任何信息，被判定为'满意'的对话与实际任务成功之间是去相关的
50%待验证在被盲评小组判定为'满意'的对话中，高达57.5%实际上并没有完成客户的任务
50%待验证满意度—成功鸿沟这一规律在五个不同评分群体、两个基准、以及所有主观评价维度上都保持一致
50%待验证在奖励差距较大的智能体配对上，决策分歧率低于1%
50%待验证在实力接近的智能体配对上，决策分歧率飙升至31%
50%待验证GAUGE提出'先校准、再信任'（calibrate-then-trust）的方案，主张主观满意度信号可保留但需辅以可验证客观成功信号来校准
50%待验证GAUGE建议引入无需裁判的'完成位'（judge-free completion bit）作为零成本绊线，用于捕捉对话被截断导致的性能回退
50%