其他
LLM评委
时间轴 (近 90 天)
10月16日
批次效应指评委在同一批里看到的其他用例会通过注意力机制间接影响当前用例的对数概率分布。
待验证50%
10月16日
诊断LLM评委方差的方法是对同一批输入连续跑五到十次，观察分数分布是否重叠在通过线两侧。
待验证50%
10月16日
对客服Agent的语气判断，采用点式评分，单答案对照阈值；需要排序时切换成对比较并运行两个顺序，因为模型倾向偏爱先读到的答案。
待验证50%
10月16日
对抗性输入场景中，类型化和生成式评委都会读取被评分内容，而内容可能携带针对评委的指令，书面推理无法可靠暴露Prompt注入。
待验证50%
9月14日
使用来自不同厂商、不同训练路线的异质性评委可降低误差之间的相关性
待验证50%
9月14日
要求评委在评分的同时说明理由，有助于暴露评委是否真正基于内容质量而非表面特征作判断
待验证50%
全部知识事实 (6)
待验证
批次效应指评委在同一批里看到的其他用例会通过注意力机制间接影响当前用例的对数概率分布。
50%待验证诊断LLM评委方差的方法是对同一批输入连续跑五到十次，观察分数分布是否重叠在通过线两侧。
50%待验证对客服Agent的语气判断，采用点式评分，单答案对照阈值；需要排序时切换成对比较并运行两个顺序，因为模型倾向偏爱先读到的答案。
50%待验证对抗性输入场景中，类型化和生成式评委都会读取被评分内容，而内容可能携带针对评委的指令，书面推理无法可靠暴露Prompt注入。
50%待验证使用来自不同厂商、不同训练路线的异质性评委可降低误差之间的相关性
50%待验证要求评委在评分的同时说明理由，有助于暴露评委是否真正基于内容质量而非表面特征作判断
50%