LLM-as-a-Judge
一种LLM评估方法，使用强大的语言模型（如GPT-4）作为裁判对其他模型的输出进行评分，由LMSYS团队于2023年系统化提出
核心事实
时间轴 (近 90 天)
对话自动评估（LLM-as-a-Judge）是当前代理评测的主流做法：用另一个大模型按预设评分标准对对话记录打分，或判断回复是否满足事实性、语气、合规等维度。
业界常用的替代评估思路包括：基于rubric或评分标准的评估、用LLM作为评判者（LLM-as-a-Judge）对输出打分、以及基于语义相似度或关键信息覆盖率的软断言。
在模型排行榜、A/B测试或学术对比中，若仅依赖一个提示，排名可能因措辞的微小变化而翻转。
通过多提示聚合（multi-prompt aggregation），强调那些在提示变体间保持一致的判断，可以显著提升LLMaJ评估的鲁棒性。
一项包含10名人类标注者的用户研究表明，LLMaJ评委在同义改写下的一致性下降幅度是人类的6-9倍。
同义改写能够改变LLMaJ的评估结果，在某些设置下甚至反转模型间的相对排名。
一项题为《Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing》的研究揭示，语义等价但措辞不同的提示变体会导致LLM评审给出不一致的判决，研究者将这种现象命名为Prompt Lottery。
LLMaJ已被广泛用于模型排行榜（如Chatbot Arena的自动评审变体）、RLHF奖励建模和学术基准测试。
研究呼吁社区重新审视LLMaJ的评估协议，未来工作可探索更鲁棒的聚合方法、自动生成语义等价提示变体的技术，以及将人类一致性作为评估LLMaJ质量的指标之一。
“AI分身挑刺”是一种对抗式审查模式：审查者与生产者由不同模型实例担任，且审查者被禁止参考生成过程，只看diff，以避免生成方为自己的改动辩护的“解释性偏差”。
还有 40 条时间轴事件
全部知识事实 (20)
智能体评估的主流方案包括LLM-as-Judge、轨迹匹配和结果验证
90%已验证LLM-as-Judge方法利用GPT-4等大语言模型作为裁判对Agent输出质量进行自动化评分
90%已验证LLM-as-a-Judge方法存在位置偏差、冗长偏差和自我偏好偏差等已知系统性偏差
80%已验证AI系统评测分为离线评测和在线评测,离线评测可使用更强模型作为评判者(LLM-as-a-Judge)
65%已验证LLM-as-a-Judge评估范式最早由LMSYS团队在MT-Bench和Chatbot Arena中大规模应用
65%已验证LLM-as-a-judge模式即用一个能力更强的模型来评判另一个模型的输出质量，降低评测成本但引入评判模型自身的偏见问题
65%已验证LLM as Judge由Lianmin Zheng等人在MT-Bench论文（2023）中系统提出，核心思路是用独立大语言模型对另一模型输出进行打分以替代人工标注
65%待验证LLM-as-a-Judge范式最初用于评估生成式AI输出质量，现被应用于简历-职位匹配等复杂推理判断场景
60%待验证单一LLM评判者存在位置偏见（倾向于给出现在前面的答案更高评分）和自我增强偏见（倾向于给自家风格的输出打高分）
60%待验证对话自动评估（LLM-as-a-Judge）是当前代理评测的主流做法：用另一个大模型按预设评分标准对对话记录打分，或判断回复是否满足事实性、语气、合规等维度。
50%待验证业界常用的替代评估思路包括：基于rubric或评分标准的评估、用LLM作为评判者（LLM-as-a-Judge）对输出打分、以及基于语义相似度或关键信息覆盖率的软断言。
50%待验证同义改写能够改变LLMaJ的评估结果，在某些设置下甚至反转模型间的相对排名。
50%待验证一项包含10名人类标注者的用户研究表明，LLMaJ评委在同义改写下的一致性下降幅度是人类的6-9倍。
50%待验证LLMaJ已被广泛用于模型排行榜（如Chatbot Arena的自动评审变体）、RLHF奖励建模和学术基准测试。
50%待验证通过多提示聚合（multi-prompt aggregation），强调那些在提示变体间保持一致的判断，可以显著提升LLMaJ评估的鲁棒性。
50%待验证在模型排行榜、A/B测试或学术对比中，若仅依赖一个提示，排名可能因措辞的微小变化而翻转。
50%待验证研究呼吁社区重新审视LLMaJ的评估协议，未来工作可探索更鲁棒的聚合方法、自动生成语义等价提示变体的技术，以及将人类一致性作为评估LLMaJ质量的指标之一。
50%待验证一项题为《Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing》的研究揭示，语义等价但措辞不同的提示变体会导致LLM评审给出不一致的判决，研究者将这种现象命名为Prompt Lottery。
50%待验证“AI分身挑刺”是一种对抗式审查模式：审查者与生产者由不同模型实例担任，且审查者被禁止参考生成过程，只看diff，以避免生成方为自己的改动辩护的“解释性偏差”。
50%待验证研究采用基于模拟的评估方法，使用真实世界数据，并结合LLM-as-a-Judge评估与人工验证。
50%