[控场AI]
概念Bradley-Terry Model

Bradley-Terry模型

经典的概率排名模型,通过成对比较结果推导出每个项目的潜在评分,广泛应用于排名、评分和偏好建模等领域

时间轴 (近 90 天)

11月3日

Bradley-Terry模型假设每个回答有一个潜在的奖励分数,偏好概率由两个分数的差值经sigmoid函数得到。

待验证50%
11月3日

奖励建模阶段通常基于成对比较数据,采用Bradley-Terry模型将人类偏好转化为概率形式。

待验证50%
10月27日

成对比较(pairwise comparison)的结果通常用 Bradley-Terry 模型或 Elo 评分体系聚合成全局排名,文章中的总分1536是聚合后的相对分数而非百分制得分。

待验证50%
10月27日

隐式奖励边界幅度是指在偏好优化模型(如Bradley-Terry模型)中,对于一对回复,模型隐含分配的奖励分数之差,即|r(A)-r(B)|。

待验证50%
10月14日

在主观性强的任务中,成对比较正逐渐取代绝对打分成为主流评测范式,其统计学结果可直接输入 Bradley-Terry 模型或 Elo 系统输出具有传递性的全局排名。

待验证50%
9月11日

QuRating框架最初定义了写作风格、所需专业知识、事实丰富度和教育价值四个维度,理论基础源自Bradley-Terry模型

待验证50%
9月11日

QuRating的理论基础源自Bradley-Terry模型,通过成对比较结果推导出每个项目的潜在评分

待验证50%
9月8日

Chatbot Arena的评分机制借鉴Elo评分系统,底层采用Bradley-Terry模型——一种基于成对比较的概率排名方法

待验证50%
9月8日

Bradley-Terry模型是Elo系统的推广,通过最大似然估计同时拟合所有选手的能力参数,是Chatbot Arena等现代评估平台采用的核心统计模型

待验证50%
9月7日

盲测排名通常基于Elo评分系统或Bradley-Terry模型计算得出

待验证70%

还有 4 条时间轴事件

全部知识事实 (14)

待验证

盲测排名通常基于Elo评分系统或Bradley-Terry模型计算得出

70%
待验证

Bradley-Terry模型假设每个回答有一个潜在的奖励分数,偏好概率由两个分数的差值经sigmoid函数得到。

50%
待验证

奖励建模阶段通常基于成对比较数据,采用Bradley-Terry模型将人类偏好转化为概率形式。

50%
待验证

成对比较(pairwise comparison)的结果通常用 Bradley-Terry 模型或 Elo 评分体系聚合成全局排名,文章中的总分1536是聚合后的相对分数而非百分制得分。

50%
待验证

隐式奖励边界幅度是指在偏好优化模型(如Bradley-Terry模型)中,对于一对回复,模型隐含分配的奖励分数之差,即|r(A)-r(B)|。

50%
待验证

在主观性强的任务中,成对比较正逐渐取代绝对打分成为主流评测范式,其统计学结果可直接输入 Bradley-Terry 模型或 Elo 系统输出具有传递性的全局排名。

50%
待验证

QuRating框架最初定义了写作风格、所需专业知识、事实丰富度和教育价值四个维度,理论基础源自Bradley-Terry模型

50%
待验证

QuRating的理论基础源自Bradley-Terry模型,通过成对比较结果推导出每个项目的潜在评分

50%
待验证

Chatbot Arena的评分机制借鉴Elo评分系统,底层采用Bradley-Terry模型——一种基于成对比较的概率排名方法

50%
待验证

Bradley-Terry模型是Elo系统的推广,通过最大似然估计同时拟合所有选手的能力参数,是Chatbot Arena等现代评估平台采用的核心统计模型

50%
待验证

Bradley-Terry模型假设所有参与者的能力可以用一个一维标量完全表征,这在实际场景中会丢失多维度信息

50%
待验证

Bradley-Terry模型最早由Ralph Bradley和Milton Terry于1952年提出,最初用于体育赛事排名,在RLHF中被用来将离散的偏好判断转化为连续的奖励分数

50%
待验证

Elo系统基于Bradley-Terry模型,假设选手A击败选手B的概率仅取决于两者评分之差,具体为logistic函数

50%
待验证

截至2024年末,LMArena已收集超过200万次人类投票,涵盖数百个模型,并引入Bradley-Terry模型作为Elo的补充

50%

来源文章