[控场AI]
基准

AIME

AIME(American Invitational Mathematics Examination)是一项面向AI数学推理能力的评测基准,源自美国数学邀请赛题目。该基准通过竞赛级别的数学难题,考察模型在代数、数论、几何、组合等领域的复杂推理与解题能力,题目需要多步骤逻辑推导,是衡量大语言模型高级数学推理水平的重要参考标准之一。

时间轴 (近 90 天)

10月30日

DeepSeek在同一32B模型上对比发现:纯RL在AIME 2024上达47%,从R1蒸馏达72.6%,表明对小模型而言从更强模型蒸馏比大规模RL更有效。

待验证50%
10月30日

最终版DeepSeek R1与2024年12月版OpenAI o1在基准上互有胜负:AIME 2024上79.8%对79.2%,Math500上97.3%对96.4%,Codeforces上o1略占优。

待验证50%
10月30日

DeepSeek R1-zero用纯强化学习直接训练基础模型,其AIME 2024 pass@1从15.6%升到71%,64次采样多数投票达86.7%,论文称其匹敌或超过早期版本o1。

待验证50%
10月30日

2024年AIME数学考试上,OpenAI o1平均得分70%,单次尝试74%,64次采样投票后达83%,而GPT-4o只有12%。

待验证50%
10月27日

实验在 AIME 和 HMMT 两个数学推理基准上进行,ST-OPSD 相比原始 OPSD 和其他干预方法在准确率上有所提升。

待验证50%
10月27日

AIME 包含 15 道答案为整数的题目,强调代数、几何、数论与组合的综合运用。

待验证50%
10月12日

该模型在AIME与HMMT February竞赛数学集上取得满分

已过期50%
10月12日

AIME(美国数学邀请赛)是面向高中生的精英数学竞赛,题目以推理步骤多、答案唯一为特点

待验证50%
10月12日

Saluki在MBPP+取得78.0分,多步因果逻辑67.5分,AIME取得80.0分,保留原版82%~85%的数学推理能力

待验证50%
10月9日

模型在竞赛数学(如 AIME、IMO)和代码生成(如 Codeforces 竞赛题)上的得分在过去一年间出现近乎垂直的增长曲线

待验证50%

还有 4 条时间轴事件

全部知识事实 (15)

待验证

AIME 满分为 150 分(15 题×10 分),已成为衡量 AI 模型数学推理能力的黄金标准之一

90%
待验证

AIME(美国数学邀请赛)中人类顶尖高中生的平均得分仅在3-5分左右(满分15分)

70%
待验证

DeepSeek在同一32B模型上对比发现:纯RL在AIME 2024上达47%,从R1蒸馏达72.6%,表明对小模型而言从更强模型蒸馏比大规模RL更有效。

50%
待验证

2024年AIME数学考试上,OpenAI o1平均得分70%,单次尝试74%,64次采样投票后达83%,而GPT-4o只有12%。

50%
待验证

DeepSeek R1-zero用纯强化学习直接训练基础模型,其AIME 2024 pass@1从15.6%升到71%,64次采样多数投票达86.7%,论文称其匹敌或超过早期版本o1。

50%
待验证

最终版DeepSeek R1与2024年12月版OpenAI o1在基准上互有胜负:AIME 2024上79.8%对79.2%,Math500上97.3%对96.4%,Codeforces上o1略占优。

50%
待验证

AIME 包含 15 道答案为整数的题目,强调代数、几何、数论与组合的综合运用。

50%
待验证

实验在 AIME 和 HMMT 两个数学推理基准上进行,ST-OPSD 相比原始 OPSD 和其他干预方法在准确率上有所提升。

50%
待验证

AIME(美国数学邀请赛)是面向高中生的精英数学竞赛,题目以推理步骤多、答案唯一为特点

50%
待验证

Saluki在MBPP+取得78.0分,多步因果逻辑67.5分,AIME取得80.0分,保留原版82%~85%的数学推理能力

50%
待验证

模型在竞赛数学(如 AIME、IMO)和代码生成(如 Codeforces 竞赛题)上的得分在过去一年间出现近乎垂直的增长曲线

50%
待验证

数学推理类评测包括MATH和AIME,考察符号推导与多步骤计算

50%
待验证

部分大型语言模型已能在MATH、AIME等竞赛级题库中取得超过80%的正确率

50%
待验证

AIME只有30个样本,用少量种子跑出的微小分数差异不具统计显著性

50%
待验证

AIME只有30个样本,跑4个种子后以80分对比基线79分并加粗宣称超越,在统计上站不住脚

50%

来源文章