AIME
AIME(American Invitational Mathematics Examination)是一项面向AI数学推理能力的评测基准,源自美国数学邀请赛题目。该基准通过竞赛级别的数学难题,考察模型在代数、数论、几何、组合等领域的复杂推理与解题能力,题目需要多步骤逻辑推导,是衡量大语言模型高级数学推理水平的重要参考标准之一。
时间轴 (近 90 天)
DeepSeek在同一32B模型上对比发现:纯RL在AIME 2024上达47%,从R1蒸馏达72.6%,表明对小模型而言从更强模型蒸馏比大规模RL更有效。
最终版DeepSeek R1与2024年12月版OpenAI o1在基准上互有胜负:AIME 2024上79.8%对79.2%,Math500上97.3%对96.4%,Codeforces上o1略占优。
DeepSeek R1-zero用纯强化学习直接训练基础模型,其AIME 2024 pass@1从15.6%升到71%,64次采样多数投票达86.7%,论文称其匹敌或超过早期版本o1。
2024年AIME数学考试上,OpenAI o1平均得分70%,单次尝试74%,64次采样投票后达83%,而GPT-4o只有12%。
实验在 AIME 和 HMMT 两个数学推理基准上进行,ST-OPSD 相比原始 OPSD 和其他干预方法在准确率上有所提升。
AIME 包含 15 道答案为整数的题目,强调代数、几何、数论与组合的综合运用。
该模型在AIME与HMMT February竞赛数学集上取得满分
AIME(美国数学邀请赛)是面向高中生的精英数学竞赛,题目以推理步骤多、答案唯一为特点
Saluki在MBPP+取得78.0分,多步因果逻辑67.5分,AIME取得80.0分,保留原版82%~85%的数学推理能力
模型在竞赛数学(如 AIME、IMO)和代码生成(如 Codeforces 竞赛题)上的得分在过去一年间出现近乎垂直的增长曲线
还有 4 条时间轴事件
全部知识事实 (15)
AIME 满分为 150 分(15 题×10 分),已成为衡量 AI 模型数学推理能力的黄金标准之一
90%待验证AIME(美国数学邀请赛)中人类顶尖高中生的平均得分仅在3-5分左右(满分15分)
70%待验证DeepSeek在同一32B模型上对比发现:纯RL在AIME 2024上达47%,从R1蒸馏达72.6%,表明对小模型而言从更强模型蒸馏比大规模RL更有效。
50%待验证2024年AIME数学考试上,OpenAI o1平均得分70%,单次尝试74%,64次采样投票后达83%,而GPT-4o只有12%。
50%待验证DeepSeek R1-zero用纯强化学习直接训练基础模型,其AIME 2024 pass@1从15.6%升到71%,64次采样多数投票达86.7%,论文称其匹敌或超过早期版本o1。
50%待验证最终版DeepSeek R1与2024年12月版OpenAI o1在基准上互有胜负:AIME 2024上79.8%对79.2%,Math500上97.3%对96.4%,Codeforces上o1略占优。
50%待验证AIME 包含 15 道答案为整数的题目,强调代数、几何、数论与组合的综合运用。
50%待验证实验在 AIME 和 HMMT 两个数学推理基准上进行,ST-OPSD 相比原始 OPSD 和其他干预方法在准确率上有所提升。
50%待验证AIME(美国数学邀请赛)是面向高中生的精英数学竞赛,题目以推理步骤多、答案唯一为特点
50%待验证Saluki在MBPP+取得78.0分,多步因果逻辑67.5分,AIME取得80.0分,保留原版82%~85%的数学推理能力
50%待验证模型在竞赛数学(如 AIME、IMO)和代码生成(如 Codeforces 竞赛题)上的得分在过去一年间出现近乎垂直的增长曲线
50%待验证数学推理类评测包括MATH和AIME,考察符号推导与多步骤计算
50%待验证部分大型语言模型已能在MATH、AIME等竞赛级题库中取得超过80%的正确率
50%待验证AIME只有30个样本,用少量种子跑出的微小分数差异不具统计显著性
50%待验证AIME只有30个样本,跑4个种子后以80分对比基线79分并加粗宣称超越,在统计上站不住脚
50%