MATH
MATH是一个用于评估机器学习模型数学推理能力的基准数据集，由Hendrycks等人构建，包含来自高中数学竞赛的数千道题目，涵盖代数、几何、数论、概率等多个数学领域，并按难度分级。每道题目要求模型给出完整的解题过程与最终答案，是衡量大语言模型在复杂数学推理与问题求解能力方面的重要评测标准。
核心事实
时间轴 (近 90 天)
在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
GSM8K 饱和后，社区转向 MATH（竞赛级数学）、GPQA（研究生级科学问答）以及需要执行代码或调用外部工具的 Agent 类评测。
JOLT在MATH上的准确率绝对值、与GRPO打平时的模型规模、6.5倍token缩减是否以更多训练步数或更复杂教师训练阶段为代价、以及共享参数下是否存在能力退化或模式坍塌风险，均为尚待回答的开放问题。
目前公开的JOLT效率对比仅限MATH一个基准，尚不能推断其在代码生成、多轮对话或开放域推理上的表现。
在 MATH 数学推理基准上，JOLT 达到了与 GRPO 相同的准确率，但处理的训练 token 数量只有 GRPO 的约六分之一。
JOLT 目前公开信息仅覆盖 MATH 一项基准，泛化能力仍需更多验证。
常见的推理基准包括 GSM8K（小学数学应用题）、MATH（竞赛级数学题）、StrategyQA（多跳常识推理）等，这些基准要求多步推导且答案可自动验证。
在 MATH 数据集上，GraphEvoResearcher 比单次生成提升 24 个百分点，比扁平反思提升 12 个百分点。
GSM8K、MATH 和 BBH 是三个常用的推理评测基准，难度梯度明显：GSM8K 为小学数学应用题，MATH 涵盖竞赛级数学题，BBH 包含 23 类需要多步符号操作或策略推理的任务。
在 DeepSeek 真实 LLM 上，研究者在 GSM8K、MATH 和 BBH 三个基准上各取 50 个样本进行评测，GraphEvoResearcher 分别达到 98%、92% 和 82% 的准确率，在所有基线中最高。
还有 23 条时间轴事件
全部知识事实 (20)
基准测试是验证模型能力的重要参考，常见评测维度包括数学推理、代码生成、科学问答
85%已验证标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）
85%已验证HumanEval专注代码生成能力，以164道编程题检验模型的逻辑推理与代码正确性
85%已验证部分模型存在针对测试集过度优化的风险，导致榜单分数与真实场景表现出现偏差（Benchmark饱和）
80%已验证AI模型基准测试通常在MMLU、HumanEval、GSM8K等标准数据集上评估模型的推理、编码和数学能力
70%已验证业界常用的AI评测包括MMLU（大规模多任务语言理解）、HumanEval（代码生成）、GSM8K（数学推理）等，但每个基准只能衡量特定维度的能力
65%已验证Artificial Analysis Intelligence Index整合了MMLU、HumanEval、MATH、GPQA等多个基准测试的加权结果
65%已验证MMLU、HumanEval、MATH等基准测试用于量化模型能力差异
65%已验证MMLU、HumanEval、MT-Bench是AI社区广泛认可的标准化基准测试集
65%待验证The industry has begun shifting toward more challenging benchmarks like GPQA and MATH as older benchmarks lose discriminative power
80%待验证OpenAI在2023年论文《Let's Verify Step by Step》中表明过程监督(PRM)在数学推理任务中显著优于结果监督(ORM)
70%部分验证GSM8K是小学数学推理基准，HumanEval是代码生成基准，HellaSwag是常识推理基准
65%待验证基准测试分数与实际应用效果之间往往存在显著差距，MMLU得分略低的模型可能在特定垂直领域表现更好
60%待验证在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
50%待验证GSM8K 饱和后，社区转向 MATH（竞赛级数学）、GPQA（研究生级科学问答）以及需要执行代码或调用外部工具的 Agent 类评测。
50%待验证目前公开的JOLT效率对比仅限MATH一个基准，尚不能推断其在代码生成、多轮对话或开放域推理上的表现。
50%待验证JOLT在MATH上的准确率绝对值、与GRPO打平时的模型规模、6.5倍token缩减是否以更多训练步数或更复杂教师训练阶段为代价、以及共享参数下是否存在能力退化或模式坍塌风险，均为尚待回答的开放问题。
50%待验证在 MATH 数学推理基准上，JOLT 达到了与 GRPO 相同的准确率，但处理的训练 token 数量只有 GRPO 的约六分之一。
50%待验证JOLT 目前公开信息仅覆盖 MATH 一项基准，泛化能力仍需更多验证。
50%待验证常见的推理基准包括 GSM8K（小学数学应用题）、MATH（竞赛级数学题）、StrategyQA（多跳常识推理）等，这些基准要求多步推导且答案可自动验证。
50%