GSM8K
小学数学应用题基准测试，包含8500道小学水平数学题，用于评估大语言模型的基础数学推理能力
核心事实
时间轴 (近 90 天)
2022年Jason Wei的论文证明，在prompt中给8个示例就能让5400亿参数模型在GSM8K数学应用题基准上达到当时最好水平。
Takeshi Kojima团队发现，只需在prompt中加一句“let's think step by step”，旧版OpenAI模型在GSM8K上的准确率就从约10%提升到约41%。
在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
早期广泛使用的MMLU、GSM8K等基准在新一代模型面前分数已高度集中。
GSM8K 的设计特点是答案唯一、可自动判分，目的是检验模型的多步链式推理而非单纯记忆。
两年半前，AI 实验室发布新一代大语言模型时，几乎都会把 GSM8K 成绩放在最显眼的位置；如今，这一指标已不再出现在主流模型发布的核心叙事中。
当主流模型在 GSM8K 上的准确率逼近 95% 以上时，该基准便失去了区分度。
dSpark 在 GSM8K 上实现加速的同时，任务表现保持甚至更优。
在 GSM8K 上，dSpark 相对多种基线方法，在 LLaDA-8B-Instruct 上实现了 10.12 倍的加速。
采样器带来的增益可拆解为记忆效应（在 Sudoku 和 GSM8K 上均存在）与词元选择效应（在 GSM8K 上出现且小预算下最显著）。
还有 40 条时间轴事件
全部知识事实 (20)
MMLU评估模型在57个学科领域的知识广度，HumanEval测量代码生成正确率，GSM8K考察数学推理，HELM构建综合多维评估框架
90%已验证基准测试是验证模型能力的重要参考，常见评测维度包括数学推理、代码生成、科学问答
85%已验证基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力
85%已验证标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）
85%已验证MMLU包含57个学科领域约1.5万道选择题，HumanEval由OpenAI设计包含164道Python编程题，MATH包含12,500道竞赛数学题，GPQA收录研究生级别科学问题
80%已验证GSM8K是由OpenAI于2021年发布的小学数学应用题基准，包含约8500道需要2至8步推理的题目
80%已验证在MMLU、HumanEval、GSM8K等主流评测中，头部大模型的得分差距往往只有几个百分点
80%已验证主流基准测试如MMLU、HumanEval、GSM8K设计之初主要面向学术比较，侧重测量模型在封闭题目上的准确率
75%已验证GSM8K, released by OpenAI, contains approximately 8,500 elementary school math word problems designed to test multi-step reasoning ability
75%已验证HumanEval由OpenAI设计，包含164道Python编程题；GSM8K包含8500道小学数学应用题；MMLU涵盖57个学科领域的选择题
75%已验证AI模型基准测试通常在MMLU、HumanEval、GSM8K等标准数据集上评估模型的推理、编码和数学能力
70%已验证当测试题目可能已出现在训练数据中时，高分并不能真正代表泛化能力，这被称为基准污染
65%已验证业界常用的AI评测包括MMLU（大规模多任务语言理解）、HumanEval（代码生成）、GSM8K（数学推理）等，但每个基准只能衡量特定维度的能力
65%已验证Artificial Analysis Intelligence Index整合了MMLU、HumanEval、MATH、GPQA等多个基准测试的加权结果
65%已验证在GSM8K数学推理基准上，Self-Consistency相比单次贪婪解码可将准确率提升约17个百分点
65%已验证MMLU、HumanEval、MT-Bench是AI社区广泛认可的标准化基准测试集
65%待验证在 MMLU、HumanEval、GSM8K 等主流基准上，开源模型已达到 GPT-4 早期版本 85-95% 的水平
70%待验证MMLU、HumanEval、GSM8K等大模型评测基准存在数据污染、过拟合和生态效度不足的局限性
70%待验证自我一致性（Self-Consistency）方法由Xuezhi Wang等人提出，在GSM8K等数学推理基准测试中将准确率提升了10%以上
70%部分验证GSM8K是小学数学推理基准，HumanEval是代码生成基准，HellaSwag是常识推理基准
65%