MMLU
Massive Multitask Language Understanding，大规模多任务语言理解基准测试，用于评估大语言模型的知识和推理能力
核心事实
时间轴 (近 90 天)
在Tesla T4上使用llama.cpp评测，MMLU子集保留率为92.9%（344/502）。
课程重叠型基准Skolprov的增量解释力ΔR²=.128（95% CI [.038,.253]），表明翻译MMLU得分能显著预测该母语基准的表现。
该研究对比了DeepL翻译的MMLU与六个母语基准，覆盖五种北欧和波罗的海语言，共七组配对，每组配对评测29个模型。
对于瑞典特定事实知识基准SwedishFacts，翻译MMLU没有提供显著的增量价值（p=.242）。
早期广泛使用的MMLU、GSM8K等基准在新一代模型面前分数已高度集中。
公开基准（如 MMLU、HumanEval）的题目和答案通常公开可查，模型团队可以针对性地在训练数据中覆盖相似题目，从而在榜单上取得虚高分数，即「刷榜」。
Llama-3.3-70B 在安装语料后，300次决策中的有害决策从70次降至0次，同时 MMLU 基准保持不变。
传统评测如 MMLU、GSM8K 通常只检查模型单次输出文本是否正确，属于静态的输入-输出映射。
MMLU、GSM8K、HumanEval、C-Eval是常见的大模型基准测试集合，分别侧重多学科知识、小学数学推理、代码生成和中文综合能力。
benchmark指的是任务集与评分标准（如MMLU、GSM8K），而harness是执行这些任务的软件框架，负责加载题目、构造提示词、调用模型API、解析输出并判定对错。
还有 40 条时间轴事件
全部知识事实 (20)
MMLU（Massive Multitask Language Understanding）涵盖57个学科的选择题，从人文社科到STEM测试模型的知识广度与深度
90%已验证MMLU评估模型在57个学科领域的知识广度，HumanEval测量代码生成正确率，GSM8K考察数学推理，HELM构建综合多维评估框架
90%已验证基准测试是验证模型能力的重要参考，常见评测维度包括数学推理、代码生成、科学问答
85%已验证基准污染是指测试题目可能已出现在训练数据中，导致高分不能真正代表泛化能力
85%已验证标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）
85%已验证MMLU（Massive Multitask Language Understanding）包含57个学科的选择题，用于测试模型的知识广度
80%已验证部分模型存在针对测试集过度优化的风险，导致榜单分数与真实场景表现出现偏差（Benchmark饱和）
80%已验证MMLU涵盖57个学科领域的57000余道选择题，HumanEval专注于代码生成的函数级正确性验证
80%已验证MMLU包含57个学科领域约1.5万道选择题，HumanEval由OpenAI设计包含164道Python编程题，MATH包含12,500道竞赛数学题，GPQA收录研究生级别科学问题
80%已验证AI领域模型能力的可信评估依赖标准化基准测试，常见评测集包括MMLU、HumanEval、MATH、GPQA
80%已验证在MMLU、HumanEval、GSM8K等主流评测中，头部大模型的得分差距往往只有几个百分点
80%已验证基准污染（Benchmark Contamination）是当前大模型评估领域面临的重要挑战，模型训练数据中可能已包含公开的测试题目导致评估结果失真
80%已验证MMLU由加州大学伯克利分校于2020年发布，包含来自57个学科的约15,000道多项选择题
80%已验证主流基准测试如MMLU、HumanEval、GSM8K设计之初主要面向学术比较，侧重测量模型在封闭题目上的准确率
75%已验证到2024年中，顶级模型在MMLU上的分数已普遍超过85-90%，该基准的区分度急剧下降
75%已验证对齐训练优化的是模型在已知场景下的统计行为，而非建立可形式化验证的安全边界，面对训练分布之外的罕见指令组合或角色扮演框架时可能失效
75%已验证HumanEval由OpenAI设计，包含164道Python编程题；GSM8K包含8500道小学数学应用题；MMLU涵盖57个学科领域的选择题
75%已验证Benchmark（基准评测）是用一套固定题目给模型打分做横向对比，类似模拟考，用于给模型排名
70%已验证AI编程工具中在AI评测中区分记忆与推理被视为理解模型真实能力边界的核心挑战，数据污染会使模型的推理本质上成为对训练数据的记忆复现
70%已验证AI模型基准测试通常在MMLU、HumanEval、GSM8K等标准数据集上评估模型的推理、编码和数学能力
70%