HellaSwag
HellaSwag是一种早期NLP评测基准，主要考察模型的语言理解与常识推理能力，通过句子补全任务评估模型对语义连贯性的理解。
核心事实
时间轴 (近 90 天)
标准下游benchmark包括MMLU、HellaSwag、ARC、GSM8K等，分别考察知识问答、常识推理、科学推理和数学能力。
即便经过去重处理的大规模预训练语料，与MMLU、HellaSwag、GSM8K等主流基准之间的n-gram重叠率仍可达到数个百分点
OAL 在 PIQA、HellaSwag 和 ARC-E 等常识推理基准上的准确率有所提升
公开基准测试（如MMLU、HumanEval、HellaSwag）衡量的是模型在标准化题目上的表现，与具体业务场景往往存在巨大差距
Decision Index 是专门针对决策类任务设立的基准榜单，衡量指标与 MMLU、HellaSwag 等通用语言模型榜单不同
传统的LLM基准测试大多聚焦于单轮问答、代码生成、推理题目等相对封闭的任务
相较于静态标准化测试集（如MMLU、HellaSwag），Elo机制能反映模型在真实用户交互中的相对表现，且随着投票量增加持续收敛
现有通用评测基准如MMLU、HellaSwag主要考察知识覆盖与逻辑推理
文本类 LLM 已有 MMLU、HellaSwag、MT-Bench 等公开基准以及 LangSmith、Braintrust 等商业评估平台，而语音领域缺乏类似标准化基准
MMLU、HellaSwag、BIG-Bench等主流大语言模型评测体系主要衡量知识覆盖度、逻辑推理与语言流畅性，其设计假设存在可验证的正确答案
还有 5 条时间轴事件
全部知识事实 (19)
MMLU评估模型在57个学科领域的知识广度，HumanEval测量代码生成正确率，GSM8K考察数学推理，HELM构建综合多维评估框架
90%已验证标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）
85%已验证AI领域模型能力的可信评估依赖标准化基准测试，常见评测集包括MMLU、HumanEval、MATH、GPQA
80%已验证业界常用的AI评测包括MMLU（大规模多任务语言理解）、HumanEval（代码生成）、GSM8K（数学推理）等，但每个基准只能衡量特定维度的能力
65%已验证MMLU、HumanEval、MATH等基准测试用于量化模型能力差异
65%待验证标准下游benchmark包括MMLU、HellaSwag、ARC、GSM8K等，分别考察知识问答、常识推理、科学推理和数学能力。
50%待验证即便经过去重处理的大规模预训练语料，与MMLU、HellaSwag、GSM8K等主流基准之间的n-gram重叠率仍可达到数个百分点
50%待验证OAL 在 PIQA、HellaSwag 和 ARC-E 等常识推理基准上的准确率有所提升
50%待验证公开基准测试（如MMLU、HumanEval、HellaSwag）衡量的是模型在标准化题目上的表现，与具体业务场景往往存在巨大差距
50%待验证Decision Index 是专门针对决策类任务设立的基准榜单，衡量指标与 MMLU、HellaSwag 等通用语言模型榜单不同
50%待验证传统的LLM基准测试大多聚焦于单轮问答、代码生成、推理题目等相对封闭的任务
50%待验证相较于静态标准化测试集（如MMLU、HellaSwag），Elo机制能反映模型在真实用户交互中的相对表现，且随着投票量增加持续收敛
50%待验证现有通用评测基准如MMLU、HellaSwag主要考察知识覆盖与逻辑推理
50%待验证文本类 LLM 已有 MMLU、HellaSwag、MT-Bench 等公开基准以及 LangSmith、Braintrust 等商业评估平台，而语音领域缺乏类似标准化基准
50%待验证MMLU、HellaSwag、BIG-Bench等主流大语言模型评测体系主要衡量知识覆盖度、逻辑推理与语言流畅性，其设计假设存在可验证的正确答案
50%待验证研究从Dolly-15k、LMSYS-Chat-1M、WildChat-1M、MMLU、GSM8K和HellaSwag六个数据源采样了1242条纯英文Prompt
50%待验证研究覆盖了ARC、GSM8K、HellaSwag、MMLU四大基准测试
50%待验证早期评测基准如MMLU、HellaSwag已暴露出数据污染和饱和效应等问题
50%待验证许多经典基准已趋于饱和（如HellaSwag上多个模型得分超过95%），业界正在开发更具区分度的新基准如GPQA、SWE-bench、LiveBench
50%