已验证80% 置信事实精确时间
MMLU(Massive Multitask Language Understanding)包含57个学科的选择题,用于测试模型的知识广度
4
来源数
80%
置信度
长期有效
时效性
2026/9/11
首次发现
来源
涉及实体
相关事实
待验证MMMU(Massive Multidiscipline Multimodal Understanding)要求模型跨越医学、法律、艺术等30个学科回答需要图文联合推理的题目75% 相似待验证MMLU、GSM8K、HumanEval、C-Eval是常见的大模型基准测试集合,分别侧重多学科知识、小学数学推理、代码生成和中文综合能力。72% 相似待验证MMLU的生物医学部分主要来源于教材和标准化考试题库,主要考察概念性知识记忆而非数据分析推理能力71% 相似待验证MMLU曾是衡量大语言模型知识水平的黄金标准,在ChatGPT问世年代几乎是每份模型发布报告的必备指标70% 相似待验证Decision Index 是专门针对决策类任务设立的基准榜单,衡量指标与 MMLU、HellaSwag 等通用语言模型榜单不同65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/895389API
curl https://kongchang.com/api/v1/knowledge/claims/895389MCP
get_claim(id=895389)