GPQA
GPQA（Graduate-Level Google-Proof Q&A）是一个面向研究生水平的专业知识问答基准测试，旨在评估大型语言模型在生物学、化学、物理学等自然科学领域的深度推理与专业知识掌握能力。题目由领域专家设计，难度较高，即使借助搜索引擎也难以轻易作答，常被用于衡量模型在专业领域的极限推理表现。
核心事实
时间轴 (近 90 天)
GSM8K 饱和后，社区转向 MATH（竞赛级数学）、GPQA（研究生级科学问答）以及需要执行代码或调用外部工具的 Agent 类评测。
GPQA 采用多轮专家评审与一致性投票来保证题目质量，每道题至少经过三位领域专家的独立验证与交叉质疑。
Benchmark 是机器学习领域常用的标准化评测集与指标，如 MMLU（多学科知识）、HumanEval（代码生成）、GSM8K（数学推理）等。
Llama、Mistral、Qwen等开源权重模型在MMLU、GPQA等基准上可能落后于GPT-4或Claude等顶级闭源模型几个百分点，但在文献摘要、代码辅助、假设生成、数据清洗等学术研究常见任务上已具备实用价值。
基准测试是验证模型能力的重要参考，常见评测维度包括数学推理、代码生成、科学问答
业界衡量开源与闭源差距时常用的评测基准包括编程能力的HumanEval/SWE-bench、推理能力的MATH和GPQA，以及综合性的MMLU
Artificial Analysis的Intelligence指数是对一系列现有Benchmark（如MMLU、HumanEval、MATH等）做加权平均得到的综合分数
Astra在Artificial Analysis智能指数上低于GLM 5.3 Flash等小模型，因该指数基于已过时饱和的基准（如GPQA）
评估大模型代码能力常用HumanEval和SWE-bench，综合推理常用MMLU和GPQA，指令遵循常用IFEval
评估大语言模型能力常用的基准测试包括 MMLU、HumanEval、MATH 和 GPQA
还有 18 条时间轴事件
全部知识事实 (20)
基准测试是验证模型能力的重要参考，常见评测维度包括数学推理、代码生成、科学问答
85%已验证标准AI基准测试包括MMLU（涵盖57个学科的综合知识测试）、GPQA（研究生级别专业问答）、SWE-bench（真实软件工程任务）、HumanEval和MBPP（编程能力）、MATH和GSM8K（数学推理）
85%已验证AI领域模型能力的可信评估依赖标准化基准测试，常见评测集包括MMLU、HumanEval、MATH、GPQA
80%已验证DeepSeek V4.1 Flash 在 GPQA、HLE 等方面的评分低于此前版本
75%已验证GPQA是专为博士级科学问答设计的基准，题目难度使领域专家也仅能答对约65%
70%已验证Artificial Analysis 等第三方平台会把多个子基准分数标准化后聚合成一个质量指数，使不同模型可在同一刻度上比较
65%已验证GPQA（研究生级别专业问答）专注于需要博士级专业知识的问题
65%已验证Artificial Analysis Intelligence Index整合了MMLU、HumanEval、MATH、GPQA等多个基准测试的加权结果
65%已验证MMLU、GSM8K、HumanEval三大基准均已出现不同程度的污染问题，研究者发现多款主流模型训练数据中存在与测试题高度重叠的内容
65%待验证The industry has begun shifting toward more challenging benchmarks like GPQA and MATH as older benchmarks lose discriminative power
80%待验证GPQA（Graduate-Level Google-Proof Q&A）专注于博士级别的科学推理难题
60%待验证GPQA是研究生级别科学问答基准，SWE-bench针对软件工程真实任务
60%待验证GPQA由纽约大学研究团队设计，非专业人士使用搜索引擎答题准确率约34%，领域专家平均得分约65%
60%待验证GSM8K 饱和后，社区转向 MATH（竞赛级数学）、GPQA（研究生级科学问答）以及需要执行代码或调用外部工具的 Agent 类评测。
50%待验证GPQA 采用多轮专家评审与一致性投票来保证题目质量，每道题至少经过三位领域专家的独立验证与交叉质疑。
50%待验证Benchmark 是机器学习领域常用的标准化评测集与指标，如 MMLU（多学科知识）、HumanEval（代码生成）、GSM8K（数学推理）等。
50%待验证Llama、Mistral、Qwen等开源权重模型在MMLU、GPQA等基准上可能落后于GPT-4或Claude等顶级闭源模型几个百分点，但在文献摘要、代码辅助、假设生成、数据清洗等学术研究常见任务上已具备实用价值。
50%待验证业界衡量开源与闭源差距时常用的评测基准包括编程能力的HumanEval/SWE-bench、推理能力的MATH和GPQA，以及综合性的MMLU
50%待验证Artificial Analysis的Intelligence指数是对一系列现有Benchmark（如MMLU、HumanEval、MATH等）做加权平均得到的综合分数
50%待验证评估大模型代码能力常用HumanEval和SWE-bench，综合推理常用MMLU和GPQA，指令遵循常用IFEval
50%