HLE
专门评估AI模型在专家级学术任务上表现的高难度基准测试,考察模型的世界知识广度与深度
核心事实
时间轴 (近 90 天)
根据 DeepSeek 官方模型卡,1017 版本在 HLE without tools 上得分从 36.8 提升至 42.6。
GAIA、WebWalker、HLE与DeepSearchQA评测不同能力:GAIA面向通用AI助手工具调用,WebWalker专注网页导航与多跳检索,HLE是高难度闭卷知识推理考试,DeepSearchQA评测多跳深度检索问答准确率。
在纯文本 HLE 子集上,V4.1 Flash 1017 得分 44.0,超过 V4 Pro 0813 的 42.7
Dory 在 AA-Omniscience 基准上从 1 次循环到 4 次循环得分几乎不变(10.03、10.08、10.03),在 GPQA Diamond 和 HLE 上均落后于 Qwen3.5-4B。
官方自报数据显示,V4.1-Flash-1017 相比 V4.1-Flash 在 Terminal-Bench 4.0 上从 31.2 提升至 42.3(+11.1),HLE 从 36.8 提升至 42.6(+5.8),DeepSWE v1.1 从 74.2 提升至 77.0(+2.8),Automation-Bench 从 54.8 提升至 60.5(+5.7)。
DeepSeek V4.1 Flash 1017 在 HLE 基准上的得分从 36.8% 提升至 42.6%。
在无工具 HLE 基准上,Claude Opus 5 得分 56.3,DeepSeek-V4.1-Flash-1017 得分 42.6。
GLM-5.3-Flash 在 DeepSWE v1.1 得63.4分,比 GLM-5.2 的46.2分提升17.2分;HLE 得55.3分。
高层次模拟(HLE)在更高抽象层面重新实现硬件功能,而低层次模拟(LLE)逐周期精确模拟原始硬件的每个电路行为
Qwen4 预览版在 HLE 推理榜单上只有 35.9 分,输给对手加强版的 40 分
还有 9 条时间轴事件
全部知识事实 (19)
DeepSeek V4.1 Flash 在 GPQA、HLE 等方面的评分低于此前版本
75%待验证Qwen3.8-27B在Terminal Bench、GPQA Diamond、HLE测试中均落后于Claude Opus 4.6(分别为73 vs 78.2、89.2 vs 91.3、30.8 vs 40)
60%待验证根据 DeepSeek 官方模型卡,1017 版本在 HLE without tools 上得分从 36.8 提升至 42.6。
50%待验证GAIA、WebWalker、HLE与DeepSearchQA评测不同能力:GAIA面向通用AI助手工具调用,WebWalker专注网页导航与多跳检索,HLE是高难度闭卷知识推理考试,DeepSearchQA评测多跳深度检索问答准确率。
50%待验证在纯文本 HLE 子集上,V4.1 Flash 1017 得分 44.0,超过 V4 Pro 0813 的 42.7
50%待验证Dory 在 AA-Omniscience 基准上从 1 次循环到 4 次循环得分几乎不变(10.03、10.08、10.03),在 GPQA Diamond 和 HLE 上均落后于 Qwen3.5-4B。
50%待验证官方自报数据显示,V4.1-Flash-1017 相比 V4.1-Flash 在 Terminal-Bench 4.0 上从 31.2 提升至 42.3(+11.1),HLE 从 36.8 提升至 42.6(+5.8),DeepSWE v1.1 从 74.2 提升至 77.0(+2.8),Automation-Bench 从 54.8 提升至 60.5(+5.7)。
50%待验证DeepSeek V4.1 Flash 1017 在 HLE 基准上的得分从 36.8% 提升至 42.6%。
50%待验证在无工具 HLE 基准上,Claude Opus 5 得分 56.3,DeepSeek-V4.1-Flash-1017 得分 42.6。
50%待验证高层次模拟(HLE)在更高抽象层面重新实现硬件功能,而低层次模拟(LLE)逐周期精确模拟原始硬件的每个电路行为
50%待验证Qwen4 预览版在 HLE 推理榜单上只有 35.9 分,输给对手加强版的 40 分
50%待验证AREX-2 在深度研究类任务上取得成绩:BrowseComp 84.0、HLE 52.6、GAIA 92.2、DeepSearchQA 93.8
50%待验证据官方口径,V4.1 Flash在Terminal Bench 2.1、DeepSWE 1.1、CyberGym、HLE、Automation Bench、Agent's Last Exam等多个基准测试上成绩超过GPT-5.6 SOAR和Opus 5
50%待验证在纯推理任务上Qwen3 27B的HLE只有30.8分,明显落后于Opus的40.0分
50%待验证在HLE基准测试中,COMED将GPT-5.5的表现从23.1%提升到28.1%
50%待验证HLE(Humanity's Last Exam)是由Scale AI联合众多领域专家构建的极高难度综合知识测试
50%待验证在启用上下文管理下,Iris-mini在BrowseComp、BrowseComp-ZH、DeepSearchQA和HLE分别达到82.2%、84.8%、86.9%和52.3%
50%待验证HLE(Humanity's Last Exam)是由 Scale AI 联合多位学术界专家推出的极高难度综合推理基准,涵盖数学、物理、生物、哲学、法律等数十个学科
50%待验证HLE(Humanity's Last Exam)是由Scale AI与学术机构联合开发的超高难度综合评估基准
50%