Agents' Last Exam
面向AI智能体综合能力的高难度公开评测基准,考察模型在长程多步骤自主任务执行中的规划、执行与修正能力
核心事实
时间轴 (近 90 天)
在Agents' Last Exam基准测试的中等强度设置下,GPT-6.1 Terra完成单任务成本为0.29美元,而GPT-6 Astra为4.82美元。
在Agents' Last Exam基准测试的中等强度设置下,GPT-6.1 Terra的成绩与GPT-6 Astra持平。
在 ProgramBench、NL2Repo-Bench、Automation-Bench、Agents' Last Exam 四个基准上,V4.1 Flash 1017 得分分别为 29.1、68.2、60.5、35.4,均高于 V4 Pro 0813 的 15.5、61.5、43.2、25.7
Tev-27B 仅在 ALE 相关数据上训练却能泛化到 Terminal-Bench,暗示其学到了某种领域无关的长周期任务执行能力,而非仅记住特定任务解法。
Tev-27B 完全在 ALE(Agents' Last Exam)的计算与数学科学领域上使用 PPRS 训练,在 ALE-CM 的 Pass@5 指标上匹配了 GPT-6 Astra 和 Claude Opus 5。
GLM-5.3在Agents' Last Exam基准上达到开源模型SOTA成绩
全部知识事实 (6)
在Agents' Last Exam基准测试的中等强度设置下,GPT-6.1 Terra的成绩与GPT-6 Astra持平。
65%已验证Agent's Last Exam 是专为评估大模型自主代理能力设计的高难度基准,要求多步骤任务中持续调用外部工具、维持长上下文记忆并自我修正
65%待验证在Agents' Last Exam基准测试的中等强度设置下,GPT-6.1 Terra完成单任务成本为0.29美元,而GPT-6 Astra为4.82美元。
50%待验证在 ProgramBench、NL2Repo-Bench、Automation-Bench、Agents' Last Exam 四个基准上,V4.1 Flash 1017 得分分别为 29.1、68.2、60.5、35.4,均高于 V4 Pro 0813 的 15.5、61.5、43.2、25.7
50%待验证Tev-27B 仅在 ALE 相关数据上训练却能泛化到 Terminal-Bench,暗示其学到了某种领域无关的长周期任务执行能力,而非仅记住特定任务解法。
50%待验证GLM-5.3在Agents' Last Exam基准上达到开源模型SOTA成绩
50%