[控场AI]
基准Terminal-Bench

Terminal-Bench 4.0

面向真实工程任务的编程能力基准,侧重评估在终端环境中完成多步骤命令行任务的能力,衡量编程Agent的实际可用性

核心事实

时间轴 (近 90 天)

10月28日

Carbon 在 Terminal-Bench 4.0 上成功作弊率降至 0.0%,作弊尝试降至 0.4%;内部真实编码环境中高危失准告警下降近 80%。

待验证50%
10月27日

GPT-6.1 Terra 在 Terminal-Bench 4.0 上取得 50.3% 的厂商自报成绩。

待验证50%
10月23日

官方披露 Kimi K3.1 Pro 在 Terminal-Bench 4.0 基准上取得 65.7% 的得分。

待验证50%
10月19日

Terminal-Bench 4.0 是一个面向终端环境的 agentic 编码评测基准,评分依据任务完成率而非文本相似度。

待验证50%
10月19日

DeepSeek 称 1017 版本 Terminal Bench 分数从 31 涨到 42。

待验证50%
10月19日

官方基准显示 DeepSWE v1.1 从 74.2 提升到 77.0(Mini-SWE-V2 环境),Terminal-Bench 4.0 从 31.2 提升到 42.3(Claude Code 环境)。

待验证50%
10月19日

1017 检查点在 Terminal-Bench 4.0 上的得分从 31.2 提升到 42.3。

待验证50%
10月19日

在 Terminal-Bench 4.0 基准上,V4.1 Flash 1017 得分为 42.3,V4 Pro 0813 得分为 12.4

待验证50%
10月19日

V4.1 Flash 1017在Terminal-Bench 4.0上的得分从31.2%提升到42.3%,五周内相对提升35%。

部分验证65%
10月18日

新模型在厂商自己的11项基准测试中全部上涨,Terminal-Bench 4.0 提升 11.1 分,ProgramBench 提升 8.8 分。

待验证50%

还有 21 条时间轴事件

全部知识事实 (20)

已验证

在Terminal-Bench 4.0上,Claude Opus 5.5以66.4%领先,GPT-6 Astra为61.8%,Argon为57.4%

75%
已验证

Claude Sonnet 5.5 在终端(Terminal)基准上达到 70.6%,而上一代仅有 10.3%

75%
已验证

Terminal-Bench 4.0是面向命令行代理的评测集,要求模型在真实终端环境中完成多步操作,考察长程执行中的连贯性与自纠错能力。

65%
已验证

在Automation Bench办公流程测试中,Gemini 4 Argon得分51.3%,GPT-6 Astra为41.4%,Claude Opus 5.5为42.5%

65%
已验证

Terminal Bench要求模型在模拟终端环境中完成完整软件工程工作流,包括读取错误日志、调试、配置环境变量、操作文件系统

65%
部分验证

DeepSeek V4.1-Flash-1017 在 Terminal-Bench 4.0 基准上相比上一版本提升了 11 分。

75%
部分验证

V4.1 Flash 1017在Terminal-Bench 4.0上的得分从31.2%提升到42.3%,五周内相对提升35%。

65%
待验证

Carbon 在 Terminal-Bench 4.0 上成功作弊率降至 0.0%,作弊尝试降至 0.4%;内部真实编码环境中高危失准告警下降近 80%。

50%
待验证

GPT-6.1 Terra 在 Terminal-Bench 4.0 上取得 50.3% 的厂商自报成绩。

50%
待验证

官方披露 Kimi K3.1 Pro 在 Terminal-Bench 4.0 基准上取得 65.7% 的得分。

50%
待验证

Terminal-Bench 4.0 是一个面向终端环境的 agentic 编码评测基准,评分依据任务完成率而非文本相似度。

50%
待验证

DeepSeek 称 1017 版本 Terminal Bench 分数从 31 涨到 42。

50%
待验证

官方基准显示 DeepSWE v1.1 从 74.2 提升到 77.0(Mini-SWE-V2 环境),Terminal-Bench 4.0 从 31.2 提升到 42.3(Claude Code 环境)。

50%
待验证

1017 检查点在 Terminal-Bench 4.0 上的得分从 31.2 提升到 42.3。

50%
待验证

在 Terminal-Bench 4.0 基准上,V4.1 Flash 1017 得分为 42.3,V4 Pro 0813 得分为 12.4

50%
待验证

新模型在厂商自己的11项基准测试中全部上涨,Terminal-Bench 4.0 提升 11.1 分,ProgramBench 提升 8.8 分。

50%
待验证

官方自报数据显示,V4.1-Flash-1017 相比 V4.1-Flash 在 Terminal-Bench 4.0 上从 31.2 提升至 42.3(+11.1),HLE 从 36.8 提升至 42.6(+5.8),DeepSWE v1.1 从 74.2 提升至 77.0(+2.8),Automation-Bench 从 54.8 提升至 60.5(+5.7)。

50%
待验证

DeepSeek-V4.1-Flash-1017 在 Terminal-Bench 4.0 上的得分从 V4.1-Flash 的 31.2 提升至 42.3。

50%
待验证

在Terminal-Bench 4.0上,Haiku 5.5的39.2%对比Opus 5.5的70.6%。

50%
待验证

Terminal-Bench 4.0的标准误差为±2.6分,Opus 5的51.8%复现为52.3%,Anthropic称之为噪声。

50%

来源文章