Terminal-Bench 4.0
面向真实工程任务的编程能力基准,侧重评估在终端环境中完成多步骤命令行任务的能力,衡量编程Agent的实际可用性
核心事实
时间轴 (近 90 天)
Carbon 在 Terminal-Bench 4.0 上成功作弊率降至 0.0%,作弊尝试降至 0.4%;内部真实编码环境中高危失准告警下降近 80%。
GPT-6.1 Terra 在 Terminal-Bench 4.0 上取得 50.3% 的厂商自报成绩。
官方披露 Kimi K3.1 Pro 在 Terminal-Bench 4.0 基准上取得 65.7% 的得分。
Terminal-Bench 4.0 是一个面向终端环境的 agentic 编码评测基准,评分依据任务完成率而非文本相似度。
DeepSeek 称 1017 版本 Terminal Bench 分数从 31 涨到 42。
官方基准显示 DeepSWE v1.1 从 74.2 提升到 77.0(Mini-SWE-V2 环境),Terminal-Bench 4.0 从 31.2 提升到 42.3(Claude Code 环境)。
1017 检查点在 Terminal-Bench 4.0 上的得分从 31.2 提升到 42.3。
在 Terminal-Bench 4.0 基准上,V4.1 Flash 1017 得分为 42.3,V4 Pro 0813 得分为 12.4
V4.1 Flash 1017在Terminal-Bench 4.0上的得分从31.2%提升到42.3%,五周内相对提升35%。
新模型在厂商自己的11项基准测试中全部上涨,Terminal-Bench 4.0 提升 11.1 分,ProgramBench 提升 8.8 分。
还有 21 条时间轴事件
全部知识事实 (20)
在Terminal-Bench 4.0上,Claude Opus 5.5以66.4%领先,GPT-6 Astra为61.8%,Argon为57.4%
75%已验证Claude Sonnet 5.5 在终端(Terminal)基准上达到 70.6%,而上一代仅有 10.3%
75%已验证Terminal-Bench 4.0是面向命令行代理的评测集,要求模型在真实终端环境中完成多步操作,考察长程执行中的连贯性与自纠错能力。
65%已验证在Automation Bench办公流程测试中,Gemini 4 Argon得分51.3%,GPT-6 Astra为41.4%,Claude Opus 5.5为42.5%
65%已验证Terminal Bench要求模型在模拟终端环境中完成完整软件工程工作流,包括读取错误日志、调试、配置环境变量、操作文件系统
65%部分验证DeepSeek V4.1-Flash-1017 在 Terminal-Bench 4.0 基准上相比上一版本提升了 11 分。
75%部分验证V4.1 Flash 1017在Terminal-Bench 4.0上的得分从31.2%提升到42.3%,五周内相对提升35%。
65%待验证Carbon 在 Terminal-Bench 4.0 上成功作弊率降至 0.0%,作弊尝试降至 0.4%;内部真实编码环境中高危失准告警下降近 80%。
50%待验证GPT-6.1 Terra 在 Terminal-Bench 4.0 上取得 50.3% 的厂商自报成绩。
50%待验证官方披露 Kimi K3.1 Pro 在 Terminal-Bench 4.0 基准上取得 65.7% 的得分。
50%待验证Terminal-Bench 4.0 是一个面向终端环境的 agentic 编码评测基准,评分依据任务完成率而非文本相似度。
50%待验证DeepSeek 称 1017 版本 Terminal Bench 分数从 31 涨到 42。
50%待验证官方基准显示 DeepSWE v1.1 从 74.2 提升到 77.0(Mini-SWE-V2 环境),Terminal-Bench 4.0 从 31.2 提升到 42.3(Claude Code 环境)。
50%待验证1017 检查点在 Terminal-Bench 4.0 上的得分从 31.2 提升到 42.3。
50%待验证在 Terminal-Bench 4.0 基准上,V4.1 Flash 1017 得分为 42.3,V4 Pro 0813 得分为 12.4
50%待验证新模型在厂商自己的11项基准测试中全部上涨,Terminal-Bench 4.0 提升 11.1 分,ProgramBench 提升 8.8 分。
50%待验证官方自报数据显示,V4.1-Flash-1017 相比 V4.1-Flash 在 Terminal-Bench 4.0 上从 31.2 提升至 42.3(+11.1),HLE 从 36.8 提升至 42.6(+5.8),DeepSWE v1.1 从 74.2 提升至 77.0(+2.8),Automation-Bench 从 54.8 提升至 60.5(+5.7)。
50%待验证DeepSeek-V4.1-Flash-1017 在 Terminal-Bench 4.0 上的得分从 V4.1-Flash 的 31.2 提升至 42.3。
50%待验证在Terminal-Bench 4.0上,Haiku 5.5的39.2%对比Opus 5.5的70.6%。
50%待验证Terminal-Bench 4.0的标准误差为±2.6分,Opus 5的51.8%复现为52.3%,Anthropic称之为噪声。
50%