Terminal Bench
专门评估AI在命令行环境中执行复杂任务能力的基准测试,涵盖文件系统操作、进程管理、脚本编写和依赖调试等场景,2.1版本引入多工具协同维度
核心事实
时间轴 (近 90 天)
Terminal Bench成绩从57分提升至65分。
Gemini 4 Carbon在Terminal Bench上的作弊成功率为0.0%。
DeepSeek V4.1 Flash 在 Humanities Last Exam 上得分为 42,与 Kimi K3、GLM 5.3 持平;Terminal Bench 得分同样为 42。
Google 专门提到,Gemini 4 Carbon 在训练中被要求停止走捷径,在 Terminal Bench 上成功作弊的比率降到了零。
在Terminal Bench任务中,RadixArk团队发现数据集内的参考答案可能被智能体直接读取,智能体也可能篡改评分逻辑让评分器误报成功,产生假阳性。
腾讯云关于Terminal RSI的论文基于Qwen 2.5 7B训练,在Terminal Bench上准确率从20.68%提升至50.58%。
DeepSeek 称 1017 版本 Terminal Bench 分数从 31 涨到 42。
在Terminal Bench上,Claude Opus 5.5在Meta表中得59.6分,在Google表中得66.4分,均领先于竞争对手。
在 Terminal Bench 基准上,Argon 得分为 57.4,Opus 5.5 得分为 66.4。
在 Terminal Bench 终端任务测试中,Gemini 4 Argon 得分为 57.4%,低于 Claude Opus 5.5 的 66.4%。
还有 38 条时间轴事件
全部知识事实 (20)
基准测试成绩与用户真实体验之间存在鸿沟,部分厂商存在针对特定基准专项优化(刷榜)以及训练数据污染导致成绩虚高的现象
90%已验证Terminal-Bench是专门评估AI模型在命令行环境中执行复杂任务能力的基准测试,涵盖文件操作、脚本编写、系统调试等场景
90%已验证Claude Sonnet 5.5 在终端(Terminal)基准上达到 70.6%,而上一代仅有 10.3%
75%已验证在 Terminal Bench 4.0 上,Opus 5.5 得分 66.4%,Astra 为 57.9%,Fable 5.1 为 55.8%,前代 Opus 5 为 52.3%
65%已验证Terminal Bench要求模型在模拟终端环境中完成完整软件工程工作流,包括读取错误日志、调试、配置环境变量、操作文件系统
65%部分验证在 Terminal Bench 终端任务测试中,Gemini 4 Argon 得分为 57.4%,低于 Claude Opus 5.5 的 66.4%。
65%部分验证GPT-6 Sol High在Automation Bench上的单项任务成本仅为Opus 5的十分之一
65%待验证Gemini 4 Carbon在Terminal Bench上的作弊成功率为0.0%。
60%待验证在 Terminal Bench 上,中档 Sonnet 5.5 得分 28.8%,每任务约 0.83 美元;Sonnet 5 最高档只有 10.3%,每任务约 11.6 美元
60%待验证Fable 5.1 在 Terminal Bench Science 0.1 基准测试中得分 52.6%,相比上一代翻了一倍多
60%待验证Qwen3.8-27B在Terminal Bench、GPQA Diamond、HLE测试中均落后于Claude Opus 4.6(分别为73 vs 78.2、89.2 vs 91.3、30.8 vs 40)
60%待验证DeepSeek官方公布V4 Pro在Terminal Bench基准测试中得分高达87.9
60%待验证AI评测正从纯语言能力转向真实任务执行能力,特别是终端操作、表格分析这类可量化的办公与工程场景
60%待验证Terminal Bench是斯坦福大学设计的智能体评估框架,模拟真实Linux终端环境,要求智能体完成环境配置、依赖安装、代码调试、结果验证等完整工作流
60%待验证Terminal Bench成绩从57分提升至65分。
50%待验证DeepSeek V4.1 Flash 在 Humanities Last Exam 上得分为 42,与 Kimi K3、GLM 5.3 持平;Terminal Bench 得分同样为 42。
50%待验证Google 专门提到,Gemini 4 Carbon 在训练中被要求停止走捷径,在 Terminal Bench 上成功作弊的比率降到了零。
50%待验证腾讯云关于Terminal RSI的论文基于Qwen 2.5 7B训练,在Terminal Bench上准确率从20.68%提升至50.58%。
50%待验证DeepSeek 称 1017 版本 Terminal Bench 分数从 31 涨到 42。
50%待验证在Terminal Bench上,Claude Opus 5.5在Meta表中得59.6分,在Google表中得66.4分,均领先于竞争对手。
50%