Terminal-Bench 2.0
专门评测终端智能体在真实命令行环境中执行任务能力的基准测试,涵盖文件操作、软件安装、脚本编写、系统配置等典型终端工作流。
核心事实
时间轴 (近 90 天)
在 Terminal-Bench 2.0 基准上,同一模型 Opus 4.6 在不同 harness 下得分从 60.45% 到 82.02% 不等(相差约 22 个百分点)。
LangChain 的 Deep Agents 在 GPT-5.2-Codex 上仅通过重构 harness,将 Terminal-Bench 2.0 成绩从 52.8% 提升到 66.5%。
在 Terminal-Bench 2.0 基准上,同一模型 GPT-5.5 在不同 harness 下得分从 66.07% 到 88.09% 不等(相差约 22 个百分点)。
在 Terminal-Bench 2.0 上,Qwen3.5-35B-A3B 使用此前方法得分为 37.1%,使用 EditAct 后为 48.3%。
Terminal-Bench 4.0是面向命令行代理的评测集,要求模型在真实终端环境中完成多步操作,考察长程执行中的连贯性与自纠错能力。
ReTerm 基于 Qwen3.5-9B 构建,得到的 ReTerm-9B 在 Terminal-Bench 2.0 上取得 34.8% 的 Pass@1,相比基座模型提升了 14.6 个百分点。
TomasuLLM在Terminal-Bench 2.0的28个任务上实现1.35倍加速
在Terminal-Bench 2.0上,有团队完全不换Model、只改Harness就把成绩从30名外拉进前5
全部知识事实 (8)
Terminal-Bench 4.0是面向命令行代理的评测集,要求模型在真实终端环境中完成多步操作,考察长程执行中的连贯性与自纠错能力。
65%待验证在 Terminal-Bench 2.0 基准上,同一模型 Opus 4.6 在不同 harness 下得分从 60.45% 到 82.02% 不等(相差约 22 个百分点)。
50%待验证LangChain 的 Deep Agents 在 GPT-5.2-Codex 上仅通过重构 harness,将 Terminal-Bench 2.0 成绩从 52.8% 提升到 66.5%。
50%待验证在 Terminal-Bench 2.0 基准上,同一模型 GPT-5.5 在不同 harness 下得分从 66.07% 到 88.09% 不等(相差约 22 个百分点)。
50%待验证在 Terminal-Bench 2.0 上,Qwen3.5-35B-A3B 使用此前方法得分为 37.1%,使用 EditAct 后为 48.3%。
50%待验证ReTerm 基于 Qwen3.5-9B 构建,得到的 ReTerm-9B 在 Terminal-Bench 2.0 上取得 34.8% 的 Pass@1,相比基座模型提升了 14.6 个百分点。
50%待验证TomasuLLM在Terminal-Bench 2.0的28个任务上实现1.35倍加速
50%待验证在Terminal-Bench 2.0上,有团队完全不换Model、只改Harness就把成绩从30名外拉进前5
50%