TerminalBench
AI能力评测基准,GPT-5.6 Sol在此达到业界最佳水平
时间轴 (近 90 天)
博主指出基准对比存在四个折扣因素:测试框架不同(TerminalBench 1017 在 ClaudeCode 框架内运行而基線在 DeepSeek 框架内)、Artificial Analysis 自行测试旧版 Flash 的 TerminalBench 仅得 26.8% 而非 31.2%、竞品对比使用 Opus 5 和 GPT 5.6 Sol 而非最新型号、旧模型 NL2 repo 分数在不同表格中不一致(64.0 vs 65.4)。
Opus 5.5 在 TerminalBench 上得分 66.4%,高出 DeepSeek 1017 约 24 分;GPT 6.1 Sol 在 DeepSWE 上以 75.2% 略微领先 1017。
对于住在终端里的编程代理,CLI 形态比 MCP 服务器更自然,因为启动时几乎不加载上下文,按需通过 --help 发现命令。
在 TerminalBench 上,HydraFusion 成本与 GPT-5.6 Sol 相同但质量高出 11.4 分
现有主流智能体评测基准(如Web Arena、SWE-Bench、Gaia、TerminalBench)大多假设一个静态环境,在评测过程中环境不变
全部知识事实 (4)
博主指出基准对比存在四个折扣因素:测试框架不同(TerminalBench 1017 在 ClaudeCode 框架内运行而基線在 DeepSeek 框架内)、Artificial Analysis 自行测试旧版 Flash 的 TerminalBench 仅得 26.8% 而非 31.2%、竞品对比使用 Opus 5 和 GPT 5.6 Sol 而非最新型号、旧模型 NL2 repo 分数在不同表格中不一致(64.0 vs 65.4)。
50%待验证Opus 5.5 在 TerminalBench 上得分 66.4%,高出 DeepSeek 1017 约 24 分;GPT 6.1 Sol 在 DeepSWE 上以 75.2% 略微领先 1017。
50%待验证对于住在终端里的编程代理,CLI 形态比 MCP 服务器更自然,因为启动时几乎不加载上下文,按需通过 --help 发现命令。
50%待验证现有主流智能体评测基准(如Web Arena、SWE-Bench、Gaia、TerminalBench)大多假设一个静态环境,在评测过程中环境不变
50%