待验证50% 置信基准精确时间
TerminalBench 2.0包含89个任务、每个运行五次;同一模型(如GPT-5.3 Codex、Claude Opus 4.6)在不同harness下得分差异显著,但重复运行同一条目的中位波动约为4.5个百分点。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/4
首次发现
有效期至:2027/2/2
来源
AI Agent Harness详解:66款框架如何重塑智能体能力
youtubeAI Briefing Daily2026/11/3
涉及实体
相关事实
待验证在 Terminal-Bench 2.0 基准上,同一模型 Opus 4.6 在不同 harness 下得分从 60.45% 到 82.02% 不等(相差约 22 个百分点)。73% 相似待验证在 SWE-bench 基准测试的一项研究中,GPT-4 Turbo 在仅提供几个相关文件时单次尝试约解决 1% 的问题;同一模型配合工具和循环后解决率达到 12.5%。70% 相似待验证在 Automation Bench 测试中,GPT-6 Sol 的 extra high 档拿下 33% 的第一名,而 5.6 的 max effort 得分为 28.868% 相似待验证Claude Opus 4.6产生的错误数量是GPT-5.4的30倍,每条轨迹平均2.5个错误 vs. 0.08个,差异统计显著(p < 0.0001,Cliff's δ = 0.613)66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1135173API
curl https://kongchang.com/api/v1/knowledge/claims/1135173MCP
get_claim(id=1135173)