[控场AI]
基准

ProgramBench

用于评估编程智能体从零构建完整程序能力的基准测试,支持C、C++、Go、Rust等系统级编程语言的程序生成任务评估

时间轴 (近 90 天)

10月25日

ProgramBench 是一个面向编程任务的评测基准,通常给出函数级或仓库级的编程问题,并以单元测试通过率等指标衡量结果。

待验证50%
10月25日

原始报道未披露 Agensh 在 ProgramBench 上的具体任务通过率、不同规模下的性能曲线,以及与中心化编排方案的对照数据。

待验证50%
10月25日

Agensh 在 ProgramBench 上的运行被约束在 6 小时的时间预算内。

待验证50%
10月25日

Agensh 在 ProgramBench 上实现了从 1 个到 1,024 个 Agent 的扩展运行。

待验证50%
10月19日

根据 DeepSeek 官方模型卡,1017 版本在 ProgramBench 上得分从 20.3 提升至 29.1。

待验证50%
10月19日

在 ProgramBench、NL2Repo-Bench、Automation-Bench、Agents' Last Exam 四个基准上,V4.1 Flash 1017 得分分别为 29.1、68.2、60.5、35.4,均高于 V4 Pro 0813 的 15.5、61.5、43.2、25.7

待验证50%
10月18日

新模型在厂商自己的11项基准测试中全部上涨,Terminal-Bench 4.0 提升 11.1 分,ProgramBench 提升 8.8 分。

待验证50%
10月18日

DeepSeek 公布的 11 项基准中,1017 全部超越前代:Tools 从 36.8 升至 42.6,DeepSWE 从 74.2 升至 77.0,ProgramBench 从 20.3 升至 29.1,TerminalBench 4.0 从 31.2 升至 42.3。

待验证50%
10月14日

Wonder Full 在 ProgramBench(59.0 vs 70.5)、Terminal-Bench 4.0 和 HealthBench Pro 上落后于 Opus 5.5。

已过期50%
10月12日

在Meta自己公布的14项基准测试中,Muse Wonder赢了5项,主要集中在长周期编码、法律agent任务和Meta内部记忆测试;输掉了9项,包括ProgramBench(Opus以70.5对50.0领先)。

已过期50%

还有 4 条时间轴事件

全部知识事实 (12)

待验证

ProgramBench 是一个面向编程任务的评测基准,通常给出函数级或仓库级的编程问题,并以单元测试通过率等指标衡量结果。

50%
待验证

原始报道未披露 Agensh 在 ProgramBench 上的具体任务通过率、不同规模下的性能曲线,以及与中心化编排方案的对照数据。

50%
待验证

Agensh 在 ProgramBench 上的运行被约束在 6 小时的时间预算内。

50%
待验证

Agensh 在 ProgramBench 上实现了从 1 个到 1,024 个 Agent 的扩展运行。

50%
待验证

根据 DeepSeek 官方模型卡,1017 版本在 ProgramBench 上得分从 20.3 提升至 29.1。

50%
待验证

在 ProgramBench、NL2Repo-Bench、Automation-Bench、Agents' Last Exam 四个基准上,V4.1 Flash 1017 得分分别为 29.1、68.2、60.5、35.4,均高于 V4 Pro 0813 的 15.5、61.5、43.2、25.7

50%
待验证

新模型在厂商自己的11项基准测试中全部上涨,Terminal-Bench 4.0 提升 11.1 分,ProgramBench 提升 8.8 分。

50%
待验证

DeepSeek 公布的 11 项基准中,1017 全部超越前代:Tools 从 36.8 升至 42.6,DeepSWE 从 74.2 升至 77.0,ProgramBench 从 20.3 升至 29.1,TerminalBench 4.0 从 31.2 升至 42.3。

50%
待验证

ProgramGym 的效果在 ProgramBench 基准上得到了验证

50%
待验证

Program-Agent 将基础模型和经过监督微调的模型分别推高到 55.71% 和 56.25%

50%
待验证

使用 Program-Env 构建环境产生的轨迹进行微调后,Qwen3.8-27B 模型性能从 34.87% 提升至 42.84%

50%
待验证

DeepSeek的编程智能体DeepSWE在SWE-bench基准测试中从预览版的12.8分提升至62.7分

50%

来源文章