ProgramBench
用于评估编程智能体从零构建完整程序能力的基准测试,支持C、C++、Go、Rust等系统级编程语言的程序生成任务评估
时间轴 (近 90 天)
ProgramBench 是一个面向编程任务的评测基准,通常给出函数级或仓库级的编程问题,并以单元测试通过率等指标衡量结果。
原始报道未披露 Agensh 在 ProgramBench 上的具体任务通过率、不同规模下的性能曲线,以及与中心化编排方案的对照数据。
Agensh 在 ProgramBench 上的运行被约束在 6 小时的时间预算内。
Agensh 在 ProgramBench 上实现了从 1 个到 1,024 个 Agent 的扩展运行。
根据 DeepSeek 官方模型卡,1017 版本在 ProgramBench 上得分从 20.3 提升至 29.1。
在 ProgramBench、NL2Repo-Bench、Automation-Bench、Agents' Last Exam 四个基准上,V4.1 Flash 1017 得分分别为 29.1、68.2、60.5、35.4,均高于 V4 Pro 0813 的 15.5、61.5、43.2、25.7
新模型在厂商自己的11项基准测试中全部上涨,Terminal-Bench 4.0 提升 11.1 分,ProgramBench 提升 8.8 分。
DeepSeek 公布的 11 项基准中,1017 全部超越前代:Tools 从 36.8 升至 42.6,DeepSWE 从 74.2 升至 77.0,ProgramBench 从 20.3 升至 29.1,TerminalBench 4.0 从 31.2 升至 42.3。
Wonder Full 在 ProgramBench(59.0 vs 70.5)、Terminal-Bench 4.0 和 HealthBench Pro 上落后于 Opus 5.5。
在Meta自己公布的14项基准测试中,Muse Wonder赢了5项,主要集中在长周期编码、法律agent任务和Meta内部记忆测试;输掉了9项,包括ProgramBench(Opus以70.5对50.0领先)。
还有 4 条时间轴事件
全部知识事实 (12)
ProgramBench 是一个面向编程任务的评测基准,通常给出函数级或仓库级的编程问题,并以单元测试通过率等指标衡量结果。
50%待验证原始报道未披露 Agensh 在 ProgramBench 上的具体任务通过率、不同规模下的性能曲线,以及与中心化编排方案的对照数据。
50%待验证Agensh 在 ProgramBench 上的运行被约束在 6 小时的时间预算内。
50%待验证Agensh 在 ProgramBench 上实现了从 1 个到 1,024 个 Agent 的扩展运行。
50%待验证根据 DeepSeek 官方模型卡,1017 版本在 ProgramBench 上得分从 20.3 提升至 29.1。
50%待验证在 ProgramBench、NL2Repo-Bench、Automation-Bench、Agents' Last Exam 四个基准上,V4.1 Flash 1017 得分分别为 29.1、68.2、60.5、35.4,均高于 V4 Pro 0813 的 15.5、61.5、43.2、25.7
50%待验证新模型在厂商自己的11项基准测试中全部上涨,Terminal-Bench 4.0 提升 11.1 分,ProgramBench 提升 8.8 分。
50%待验证DeepSeek 公布的 11 项基准中,1017 全部超越前代:Tools 从 36.8 升至 42.6,DeepSWE 从 74.2 升至 77.0,ProgramBench 从 20.3 升至 29.1,TerminalBench 4.0 从 31.2 升至 42.3。
50%待验证ProgramGym 的效果在 ProgramBench 基准上得到了验证
50%待验证Program-Agent 将基础模型和经过监督微调的模型分别推高到 55.71% 和 56.25%
50%待验证使用 Program-Env 构建环境产生的轨迹进行微调后,Qwen3.8-27B 模型性能从 34.87% 提升至 42.84%
50%待验证DeepSeek的编程智能体DeepSWE在SWE-bench基准测试中从预览版的12.8分提升至62.7分
50%