ProgramBench：从可运行二进制反推程序逻辑的AI评测基准

一个被忽视的AI能力盲区

当我们评估大语言模型的编程能力时，绝大多数基准测试都聚焦于同一个方向：从自然语言描述生成代码。无论是HumanEval、MBPP还是SWE-bench，本质上考察的都是「读需求—写代码」这一链路。HumanEval由OpenAI于2021年发布，包含164个手写的Python编程问题，通过pass@k指标衡量模型生成正确代码的概率；MBPP由Google提出，包含约1000个入门级Python任务；SWE-bench则使用真实GitHub issue作为测试用例，要求模型在完整代码仓库中定位并修复bug。这些基准共同构成了当前AI编程能力评估的主流框架，但它们的共性在于都提供了明确的自然语言意图描述作为输入。

然而，真实世界的软件工程远不止于此。逆向工程、二进制分析、遗留系统维护——这些场景要求的能力恰恰相反：从已有的产物反推出原始逻辑。

ProgramBench 正是瞄准这一盲区提出的新型评测方案。它的核心思路极具颠覆性：不给模型自然语言规格说明，而是提供一个可运行的二进制程序，要求模型通过观察其行为、输入输出，反向重建出等价的源代码或程序逻辑。这种「从结果倒推过程」的能力，是当前主流基准几乎完全没有覆盖的维度。

为什么「可运行二进制」是评测关键

传统逆向工程的核心痛点

逆向工程一直是软件安全、漏洞挖掘和遗留系统迁移中的硬骨头。人类工程师需要借助反汇编器、动态调试、符号执行等工具，耗费大量时间才能理解一段没有源码的程序在做什么。具体来说，反汇编器（如IDA Pro、Ghidra）将机器码转换为人类可读的汇编语言；动态调试工具（如GDB、x64dbg）允许逐步执行程序并观察寄存器和内存状态；符号执行（Symbolic Execution）则是一种更高级的程序分析技术，用符号值代替具体输入，系统性地探索所有可能的执行路径。即便使用这些工具组合，一个经验丰富的逆向工程师分析一个中等复杂度的二进制程序也可能需要数天到数周时间。这个过程高度依赖经验，且难以规模化。

ProgramBench 用「可运行二进制」（Runnable Binary）作为评测起点，意义在于它模拟了逆向工程中最真实的信息约束——你能运行它、观察它，但看不到它的设计意图。模型必须像真正的逆向工程师一样，通过反复交互和实验来推断程序的内部结构与算法逻辑。

从代码生成到代码理解的能力跃迁

从可运行程序反推逻辑，考验的是模型更深层次的推理能力：

• 行为建模：给定输入产生特定输出，模型需要归纳出背后的映射规则；
• 边界推理：通过构造边界样例和异常输入，探测程序的分支与异常处理逻辑；
• 等价验证：重建的代码必须在功能上与原程序等价，而非仅仅表面相似。

这与「照着需求文档写代码」有本质区别。前者是发散式的探索性推理，后者更多是收敛式的模式匹配。ProgramBench 的价值就在于把这种被长期忽视的能力单独拎出来量化评估。

Vetted审核机制：确保评测质量的设计考量

标题中的「Vetted」（经过审核验证）暗示了这一基准在数据质量上的用心。逆向工程类任务的评测极易出现「假通过」——模型可能凭借表面模式匹配蒙对部分样例，却并未真正理解程序逻辑。

一个经过严格审核的基准需要解决几个关键问题：

防止训练数据污染

如果二进制对应的源码在训练数据中出现过，评测就失去意义。数据污染（data contamination）是大语言模型评测中的核心挑战之一。研究已经表明，GPT-4等模型的训练数据中可能包含HumanEval等基准的测试题目，导致评测分数虚高。对于逆向工程类任务，这个问题更加棘手：GitHub上大量开源项目的源码和编译产物都可能被爬取进训练语料。

Vetted 流程需要确保测试样本对模型而言是真正「未见过」的，解决方案包括使用时间截止线之后的新代码、人工编写全新程序、或对已有程序进行足够深度的变异使其脱离记忆匹配范围。这对逆向类任务尤为重要，因为很多开源程序早已进入训练语料。

明确的正确性判定标准

与生成任务可以用单元测试判定不同，逆向任务的「正确」定义更微妙。在计算机科学中，两个程序的等价性有不同层次的定义：形式等价（syntactic equivalence）要求代码结构完全相同；语义等价（semantic equivalence）要求在所有可能输入上产生相同输出——而这根据Rice定理是一个不可判定问题。是要求逐行等价，还是功能等价？是否允许不同但同样正确的实现？

ProgramBench 通过运行时行为对比（相同输入产生相同输出）来做功能等价判定，这类似于软件测试中的等价类划分和边界值分析策略，是相对客观且可自动化的工程折中方案。

ProgramBench对AI编程能力评估的启示

补齐AI编程评测版图

随着模型编程能力快速提升，SWE-bench 等基准的分数逐渐饱和，业界亟需更有区分度的评测维度。ProgramBench 从「逆向」这一全新角度切入，很可能成为下一阶段区分模型真实推理能力的重要标尺。能写代码不等于能读懂代码，更不等于能在信息缺失的情况下重建代码。

面向真实软件工程场景

在实际开发中，工程师面对无文档的遗留系统、第三方闭源组件、需要安全审计的二进制文件时，正是这种「从产物反推逻辑」的能力最为宝贵。据估计，全球企业中超过70%的关键业务系统包含难以维护的遗留代码，其中大量组件已经失去原始开发者和设计文档。如果AI能在这个维度达到可用水平，将极大改变软件维护、安全分析和技术债务处理的工作方式。

AI Agent自主探索能力的试金石

有意思的是，从可运行二进制反推逻辑天然是一个多步交互任务——模型需要主动运行程序、构造测试输入、观察反馈、修正假设。这恰好是当前AI Agent研究的核心能力。在编程领域，代表性的Agent框架包括Devin（Cognition Lab）、OpenHands（原OpenDevin）等，它们能够自主操作终端、编辑文件、运行测试。

从可运行二进制反推逻辑的过程天然契合Agent范式：需要制定探测策略、执行测试、分析结果、形成假设、验证假设，形成一个完整的科学探究循环（hypothesize-test-refine loop）。这种能力也与主动学习（Active Learning）和探索性测试（Exploratory Testing）的理论框架密切相关。ProgramBench 因此也可以被视为衡量编程类Agent自主探索能力的一块试金石。

结语

尽管 ProgramBench 目前的社区讨论热度还在积累中，但它所代表的评测思路值得密切关注。当行业普遍沉迷于「让AI写出更多代码」时，「让AI理解已有的代码」这一反方向的挑战同样重要，甚至更接近软件工程的本质困难。从可运行二进制反推程序逻辑，既是对模型深度推理能力的严苛考验，也为我们重新审视「AI究竟懂不懂代码」提供了一个全新视角。

核心要点