百度ERNIE Evolve自动化研究系统超越NanoChat与NanoGPT纪录

AI 自动做研究这件事，正在从概念验证走向可量化的工程实践。百度推出的 ERNIE Evolve 是一个自动化研究系统，它的工作方式可以概括为：改写代码、跑实验、只保留被验证有效的改动。据 MarkTechPost 报道，这套系统在 NanoChat 和 NanoGPT Speedrun 两个公开基准上刷新了最佳成绩，并加速了 ERNIE-5.5-Flash 的推理。

ERNIE Evolve 到底在做什么

ERNIE Evolve 的定位不是"AI 助手"，而是一个闭环的自动化研究流程。它自己编辑代码，自己发起实验，然后对结果做筛选——只有被实验验证带来增益的修改才会被保留，其余的被丢弃。

这个"只保留验证增益"的机制是整套系统最关键的设计。自动化生成代码本身并不新鲜，难的是如何判断一个改动是否真的让系统变好。ERNIE Evolve 把判断权交给实验数据，形成的是一条自我迭代的反馈回路，而不是一次性的代码补全。

从能力边界看，它覆盖的是模型训练与推理优化这类有明确评价指标的工程研究任务——这类任务的共同点是：可以自动跑实验，也可以自动拿到分数。

在 NanoChat 与 NanoGPT Speedrun 上的表现

报道提到 ERNIE Evolve 在两个公开基准上超过了已有的最佳纪录：NanoChat 和 NanoGPT Speedrun。

这两个基准在社区中的意义值得说明。NanoGPT Speedrun 这类基准关注的是在固定条件下把训练流程压到更快——它考察的不是模型规模，而是训练脚本层面的优化能力，包括内核、并行策略、超参和数据管线的调整。这类任务的评价指标单一且明确，恰好适合自动化系统反复试错。

NanoChat 同样属于可自动评测的对话/训练类基准。ERNIE Evolve 能在这两个公开榜单上取得领先，说明其"编辑代码—实验验证—保留增益"的循环在真实工程任务中具备可用的产出能力，而不只是在合成环境里跑通流程。

NanoGPT Speedrun 是社区中一类以“最快把 GPT 训练到目标损失”为目标的挑战，代表项目如 modded-nanogpt。它固定模型规模、数据集与评测方式，参赛者只能通过改进训练脚本本身来压缩训练时间，常见的优化手段包括使用更高效的注意力内核（如 FlashAttention）、调整优化器与学习率调度、改进数据加载与并行策略、以及采用更激进的超参数组合。由于每次提交都能自动得到明确的训练耗时与损失指标，这类基准天然适合作为自动化试错系统的试验场。

NanoChat 则是一个轻量级的对话模型训练与评测基准，关注在较小算力预算下完成从数据到对话能力的完整流程，评价维度通常包含对话质量与训练效率。它与 NanoGPT Speedrun 的共同点是：任务边界清晰、指标可自动计算、实验可重复，因此适合用来衡量自动化研究系统在真实训练工程中的产出能力，而非仅仅验证流程能否跑通。

反向加速自家模型：ERNIE-5.5-Flash 推理优化

比刷榜更值得关注的是第二个结果：ERNIE Evolve 加速了 ERNIE-5.5-Flash 的推理。

这是一个内部落地案例。自动化研究系统如果只能在公开基准上出成绩，价值是有限的；能对自己家的生产模型产生推理性能上的实际改善，意味着这套系统已经接入真实的工程链路。推理加速通常涉及算子融合、调度策略、内存管理、批处理配置等大量细碎改动，正是适合由自动化系统高频实验、逐项验证的工作类型。

不过报道没有披露加速幅度、优化了哪些具体环节，也没有说明这些改动是否已经上线到生产服务。这些信息的缺失让外部很难评估其实际收益的规模。

大模型推理加速是一类高度工程化的优化工作，常见手段包括：算子融合（将多个小算子合并以减少内核启动与访存开销）、KV Cache 管理与分页注意力、量化（INT8/FP8 等低精度推理）、连续批处理（continuous batching）与调度策略调整、以及针对特定硬件的内核重写。这些改动单点收益往往只有百分之几，且彼此存在交互影响，需要大量消融实验才能确认是否真正有效——这正是自动化“编辑—实验—保留增益”循环能够发挥作用的典型场景。但也正因为单点收益小、实验噪声大，若评测协议不够严格，很容易把波动误判为提升。

自动化研究系统的价值与边界

这类系统的想象空间在于把研究迭代的边际成本压下来。人工做一次消融实验，从改代码到跑完再到分析结果，周期以小时甚至天计；自动化系统可以并行地试更多方向，并把无效方向及时淘汰。对推理优化、训练加速这类目标函数清晰的问题，收益最直接。

边界同样清晰。第一，它依赖可自动评测的指标——开放式研究问题、需要人工判断的创意性工作，目前还落不进这个循环。第二，"只保留验证增益"意味着它对噪声敏感，实验设计不严谨时容易把随机波动当成真实提升。第三，公开基准的领先不等于通用研究能力的领先，基准本身存在被针对性优化的空间。

可自动评测指标是这类系统能运转的前提。所谓可自动评测，指的是任务存在一个无需人工介入即可计算的分数，例如训练损失、吞吐量、延迟、基准准确率等。与之相对的是开放式研究问题——例如提出新架构动机、设计新评测维度、判断一个想法是否值得深入——这些依赖研究者的判断与领域直觉，难以被压缩成一个标量奖励。此外，单一标量奖励还带来“奖励黑客”风险：系统可能找到在评测协议下得分更高、但并不代表真实能力提升的解法，这在公开基准上尤其需要警惕。

小结

ERNIE Evolve 展示的是一条务实的路径：不去追求"AI 科学家"的叙事，而是把自动化研究收敛到有明确评价信号的工程任务上，用实验验证做守门人。NanoChat 与 NanoGPT Speedrun 的纪录、以及 ERNIE-5.5-Flash 的推理加速，是这条路径目前拿出的两类证据——一个对外证明能力，一个对内证明可用。接下来真正值得观察的，是这套系统能否持续产出、以及它优化出的成果能否稳定迁移到更大规模的生产模型上。