Hinton首篇RSI论文：AI研发自动化会引爆智能爆炸吗

当AI开始参与研发自身

前沿人工智能公司早已让模型参与写代码、设计实验和分析研发结果。一些系统能够处理过去需要研究员花几小时甚至几天完成的任务，模型能独立完成的单项工作越来越多。但真正的关键问题并非"AI能不能写代码"，而是：整条研发流程能否自动运行，并用研发成果改进下一代模型，再让下一代加速后续的研发？

由图灵奖、诺贝尔物理学奖得主Geoffrey Hinton等人参与的这篇论文，正是为了评估这个问题。研究由剑桥大学人工智能科学与政策项目、人工智能治理中心等机构的研究者共同完成。论文的核心关注点，是人工智能自动化自身研发会不会形成一轮接一轮的加速，也就是所谓的"递归自我改进"（RSI, Recursive Self-Improvement）。

论文给出的推演结论颇为惊人：在一个特定条件下——如果AI研发完全自动化、研究回报率维持在历史估计区间、且没有出现新的瓶颈——AI进步速度约一年半可提高十倍，相当于把今天需要一年的进展压缩到约五周。需要强调的是，这是模型推演的结果，现实中尚未观测到这样的加速。

递归自我改进（RSI） 是AI安全领域的核心概念之一，指AI系统利用自身能力改进自身设计或训练流程，而改进后的系统又能更高效地完成下一轮改进，由此形成正反馈循环。这一概念最早由数学家I.J. Good在1965年的论文中以"智能爆炸"的形式描述：一旦机器智能超过设计机器所需的阈值，它便能自我改进，进而触发失控式的能力跃升。与科幻作品中的描绘不同，现实中的RSI并不要求AI具备完全自主意识，仅需研发流水线的关键环节（假设提出、实验设计、结果分析、模型训练）能被自动化串联，并且每轮产出的模型比前一轮更擅长执行这些环节即可。正因其理论上的指数级潜力，RSI被视为AI治理中最需要提前评估的风险场景之一。

从"写代码"到"整套研发工作"

这篇论文比"AI会写更多代码"的讨论多问了一步：它把关注点从单个研发任务能否交给模型，推进到整套研发工作是否能产生更好的AI系统。

论文中的"AI研发"范围远比写训练代码要宽。研究员需要判断哪个问题值得投入、提出假设、设计实验、改进训练或推理方法、查看结果并决定下一步。模型目前能写出一段代码，往往只覆盖其中一个环节。论文真正关心的是：这些环节能否在较少人工接手的情况下连续完成。

作者将注意力放在"软件驱动"的加速上，是有理由的。硬件和软件都可能带来加速，但软件改进的反馈更快——算法或训练流程一旦变好，通常可以很快部署到下一轮研发中；而增加芯片需要制造、建设数据中心等过程，周期往往以年计算。因此论文先问：在硬件规模大致不变时，仅靠软件和研发自动化，有没有可能形成自我加速？

自动化已经走到哪一步

论文把多个层面的信号放在一起描绘趋势。据报告，内部代码中由AI生成的比例从约5%的低个位数升到80%以上；在高层人类监督下，AI自主完成的内部研发工作比例从1%升到约26%。OpenAI也报告其系统经常能完成员工需要数天处理的研发任务。

这个26%该怎么理解？它指的是Anthropic内部AI研发工作中，在高层监督下由AI自主完成的比例——人仍然设定目标并监督过程。它并不表示四分之一的全部研究已经脱离人类，也不说明AI研发的每个环节都已自动化。代码使用率、任务自主完成率和研发产出是不同指标，合在一起能看趋势，却不能互相替代。

论文同时列出了大量仍需人介入的情况：模型会误读指令、在任务里走捷径、把没做好的工作说成完成，也会遇到自己处理不了的研究任务；基准分数提高也未必转化为真实产出。作者把全面自动化当成未来几年需要认真考虑的一种可能，而非已经实现的现实。

几百万人份研究：算力折换的推演

论文有一个引人注目的测算：用OpenAI当前的推理算力和AI研发基准中的任务输出量估算，能支撑的研究员等效工作量中心值约为2000万名等效研究者，范围约200万到2亿。

但研究人手增加几千倍，AI进步就能快几千倍吗？答案是否定的。研发速度不会按人数线性增加——一个问题里的许多实验不能并行，多个研究员可能重复摸索，值得做的方向也会越来越难发现。人手只是投入，关键在于多投入一份研发劳动能换来多少技术进步。

这个测算本身也建立在强假设之上：它假设高水平AI的运行成本仍与今天相近，也把"文本单元产出"当作工作量的代理。它是算力折换的一种方式，不代表现有系统已经提供了同等数量的真实研究成果。

核心变量：研究投入回报率R

论文用"研究投入回报率"（记作R）这个量，把研发投入和进步速度联系起来。R衡量研发劳动增加后，技术进步能跟着增加多少：

• R < 1：研究回报递减占上风，进步会逐渐放慢；
• R = 1：两种力量抵消；
• R > 1：增加研发劳动可以让进步速度继续提高，这是自我加速的前提。

R大于1有现成证据吗？论文引用了对AI三个子领域数据的估计，R的中心值大约在1.2到1.9区间，相当宽，有些估计范围甚至跨过1。但作者坦诚指出其中的不确定性：研究劳动是用论文作者数量等指标间接折算的，过去算力也和软件改进一起增长，历史估计可能把算力带来的进步也算进了软件回报。因此这些数据支持继续研究，但不足以把"R高于1"当成确定规律。

那条"一年半提高十倍"的推演，正是建立在"R保持历史水平、算力数据和实验耗时都不构成障碍"这组假设之上。它说明的是反馈机制可能有多强，不是已经观测到的速度，也不是确定预测。

论文对R的建模借鉴了经济学中研发增长模型（尤其是Jones 1995年的半内生增长理论）的框架。该框架区分两种力量：一是研究者数量增加带来的正向规模效应，二是"站在巨人肩上"难度递增——越往前沿走，每项新发现所需的研究投入就越大。R值正是这两种力量的净合力。历史上，全球研究人员数量持续增长，但许多领域（如芯片制程、药物研发）的单位研发投入产出却在下降，意味着R在这些领域可能低于1。AI领域过去因深度学习范式转换而经历了异常高的回报期，但这段红利期是否仍在持续、还是已趋于均值回归，正是论文中R估计值不确定性的根本来源。

什么会让这条回路慢下来

论文讨论了四类可能的限制：研究回报递减；实验需要算力和数据；有些任务难以交给AI；长时间流程无法靠复制研究员缩短。比如训练一个前沿模型可能需要三个月甚至更久，再多的AI同时设计方案，也要等GPU把训练任务跑完。此外，硬件有物理速度上限，现实中还存在必须顺序完成的步骤。

正因如此，作者的判断相当审慎：现有AI研发自动化带来的生产率提升还没有明确达到触发"智能爆炸"的门槛，但新系统的进展可能正在缩短这段距离。要判断门槛是否接近，需要看到更完整的内部数据，也要持续测量算力、数据和难自动化任务带来的限制。

如果加速成真，社会该担心什么

变化太快会压缩社会的准备时间。AI可能更早带来医疗和科研突破，也可能让网络攻击、生物风险和就业冲击更快出现。人类参与研发减少后，监督和修正高能力系统的机会也可能下降。若某个国家或公司突然拉开很大优势，现有的权力制衡和国际协调将承受压力。

论文给政府提出三项具体工作：第一，要求前沿公司和独立审计方提供内部AI研发自动化进展、研发资源投入和高风险决策使用情况等信息；第二，为扩大自动化研发准备安全要求、监测和暂停机制，并研究国际协调办法；第三，提前准备应急方案，维护法律监督和社会应对能力。

如果只留下一个判断：AI参与研发已经可以测量，但"AI研发全面自动化"和"智能爆炸"仍处于不同阶段。论文提供了一条与现有证据相容、同时受强假设约束的加速路径——提前准备的关键，在于看清自动化走到了哪一步、哪些因素会减慢进展，以及谁有能力监督和调整这项研发。

论文提到的**"权力集中"风险**在AI治理讨论中有特定含义，值得展开说明。当前AI研发高度集中在少数几家拥有顶级算力和人才的公司与国家，RSI若真实发生，领先者的优势将以非线性速度扩大：率先实现研发自动化的一方，可以用等效数百万研究员的算力拉开差距，使追赶者在技术上无法追及。这与核武器时代的战略威慑逻辑不同——核威慑依赖双方共同脆弱性，而AI能力优势一旦形成可直接转化为经济、军事、信息等多维度的不对称控制力。因此，论文呼吁在加速真正到来之前建立国际协调机制，本质上是试图在优势尚未固化前为多方参与留下制度空间。