三位AI研究者激辩：递归自我改进离我们还有多远？

递归自我改进（RSI）与智能爆炸是当前AI领域最具争议的话题之一。在一场深度对谈中，三位来自相对开放实验室的研究者——Zyphra CTO Barron Millich、Thinking Machines首席科学家（前OpenAI联合创始人、RLHF核心贡献者）John Schulman，以及Base10模型训练负责人Charlie O'Neill——围绕这一问题展开了坦诚而技术密集的辩论。他们既不是纯粹的加速主义者，也不是彻底的怀疑者，而是从训练机制、数据瓶颈、泛化能力等第一性原理出发，拆解了「智能爆炸」这一叙事背后的真实技术约束。

为什么十年后可能仍没有超级智能？

对谈的开场问题很尖锐：假设十年后，世界并没有被无数超级智能彻底改变，最可能的技术原因是什么（排除战争、监管等外部冲击）？

Barron提出的核心担忧是「莫拉维克悖论」的延续——AI在人们设定的基准测试和环境里表现得极其出色，却始终存在某种持续的「模拟到现实」（sim-to-real）鸿沟，阻碍真正的泛化火花出现。他补充，如果元学习（meta-learning）的泛化极其困难，加上持续学习（continual learning）迟迟无法解决，这将是他心中最可能的默认情景。

John Schulman的观点更贴近实践者的经验：人类目前在许多方面仍优于模型，每当新模型发布时人们惊呼「这就是AGI了」，但用上一个月后又觉得它变笨了。这个「惊艳—失望」的循环可能会不断重复，且难以预测还要重复多少次。当前之所以没有爆炸式增长，是因为即便模型能写比人多得多的代码，研究和工程仍会在其他环节被卡住，无法让人的生产力提升百倍。

Charlie则从「学习器的全局最优」角度切入。他类比摩尔定律：那条漂亮的直线之所以能维持极长时间，是因为背后经历了无数次离散的技术突破。LLM也是如此——预训练缩放律遇到边际递减后，RL接棒续上了新曲线。问题在于，如果要维持这条上升线还需要另一次「不连续性」突破，那么当前用RL环境训练LLM的方法，未必有能力发现那个突破。

莫拉维克悖论（Moravec's Paradox）由机器人学家汉斯·莫拉维克于1980年代提出，指出对人类而言困难的高层认知任务（如下棋、数学推理）对AI反而相对容易，而人类轻松完成的低层感知运动任务（如识别一张脸、拿起一个鸡蛋）对AI却极为困难。Barron在此语境中将其延伸为「Sim-to-Real鸿沟」：模型在标准化基准测试（simulation）中表现卓越，但一旦面对真实世界中的非结构化变量，就会出现系统性的能力衰减。

元学习（Meta-Learning，又称「学会学习」）指让模型不仅能完成具体任务，还能快速适应全新任务类型的训练范式——本质上是学习「如何更高效地学习」。持续学习（Continual Learning）则研究如何让模型在不断接收新任务、新数据时不遗忘已有能力。这两个方向正是RSI叙事的技术前提：若AI无法元学习新目标、也无法持续积累知识，自我改进就无从实现。

递归自我改进的关键卡点：AI能否自己定义目标？

辩论逐渐收敛到一个核心命题：RSI能否自我驱动，取决于AI能否泛化到「学习自己的目标」。

Charlie区分了两类研究。一类是目标已被清晰定义的「自动化研究」——比如让预训练损失下降、让RL环境得分上升，这类任务AI能带来巨大加速。他举了极具说服力的例子：如果当年有AI思考Kaplan缩放律，它可能会立刻注意到「他们用了中间检查点却没考虑退火（annealing），所以结论是错的」，这一个观察就能省下一两年的弯路。类似地，muP、学习率如何随模型宽度缩放等「低垂果实」，只要多想一想就能提前摘到。他因此预测，在「最大化当前目标」这件事上，AI能带来约10倍加速。

但另一类是开放式科学，需要范式转变，目标本身无法被清晰指定——AI同样无法指定。John指出，整个领域高度依赖泛化，而泛化何时发生极难预测。最重要的进步往往是那些「我们没有先验理由去期待」的泛化：从朴素的下一个token预测泛化到深层理解任务，从可验证任务泛化到不可验证任务。这些都不是理所当然的。

三人达成的一个重要共识是：「思考」本身无法凭空产生新的比特（bits）。正如Charlie所说，思考只能基于已获得的信息更新你的后验概率，你无法从纯粹的思考中获得新信息。这意味着即便有一个「用一个世纪来思考每个实验」的自动化研究员，它也无法凭空推导出正确的新目标。

蒸馏为何阻止了模型提供商的中心化？

关于产业格局，一个有趣的问题是：为什么模型提供商没有出现巨大的中心化整合？

John给出的答案是**蒸馏（distillation）**是对抗中心化的主要力量。因为凡是能通过RL学到的东西，本质上都是少量比特，很容易被蒸馏——只要你能拿到展示某种行为的轨迹，就能轻易复制。Barron补充了一个现实观察：中国的实验室很可能在使用路由/代理服务的数据，这些服务让中国用户绕过封锁使用美国前沿模型（主要用于编程），而这些服务收集并出售数据，恰好提供了完美的prompt分布用于蒸馏。

这引出一个耐人寻味的预测：Charlie观察到，尽管Anthropic的模型拥有蒸馏和logit蒸馏的优势，某些开源模型在客观表现上却更强。他推测，这说明前沿实验室在RL环境上未必还有多少优势，真实世界的部署数据可能比环境本身更重要。John则提出了一个略有不同的假说：环境可以沿「难度」和「真实性」两个轴构建，蒸馏容易匹配教师模型在「刷榜分布」上的表现，却难以捕捉真实、多轮交互场景所需的能力——大模型在从窄任务泛化到真实任务上做得更好。

知识蒸馏（Knowledge Distillation）由Hinton等人于2015年系统化提出，核心思想是用大型「教师模型」的输出（软标签/logits）来训练小型「学生模型」，使后者在参数量更少的情况下逼近教师的能力分布。与直接用人工标注数据训练相比，蒸馏能传递教师模型对「不确定性」的编码——例如教师认为某答案有70%概率正确、20%概率是另一答案，这比「正确/错误」的硬标签信息量更丰富。

Logit蒸馏是其中一种变体，直接对齐教师与学生在词表上的概率分布，而非仅对齐最终答案。John提到的关键洞察在于：通过RL获得的能力本质上是「压缩进少量比特的策略」，其行为轨迹一旦可被观测，就能被蒸馏高效复制。这解释了为何前沿能力会快速扩散至开源社区——壁垒不在于「会什么」，而在于「在真实多轮场景中泛化」的能力，这部分更难通过蒸馏捕获。

持续学习的技术天花板：可塑性与灾难性遗忘

对谈中信息量最密集的部分，是关于「持续学习」为何如此困难。

Barron将任务分为两类：累积型任务（如RSI，每个发现都是可以守住的「沙上刻线」，训练栈里不断叠加attention、MoE、GRPO等已有成果）和非平稳型任务（如法律事务所里的助理，人际关系、隐性规则时刻在变，无法简单累积）。他半开玩笑地感叹：「太不幸了，RSI居然比其他所有任务都更容易。」

Charlie详细拆解了当前方法的失效模式：当你试图对单个模型做连续的微更新（比如为某个法律事务所持续更新），几乎所有方法都会崩溃——SFT会导致灾难性遗忘和通用能力退化，on-policy蒸馏能把这条地平线往后推一点但最终仍会失败，RL擅长注入能力却不擅长注入知识。他和Barron的共识是：这既是技术问题也部分是容量问题，但核心是技术——因为如果你把同样的数据放进中训练、从头训练一个同尺寸的新模型，效果会更好。这正是今天实验室不断训练新base模型、而非无限期更新旧模型的原因：可塑性衰减（plasticity）和灾难性遗忘构成了硬约束。

灾难性遗忘（Catastrophic Forgetting）是神经网络的一个基本特性：当网络在新任务上更新权重时，旧任务的参数表征会被覆盖，导致旧能力急剧下降。这与人类大脑通过海马体巩固记忆的机制截然不同。学界提出过多种缓解方案，包括弹性权重巩固（EWC）、回放缓冲区（Replay Buffer）等，但在大规模语言模型上均未能根本解决问题。

可塑性衰减（Plasticity Loss）则是另一个维度的问题：随着模型接受越来越多的微调更新，其权重逐渐「固化」，对新信息的响应能力不断下降，即便损失函数仍在下降，模型真正「学到新东西」的能力也在萎缩。这两个约束共同解释了为何持续更新同一模型的效果，系统性地差于「从头训练一个含相同数据的新模型」——后者拥有充分的可塑性，而前者已在历史权重上过度约束。这也是当前实验室每隔数月就发布全新base模型、而非无限期维护单一模型的根本技术动因。

RL为何比预期更成功？

针对「RL每回合只学到一个比特、成功率低时几乎学不到东西」的质疑，为什么scaling RL却如此有效？

Barron给出了两点解释。其一是中训练被严重低估——大量所谓的「RL成功」实际来自极高质量的中训练数据（在合成推理数据上做类预训练），这已经把模型带到最终RL检查点约80%的位置，RL只需在此基础上做少量策略微调。其二是信噪比：RL的目标函数忽略了所有其他比特，只保留「如何答对」这一个高信号比特，因此不会被淹没在噪声里，这才是RL相比SFT在步数效率上如此惊人的原因。

Charlie补充了泛化的维度：RL没能带来跨领域的「推理泛化」（只训数学不会让你成为最强程序员），但带来了**「时间跨度泛化」**——模型学会了使用更多token、在任务上坚持更久。有研究显示模型能持续工作的时长每三个月翻一倍，这是清晰的泛化证据。

中训练（Mid-Training，也称继续预训练 Continual Pre-Training）是介于大规模预训练与任务特定微调之间的阶段，通常在高质量的领域数据或合成数据上以类预训练方式运行。Barron强调其被严重低估：DeepSeek-R1等模型的成功，很大程度上来自在大量合成推理链数据上的中训练，而非纯粹的RL策略优化。这一观察挑战了「RL是推理能力主要来源」的流行叙事。

GRPO（Group Relative Policy Optimization）是DeepSeek团队提出的RL算法变体，通过组内对比多个采样输出的相对奖励来估计基线，避免了PPO需要单独训练价值网络的开销，在计算效率上更适合大模型训练。Charlie和Barron提到的「attention、MoE、GRPO等已有成果在训练栈里不断叠加」，正是RSI在「累积型任务」上的体现——每一代训练方法都能站在前一代的肩膀上，构成一种有限但真实存在的自我改进循环。

三位专家的时间线预测

在快问快答环节，三人对几个关键里程碑给出了预测：

• 可即插即用的通用远程白领工作者（能进行电脑操作、一个月无缝学习和执行复杂项目）：如果允许组织为AI做适配，约1-3年；完全通用则约3年。
• AI研究员获得10倍生产力提升：Barron和Charlie认为约2年，John则给出5-10年——分歧主要源于对「完全通用」定义的不同理解。
• 在所有可通过电脑完成的认知工作上超越顶尖人类专家（即ASI）：估计集中在3-10年区间。John认为AI研究因获得大量关注、且涉及模型擅长的代码与数学，反而不是最难的；真正的长尾在于数据稀缺、需要即时学习的领域（如成为TSMC的超人类工程师）。

值得关注的是，多位研究者认为「自动化AI研究」可能已经是「ASI完备」的——因为世界上有太多东西即便有外部记忆系统和更长上下文也难以掌握。这场对谈的价值不在于给出确定答案，而在于把「智能爆炸」这一宏大叙事，还原成了一系列可辩论、可验证的具体技术命题。