LoopOPD：让循环语言模型自我蒸馏，实现递归自我提升

循环语言模型的训练困境

循环语言模型（Looped Language Models，简称 LoopLMs）提供了一种参数高效的推理扩展思路：通过在多个递归计算步骤之间复用同一套共享参数，模型能够在不显著增加参数量的前提下加深推理能力。这类架构的吸引力显而易见——用更少的参数换取更强的推理深度。

但理想很丰满，现实的训练环节却困难重重。LoopLMs 的后训练（post-training）长期缺乏有效方法。现有做法大体分为两类，各有短板：一类依赖基于奖励的监督信号，但这种信号往往稀疏，且难以在多个循环层级之间扩展；另一类则依赖外部教师模型或特权信息（privileged information），结果是教师资源受限，或者出现教师与学生之间的上下文失配（context mismatch）。

循环语言模型（LoopLMs）的架构灵感来源于早期的Universal Transformer和DEQ（Deep Equilibrium Model）等工作。其核心思想是将同一组Transformer层反复应用多次，每次迭代称为一个"循环步"（loop step）。与普通的深层Transformer堆叠不同，LoopLMs的参数不随深度增加而增加——12层的参数量可以"模拟"出48层的计算深度，因为参数在每次递归中被共享复用。这使得它天然具备了测试时计算扩展（test-time compute scaling）的能力：推理时只需增加递归次数，无需加载更大的模型。

后训练（post-training）是指在预训练基础上，通过指令微调、RLHF或蒸馏等手段进一步对齐模型能力的阶段。对LoopLMs而言，后训练面临特殊挑战：共享参数意味着对任意一个循环深度的梯度更新会同时影响所有深度的行为，容易出现"优化某一层级反而破坏其他层级"的干涉效应，这正是该领域长期缺乏有效后训练方案的根本原因。

LoopOPD：把模型自身当作老师

这篇 arXiv 新论文提出的解决方案叫 LoopOPD，核心思路相当巧妙：既然循环模型本身就能通过增加递归计算步骤获得更强的能力，那么何不让模型用“算得更深”的自己来教“算得更浅”的自己？

LoopOPD 是一个跨循环的在线策略蒸馏（cross-loop on-policy distillation）框架。它将一个冻结的终端循环策略（terminal loop policy）作为“计算特权教师”（compute privileged teacher），去指导中间循环的学生策略（intermediate loop student）。关键在于，这个蒸馏过程发生在学生自己生成的 rollout 上，而非外部数据。

这样设计的好处是直接的：无需引入任何外部教师模型，也不依赖特权信息，就能提供密集（dense）的监督信号。相比奖励信号的稀疏性，密集监督能让训练更稳定、信号利用更充分。换句话说，模型的额外递归计算量本身，就成了监督的来源。

在线策略蒸馏（on-policy distillation）与离线蒸馏的关键区别在于数据来源：离线蒸馏使用预先收集的教师输出作为固定训练集，而在线策略蒸馏中，学生模型边运行边生成自己的"轨迹"（rollout），教师对这些轨迹实时打分或提供分布监督。这一设计能有效缓解"分布偏移"问题——学生在训练时遇到的数据分布，与它在推理时实际面对的分布保持一致。

LoopOPD中的"跨循环"蒸馏是这一思路在循环架构上的自然延伸：运行L步递归的模型（终端循环）扮演教师，运行k步（k < L）的同一模型扮演学生，两者共享参数但计算深度不同。教师的监督信号基于学生自己生成的rollout，这既保证了on-policy的分布一致性，又无需任何外部标注或独立的教师模型。

动态版本 D-LoopOPD 与递归自我提升

静态的 LoopOPD 还有进一步优化空间。论文在此基础上提出了 Dynamic LoopOPD（D-LoopOPD）。

它的改进点在于：当共享模型参数被更新后，终端循环教师也会被持续刷新。也就是说，教师不再是一个一成不变的冻结快照，而是随着学生的进步同步演化。学生变强，教师也随之变强，再反过来指导学生——这就形成了论文标题所强调的「递归自我提升」（recurrent self-improvement）闭环。

这一机制的价值在于突破了静态教师的能力天花板。传统蒸馏中，学生的上限受限于固定教师；而动态刷新让系统具备了持续迭代的潜力。

理论分析：更新如何在循环深度间传播

论文并未停留在工程技巧层面，还给出了理论刻画。作者分析了蒸馏更新如何在不同的循环深度（loop depths）之间传播，并推导出一组充分条件——在这些条件下，单次参数更新能够同时在两个循环深度上带来局部改进。

这是该工作较为扎实的部分。它回答了一个关键疑问：在共享参数的循环架构里，针对某一层级的优化会不会损害另一层级的表现？理论结果表明，在满足特定条件时，优化是可以“双赢”的，这为方法的有效性提供了数学支撑。

实验结果：数学训练带来的泛化能力

实验基于 Ouro-Thinking 系列模型展开。结果显示：

• LoopOPD 显著提升了模型的数学推理能力；
• D-LoopOPD 通过动态教师更新带来了进一步的增益；
• 一个值得关注的现象是——尽管模型仅在数学数据上训练，它在通用推理和代码生成基准上同样取得了提升。

最后这一点尤其有意义。仅凭数学数据训练却能泛化到通用推理和代码任务，说明递归计算作为监督来源，提升的是模型某种更底层、更通用的推理机制，而非对特定数据分布的过拟合。这为「递归计算即监督」这一命题提供了实证支持。

用数学数据训练能够泛化到代码和通用推理任务，这一现象在近期大模型研究中并非孤例。DeepSeek^广告-R1等工作也观察到类似的"推理能力迁移"：在数学或逻辑密集任务上强化训练的模型，往往在需要多步推理的代码生成、科学问答等任务上同步受益。一种主流解释是，数学训练强化的是模型的"过程性推理"能力——将复杂问题拆解为子步骤、维护中间状态、验证局部正确性——这些能力是跨领域通用的，而非数学特有的。

对LoopOPD而言，这一泛化结果还有额外的理论意味：它表明递归计算所提供的密集监督信号，优化的不是特定任务的数据分布，而是模型在"如何分配计算"上的更一般策略。这为"递归计算即监督"这一设计哲学提供了跨任务的实证支持。

对参数高效推理的启示

这项工作把 LoopLMs 的训练难题转化为一个自监督问题，思路上有一定的开创性。它绕开了外部教师的可用性瓶颈和上下文失配问题，用模型自身的计算深度构造出密集监督信号，再通过动态刷新实现持续迭代。

对于关注参数高效、推理扩展方向的研究者和工程团队而言，LoopOPD 提供了一条值得参考的后训练路径。作者表示代码与模型检查点将在论文被接收后发布，届时可进一步验证其可复现性与实际落地效果。

需要客观看待的是，当前结论主要基于 Ouro-Thinking 这一特定模型家族，方法在更大规模、更多架构上的通用性仍有待后续工作检验。