MLR：用多级推理架构提升小模型长链思考能力

当长链推理"跑偏"：小模型的计划漂移难题

推理时扩展（inference-time scaling）通过延长思维链（CoT）来增强模型推理能力，这一思路已在大型语言模型上取得显著成效。但现有方法通常依赖单一策略，并用结果奖励强化学习（outcome-reward RL）训练。问题在于，长程计划失败时有发生——模型隐含的推理计划会逐渐偏离有效策略，对于容量有限的小模型尤为严重。

这种"计划漂移"的本质是：一条长达数千 token 的推理轨迹中，中间步骤缺乏明确的结构约束，模型容易在局部生成看似合理、整体却偏离目标的内容。结果奖励只在轨迹末端给出反馈，中间过程的错误无法被及时纠正。

MLR 多级推理架构示意

MLR 的核心思路：把长链拆成"规划—执行"两层

针对上述问题，研究者提出多级推理（Multi-Level Reasoning，MLR），将长 CoT 生成重构为两级随机过程。

高层规划器与低层执行器

高层规划器负责生成结构化的步骤描述符，每个描述符同时指定两件事：推理模式（reasoning mode）和语义子目标（semantic subgoal）。低层执行器则在这些描述符的约束下生成详细推理内容，形成"规划—执行"交替循环。

这种设计的巧妙之处在于，它为长链推理引入了显式的中间结构。每一步不再是自由生成，而是被高层规划锚定在特定模式和子目标上，从而抑制计划漂移。

极简实现：基础模型 + 轻量 LoRA

为保持可扩展性，MLR 采用最小化设计：基础模型本身充当低层策略，一个轻量 LoRA 模块实现高层策略。这意味着不引入额外的庞大模型，训练和部署成本可控，尤其适合资源受限的小模型场景。

两级随机过程（two-level stochastic process）是概率建模中的一种分层生成框架：上层变量先被采样，决定下层的条件分布，下层再在该条件下生成具体输出。在 MLR 中，高层规划器采样出步骤描述符序列，低层执行器则依据每个描述符的条件分布生成详细推理内容。这种分层结构使推理轨迹的生成具有可分解的概率形式，从而允许在步骤粒度上做信用分配与干预，而不再是单一策略在整条轨迹上的黑箱采样。

LoRA（Low-Rank Adaptation，低秩适配）是一种参数高效微调方法：在预训练模型的权重矩阵旁并联一对低秩分解矩阵，训练时只更新这部分小参数，主干权重保持冻结，从而大幅降低可训练参数量与显存开销。MLR 借此让基础模型同时承担低层执行与高层规划两种角色——主干负责详细推理生成，LoRA 适配器负责输出步骤描述符，二者共享同一底座，既避免了引入第二个大模型，也便于在资源受限场景下训练和部署。

训练难题：稀疏奖励下的信用分配

即便架构合理，训练仍是瓶颈。研究者观察到，结果奖励 RL 对长轨迹（例如数千 token）提供的反馈稀疏且延迟，严重阻碍信用分配——模型难以判断到底是哪一步导致了最终结果的好坏。

迭代式 Step-DPO 与 TSMC

为此，MLR 引入迭代式 Step-DPO，一种过程级偏好优化方案。它利用扭曲序贯蒙特卡洛（Twisted Sequential Monte Carlo，TSMC）来提供可扩展的逐步监督。相比仅依赖最终结果，这种方法能在步骤粒度上给出更密集的训练信号，从而带来更有效的训练、更高的稳定性以及更优的准确率。

从工程角度看，过程级监督配合 TSMC 的采样机制，实际上是在长轨迹中为每个关键决策点估算"未来潜力"，让信用分配不再只依赖末端奖励。

信用分配（credit assignment）是强化学习中的经典问题：当一条轨迹最终获得奖励时，需要判断序列中哪些动作对结果贡献最大。在长 CoT 场景下，轨迹可达数千 token，而结果奖励只在末端给出一个标量，中间步骤的贡献被严重稀释。常用的对策包括引入过程奖励模型、步骤级偏好标注或基于价值函数的逐步估计。MLR 选择的过程级偏好优化属于后者思路，用可扩展的采样手段为每一步估算相对优劣，从而把末端信号分摊到步骤粒度。

序贯蒙特卡洛（Sequential Monte Carlo，SMC）通过一组带权粒子逐步采样来近似复杂分布，适合处理长序列上的概率推断。扭曲（twisted）SMC 在每一步引入一个"扭曲函数"作为前瞻估计，提前评估当前部分轨迹的未来潜力，从而更高效地引导粒子走向高奖励区域。在 MLR 中，TSMC 被用来为长推理轨迹的每个关键决策点提供逐步监督信号：扭曲函数近似未来回报，粒子权重反映各步骤的相对贡献，使 Step-DPO 的偏好对构造不再依赖末端单一奖励。

实验表现：小数据预算下的全面领先

研究者在具有挑战性的数学、科学和逻辑推理基准上进行了广泛实验。关键结果值得关注：

数据效率突出：在相同且缩减的数据预算下（相对 DeepSeek^广告-R1 蒸馏设置仅使用 10% 的 SFT 数据和 5% 的偏好数据），MLR 在多个基础模型和任务上均优于基于 SFT 的蒸馏方法以及强 RL/偏好优化基线。
长程鲁棒性更强：MLR 在长程推理中表现出更慢的性能退化，说明在扩展 CoT 生成时具备更强的鲁棒性。

这两点结合起来看，MLR 的价值不仅在于"用更少数据取得更好结果"，更在于它缓解了长链推理中随长度增加而加剧的性能衰减问题——这恰恰是小模型落地推理任务时最现实的障碍。

为什么值得关注

MLR 的启示在于：与其让单一策略在超长轨迹中"自由发挥"，不如显式地引入分层结构，把规划与执行解耦。轻量 LoRA 承担高层规划、基础模型负责执行的设计，也为小模型的能力增强提供了一条低成本的工程路径。

当然，两级策略之间的协调、步骤描述符的粒度选择，以及 TSMC 采样带来的额外计算开销，都是实际部署时需要权衡的因素。但从方法论的完整性看，MLR 把"结构约束"和"过程监督"两个方向结合在了一起，为推理时扩展提供了一个值得跟进的新范式。