D²-OPD：解耦方向与距离的在线蒸馏新方法

在模型蒸馏领域，在线策略蒸馏（On-Policy Distillation, OPD）通过让学生模型在自身生成的序列前缀上匹配教师模型的下一词分布，已成为一种有效的训练范式。然而，当研究者试图通过外推（extrapolation）来增强学习信号时，一个根本性的矛盾浮现出来：外推的方向和距离被耦合在一起，导致教师模型的对数概率偏移量同时决定了目标移动的方向和幅度。最近提出的D²-OPD方法通过显式解耦这两个因素，在多个设定下取得了显著改进。

外推蒸馏的耦合困境

传统的在线策略蒸馏中，学生模型被训练以匹配教师模型在自身生成前缀上的下一词分布。外推式OPD进一步扩展了教师模型相对于参考策略的对数概率偏移，从而构造出更强的学习目标。这种做法的直觉是：如果教师模型在某个方向上比参考策略更自信，那么沿着这个方向外推可以让学生模型学到更鲜明的行为模式。

问题在于，现有方法将外推的方向和距离绑定在一起。教师模型的偏移量越大，目标移动的距离就越远。这种耦合带来了两个风险：一方面，当教师模型的偏移信号较弱时，外推距离不足，学习信号不够强；另一方面，当偏移信号较强时，外推可能过度，导致目标偏离合理范围，甚至引入噪声。这种“一刀切”的外推策略在不同前缀和不同token上缺乏自适应性。

D²-OPD的核心洞察正是来自对这一耦合关系的反思：方向和距离应该作为两个独立的设计维度分别控制。

D²-OPD如何解耦方向与距离

D²-OPD的设计包含两个关键组件，分别负责距离约束和方向确定。

逐前缀硬KL约束控制距离

为了限制目标分布偏离教师模型的程度，D²-OPD引入了一个逐前缀的硬KL约束。这个约束为每个前缀设定了一个明确的上界，确保外推后的目标不会距离教师模型太远。与软约束不同，硬约束提供了更直接的控制——无论教师模型的偏移信号有多强，目标分布与教师分布之间的KL散度都不会超过预设阈值。

这种设计的好处在于稳定性。在在线策略蒸馏中，学生模型生成的前缀质量参差不齐，如果不对每个前缀单独约束，某些前缀上的外推可能失控。逐前缀的硬KL约束相当于为每个训练样本配备了一个安全阀，在保证学习信号强度的同时防止目标漂移。

KL散度 衡量两个概率分布之间的差异，在知识蒸馏中常被用作损失函数。方向不同则性质不同：前向KL（教师||学生）对学生覆盖不足的区域施加较大惩罚，倾向于让学生覆盖教师分布的所有模式（mass-covering）；反向KL（学生||教师）则倾向于让学生聚焦教师的高概率模式（mode-seeking），可能忽略低概率token。D²-OPD明确使用前向KL优化学生，与其硬KL约束形成互补：硬约束限定目标偏离教师的上界，前向KL则确保学生不遗漏教师分布中概率较低但可能重要的token。

自适应方向组合

方向的决定则通过自适应组合两个信号来实现：教师模型的后训练偏移（post-training shift）和初始的学生-教师差距（initial student-teacher gap）。教师的后训练偏移反映了教师模型相对于参考策略学到了什么，而初始的学生-教师差距则揭示了学生模型当前与教师模型的差异所在。

D²-OPD将这两个信号进行自适应加权组合，从而确定外推的方向。直观上，当教师的后训练偏移提供了明确的方向信号时，组合权重会倾向于该信号；当偏移信号模糊或与初始差距不一致时，初始差距信息则起到校正作用。这种组合策略使得方向的选择更加鲁棒，避免了单一信号主导带来的偏差。

教师的后训练偏移（post-training shift） 指教师模型相对于某个参考策略（通常是基础模型或SFT模型）在对数概率上的差异，它反映了教师通过后训练（如RLHF、拒绝采样微调）所学到的行为偏好。初始学生-教师差距 则衡量训练开始时学生模型与教师模型在同一前缀上的分布差异。二者结合的意义在于：后训练偏移提供“该往哪走”的方向信号，初始差距提示“学生目前缺什么”的校正信息。当教师偏移清晰时以其为主，当偏移模糊或与初始差距冲突时，初始差距起到稳定方向的作用，从而避免单一信号带来的偏差。

前向KL优化

在确定了目标分布之后，D²-OPD使用前向KL散度来优化学生模型。前向KL的一个关键优势是它能够为低概率token提供学习信号。在反向KL下，学生模型倾向于忽略教师分布中概率较低的token，而前向KL则要求学生模型覆盖教师分布的所有模式，包括那些概率不高但可能重要的token。这对于保持学生模型的多样性和泛化能力尤为重要。

在线策略蒸馏（On-Policy Distillation） 的核心在于训练数据由学生模型自身生成，而非固定离线数据集。学生在每个时间步基于自己已生成的序列前缀，计算教师模型对下一个token的预测分布，并以此为监督信号更新参数。这种做法缓解了训练与推理分布不一致的问题（exposure bias），因为学生始终在自己产生的状态分布上学习。但它的代价是需要频繁调用教师模型进行前向传播，计算开销高于离线蒸馏。D²-OPD延续了这一范式，其逐前缀约束与自适应方向机制均建立在学生实时生成的前缀之上。

实验验证：三种设定下的表现

D²-OPD在三个不同设定下进行了评估，每个设定对应不同的训练场景。

第一个设定是标准OPD表现良好的场景，此时D²-OPD需要证明自己不会因为额外的约束而损失性能。第二个设定涉及基础模型初始化下OPD表现挣扎的情况——这是实际应用中常见的困难场景，学生模型从基础模型初始化时与教师模型的差距较大，标准OPD容易陷入局部最优。第三个设定则是在没有教师参考可用的情况下进行评估，这要求方法具备一定的自举能力。

在数学推理基准上，D²-OPD在三个设定下均取得了最高分，相比最强基线方法最高提升了9.45分。这一结果覆盖了从“标准可用”到“标准困难”的多种场景，表明解耦方向和距离的设计具有普遍的适用性。消融实验进一步验证了每个组件的贡献：硬KL约束、自适应方向组合以及前向KL优化各自都对最终性能有正面作用。

对蒸馏方法设计的启示

D²-OPD的价值不仅在于具体的技术方案，更在于它揭示了一个方法论层面的问题：在外推式蒸馏中，将多个因素耦合在一起虽然简化了设计，但限制了方法的适应性和鲁棒性。方向和距离的解耦提供了一种更细粒度的控制方式，使得外推行为可以根据每个前缀的具体情况自适应调整。

从工程角度看，逐前缀硬KL约束的计算开销可控，自适应方向组合也不需要额外的教师前向传播，这使得D²-OPD在实际训练中具有较好的可行性。对于需要从强教师模型向轻量学生模型迁移知识、同时又希望保持稳定性的场景，这种解耦思路值得借鉴。

当然，当前实验主要集中在数学推理基准上，D²-OPD在其他任务类型（如开放式生成、多轮对话）上的表现仍有待验证。此外，硬KL约束的阈值选择策略在原文中未详细讨论，这可能是影响方法实际部署的一个关键超参数。后续研究可以进一步探索阈值的自适应确定方式，以及方向组合权重在不同训练阶段的动态调整策略。