OC-OPD：用四观测矩阵协调前向与反向KL蒸馏

两种KL散度，互补的监督信号

在on-policy蒸馏中，学生模型先生成前缀，教师模型再对这些前缀打分。这一过程中，反向KL与前向KL各自扮演不同角色：反向KL偏向精炼学生已经活跃的token排序，让模型更“确信”它本来偏好的选择；前向KL则负责把概率质量分配给教师支持、但学生尚未充分关注的候选，起到探索和补足的作用。

单一使用任一散度，都会让蒸馏偏向某种行为模式——要么过于保守，要么引入过多噪声。OC-OPD的出发点正是承认这两种监督信号的互补性，并尝试在梯度层面把它们协调起来。论文来自rss来源，代码已在GitHub公开。

KL散度（Kullback-Leibler Divergence）衡量两个概率分布之间的差异，定义为 (D_{\text{KL}}(P|Q)=\sum_x P(x)\log\frac{P(x)}{Q(x)})。它不对称，因此有前向KL与反向KL之分。在蒸馏中，若以教师分布 (p_t) 和学生分布 (p_s) 为例，前向KL为 (D_{\text{KL}}(p_t|p_s))，倾向于让学生覆盖教师所有可能输出的概率质量（mass-covering），但可能把概率分散到低质量候选上；反向KL为 (D_{\text{KL}}(p_s|p_t))，倾向于让学生聚焦于教师高概率区域（mode-seeking），但可能忽略教师支持的其他模式。on-policy蒸馏中，学生生成前缀后，教师对该前缀下的下一个token分布打分，两种KL便在此处产生不同的梯度行为：反向KL强化学生已偏好的token排序，前向KL则拉高教师支持但学生低估的候选概率。

四观测矩阵：把学生和教师同时当作候选源与评估者

OC-OPD的核心构造是在学生生成的前缀处，建立一个“四观测矩阵”。具体做法是把学生和教师分别视为候选来源和评估者，两两组合形成四种观测：对角线上是自我观测（学生评估学生、教师评估教师），用来度量各自的不确定性；非对角线的交叉观测则分别对应反向KL和前向KL两个目标。

这个设计的巧妙之处在于，它没有把两种KL当作两个独立损失简单加权，而是用统一的观测框架去刻画它们。论文进一步建立了一个精确恒等式：将两种KL对数it梯度的Fisher逆度量耦合，等价于这些对比观测之和。由此，两个不同的正分布可以获得一个共同的局部下降方向。

Fisher信息矩阵（Fisher Information Matrix）是概率模型参数空间中对数似然梯度的协方差，刻画了局部曲率或参数敏感性。在自然梯度方法中，用Fisher信息矩阵的逆作为度量矩阵来缩放梯度，可使更新方向在分布空间而非欧氏参数空间中更速下降。OC-OPD的恒等式将两种KL梯度的耦合表述为“对数it梯度的Fisher逆度量耦合”，意味着它利用Fisher逆来协调学生和教师分布上的梯度，使得不同正分布（教师分布和学生分布）能够找到一个共同的局部下降方向。这一构造把KL蒸馏的梯度更新与信息几何中的自然梯度联系起来，为闭式协商提供了理论基础。

从观测到更新：偏好、协商与缩放

在得到观测之后，OC-OPD分三步完成更新。观测用于设定偏好，决定当前状态下更应信任哪一类信号；随后通过闭式协商（closed-form bargaining）来协调前向与反向KL的梯度，避免手工调参式的权重搜索；最后用分布差异对更新幅度进行缩放，让不同前缀处的监督强度自适应变化。

这套流程的价值在于可解释性：每一步都有明确的统计含义，而不是黑箱式的损失拼接。对于需要稳定训练的研究场景，这种结构化的协调方式比网格搜索KL权重更可控。

三种学生设定下的实验表现

论文在三种异构的学生设定下评估OC-OPD：非思考生成、思考生成，以及基座模型初始化。结果显示，OC-OPD在数学推理任务上取得了明显增益，并能有效迁移到分布外的科学问答和代码生成任务。

这种跨设定的一致性值得关注——on-policy蒸馏的一个常见痛点是超参对模型类型敏感，换一种学生初始化就需要重新调权重。OC-OPD用观测驱动的偏好和闭式协商替代了部分手工调参，可能是其在不同设定下都能奏效的原因之一。不过论文摘要未披露具体提升幅度和基线对比细节，实际效果仍需结合实验章节判断。

简评

OC-OPD的理论贡献在于给出了两种KL梯度耦合的精确恒等式，把“为什么两种散度可以协同”从直觉层面推进到可推导的层面。工程上，它提供了一个无需大量权重搜索的on-policy蒸馏方案。对做模型压缩和推理能力迁移的团队来说，这是一个值得复现的思路。

代码地址：https://github.com/RuoranXu/OC-OPD