On-policy distillation
一种知识蒸馏范式，学生模型在自身当前参数下实时采样生成的轨迹上接受教师模型的token级监督，与离线蒸馏（学习固定序列）相对，旨在实现训练与推理时的分布对齐。
时间轴 (近 90 天)
On-policy distillation（OPD）是一种知识蒸馏变体，训练数据由学生模型在当前参数下实时生成，教师模型对自生成回答逐token提供概率分布作为监督信号。
在长序列O D P场景中，当学生生成的前缀偏离教师自身推理路径时，教师对后续token的反馈质量会显著下降，基于这些反馈的参数更新会强化偏离，形成恶性循环导致训练不稳定。
On-policy distillation（在线策略蒸馏）的训练数据由学生模型在当前参数下实时采样生成，而非预先准备好的固定语料，这与离线蒸馏形成对比
论文发现：当学生的轨迹走向错误方向时，教师不会纠正错误，反而会顺着学生的错误继续续写，即教师具备识别错误的能力但缺乏跳出错误的能力
作者建议：不要默认教师在任何前缀下都可靠，应先测试教师在学生错误轨迹上的表现，如果它只会附和，则监督信号本身就是噪声
全部知识事实 (5)
On-policy distillation（OPD）是一种知识蒸馏变体，训练数据由学生模型在当前参数下实时生成，教师模型对自生成回答逐token提供概率分布作为监督信号。
50%待验证在长序列O D P场景中，当学生生成的前缀偏离教师自身推理路径时，教师对后续token的反馈质量会显著下降，基于这些反馈的参数更新会强化偏离，形成恶性循环导致训练不稳定。
50%待验证On-policy distillation（在线策略蒸馏）的训练数据由学生模型在当前参数下实时采样生成，而非预先准备好的固定语料，这与离线蒸馏形成对比
50%待验证论文发现：当学生的轨迹走向错误方向时，教师不会纠正错误，反而会顺着学生的错误继续续写，即教师具备识别错误的能力但缺乏跳出错误的能力
50%待验证作者建议：不要默认教师在任何前缀下都可靠，应先测试教师在学生错误轨迹上的表现，如果它只会附和，则监督信号本身就是噪声
50%