概念在线策略蒸馏 / on-policy distillation
on-policy蒸馏
一种知识蒸馏范式，学生模型先生成前缀序列，教师模型再对这些学生生成的前缀进行打分，从而提供监督信号
时间轴 (近 90 天)
11月3日
OC-OPD是一种on-policy蒸馏方法，用四观测矩阵协调前向KL与反向KL的梯度，避免手工权重搜索。
待验证50%
10月25日
常见的蒸馏形式包括logits蒸馏、中间层特征蒸馏以及on-policy蒸馏。
待验证50%
10月12日
Squint OPSD中教师在token层面的分布沿on-policy轨迹监督学生模型学习
待验证50%
10月12日
On-policy蒸馏在学生自身生成的轨迹上施加教师监督，能更好应对exposure bias问题
待验证50%