待验证50% 置信观点精确时间
On-Policy Distillation (OPD) 已成为缓解学生模型暴露偏差的主流手段。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/3
首次发现
有效期至：2027/2/1
来源
SPTA：让学生前缀教会老师如何指导
rss2026/11/2
涉及实体
相关事实
已验证在线策略蒸馏（OPD）让学生模型自己生成训练响应，再由教师模型提供监督信号72% 相似待验证在线策略蒸馏（On-Policy Distillation, OPD）的核心难题是如何从教师模型中提取有效的监督信号，传统方法依赖token概率或直接对齐隐藏状态，各有局限：token概率可能低估教师内部知识，直接对齐隐藏状态会迫使迁就教师特征空间，跨架构迁移时尤为棘手。72% 相似待验证OC-OPD用观测驱动的偏好和闭式协商替代了部分手工调参，可能是其在不同学生设定下都能奏效的原因之一。69% 相似待验证RM-OPD的关键机制是在学生自己生成的critique上施加token级密集监督，使监督分布与学生当前策略分布一致，缓解训练与推理分布错配问题。69% 相似待验证MoPD（Mixture of Policy Distillation）将针对不同任务独立训练的专家策略通过蒸馏方式合并进一个统一模型63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1130751API
curl https://kongchang.com/api/v1/knowledge/claims/1130751MCP
get_claim(id=1130751)