待验证50% 置信事实精确时间
传统知识蒸馏采用off-policy方式，让学生模仿教师在固定数据集上的输出分布，导致暴露偏差（exposure bias）。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
SPTA：让学生前缀教会老师如何指导
rss2026/11/2
涉及实体
相关事实
待验证On-policy蒸馏在学生自身生成的轨迹上施加教师监督，能更好应对exposure bias问题78% 相似待验证exposure bias的根源在于训练与推理的分布不匹配，训练时使用teacher forcing策略而推理时模型依赖自身生成的token71% 相似待验证arXiv论文《Imprinting: Knowledge Distillation Can Shift Student Behavior》发现，即使蒸馏任务与安全无关，教师模型的安全倾向仍会迁移到学生模型；当教师对有害请求持接受态度时，蒸馏出的学生会明显降低危害规避能力。71% 相似待验证特权信息对 critic 价值预测准确度在响应末尾更强，而自教师引导信号呈现开头强、中间衰减、结尾回升的模式。68% 相似待验证强化学习与监督学习的根本区别在于，数据分布会随智能体行为而变化，迫使其应对自身行动带来的后果68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1130757API
curl https://kongchang.com/api/v1/knowledge/claims/1130757MCP
get_claim(id=1130757)