待验证50% 置信事实精确时间
论文《CoRD: Coupled Rollouts Fill the Blind Spot of On-Policy Distillation》提出了耦合轨迹蒸馏（CoRD）方法，旨在不放弃在线损失的前提下把训练状态的分布主动推向教师一侧。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/6
首次发现
有效期至：2027/2/4
来源
涉及实体
相关事实
待验证在线策略蒸馏（On-Policy Distillation, OPD）的核心难题是如何从教师模型中提取有效的监督信号，传统方法依赖token概率或直接对齐隐藏状态，各有局限：token概率可能低估教师内部知识，直接对齐隐藏状态会迫使迁就教师特征空间，跨架构迁移时尤为棘手。74% 相似待验证CoRD 的设计使替换强度随训练自动退火：随着学生逐渐学会教师偏好的 token，两个分布趋于一致，替换自然减少。69% 相似待验证On-policy蒸馏要求学生先生成自己的prefix轨迹，再由教师在学生实际到达的状态上给出指导，因此状态分布对齐，在长周期、误差易累积的任务上通常更稳定。67% 相似待验证On-Policy Distillation (OPD) 已成为缓解学生模型暴露偏差的主流手段。66% 相似待验证On-policy distillation（在线策略蒸馏）的训练数据由学生模型在当前参数下实时采样生成，而非预先准备好的固定语料，这与离线蒸馏形成对比66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1141696API
curl https://kongchang.com/api/v1/knowledge/claims/1141696MCP
get_claim(id=1141696)