在线策略蒸馏
大模型训练中的一种蒸馏技术路线，让学生模型在训练过程中持续用自身当前策略生成响应，再由教师模型对这些响应打分或提供概率监督，使学生模型学习改进自身当前错误
核心事实
时间轴 (近 90 天)
在监督微调阶段，Accordion通过参数组合并和预算匹配的多教师在线策略蒸馏，将三个领域专家集成到一个模型中。
在线策略蒸馏的训练数据由学生当前策略与环境交互产生，状态分布随学生策略更新而变化，与 DAgger 思想一脉相承，可缓解分布偏移。
ASTEROID 的训练流程分为两步：学生模型仅依赖历史观测收集在线交互轨迹；特权专家在可看到真实隐藏状态的条件下，基于学生的历史上下文提供动作标签进行蒸馏。
研究者发现，即使从学生偏离最大的状态出发，教师自己的接管（takeover）仍能完成任务，而学生基于教师逐词评分训练后却常常耗尽回合。
OPD不需要任务成功/失败的奖励信号，只依赖教师的逐词监督，因此属于奖励免费方法。
在线策略蒸馏（On-Policy Distillation, OPD）的核心难题是如何从教师模型中提取有效的监督信号，传统方法依赖token概率或直接对齐隐藏状态，各有局限：token概率可能低估教师内部知识，直接对齐隐藏状态会迫使迁就教师特征空间，跨架构迁移时尤为棘手。
Token级在线策略蒸馏将学生模型的隐藏状态与教师信号对齐，并加入门控机制进行信用分配，在数学和工具使用基准上取得提升。
RM-OPD的关键机制是在学生自己生成的critique上施加token级密集监督，使监督分布与学生当前策略分布一致，缓解训练与推理分布错配问题。
arXiv论文《RM-OPD: On-Policy Distillation for Generative Reward Models》提出两阶段流程：先训练多个领域专用奖励模型教师，再通过路由式在线策略蒸馏整合进一个生成式学生模型，该统一学生模型据称超越了它所有被蒸馏的专家教师。
在线策略蒸馏（OPD）让学生模型自己生成轨迹，再由教师模型在这些轨迹上提供监督信号
还有 3 条时间轴事件
全部知识事实 (13)
模型蒸馏是指通过大量查询目标模型、收集其输入输出对，进而训练出能力相近的学生模型
75%已验证在线策略蒸馏（OPD）让学生模型自己生成训练响应，再由教师模型提供监督信号
75%待验证在监督微调阶段，Accordion通过参数组合并和预算匹配的多教师在线策略蒸馏，将三个领域专家集成到一个模型中。
50%待验证在线策略蒸馏的训练数据由学生当前策略与环境交互产生，状态分布随学生策略更新而变化，与 DAgger 思想一脉相承，可缓解分布偏移。
50%待验证ASTEROID 的训练流程分为两步：学生模型仅依赖历史观测收集在线交互轨迹；特权专家在可看到真实隐藏状态的条件下，基于学生的历史上下文提供动作标签进行蒸馏。
50%待验证OPD不需要任务成功/失败的奖励信号，只依赖教师的逐词监督，因此属于奖励免费方法。
50%待验证研究者发现，即使从学生偏离最大的状态出发，教师自己的接管（takeover）仍能完成任务，而学生基于教师逐词评分训练后却常常耗尽回合。
50%待验证在线策略蒸馏（On-Policy Distillation, OPD）的核心难题是如何从教师模型中提取有效的监督信号，传统方法依赖token概率或直接对齐隐藏状态，各有局限：token概率可能低估教师内部知识，直接对齐隐藏状态会迫使迁就教师特征空间，跨架构迁移时尤为棘手。
50%待验证Token级在线策略蒸馏将学生模型的隐藏状态与教师信号对齐，并加入门控机制进行信用分配，在数学和工具使用基准上取得提升。
50%待验证RM-OPD的关键机制是在学生自己生成的critique上施加token级密集监督，使监督分布与学生当前策略分布一致，缓解训练与推理分布错配问题。
50%待验证arXiv论文《RM-OPD: On-Policy Distillation for Generative Reward Models》提出两阶段流程：先训练多个领域专用奖励模型教师，再通过路由式在线策略蒸馏整合进一个生成式学生模型，该统一学生模型据称超越了它所有被蒸馏的专家教师。
50%待验证在线策略蒸馏（OPD）让学生模型自己生成轨迹，再由教师模型在这些轨迹上提供监督信号
50%待验证2.0 改用在线策略蒸馏，模型自己生成回复由教师模型对每个 token 打分，设置了两个教师（初版模型加隐藏真人指令负责聊天，纯基础模型负责指令遵循/工具调用/代码）
50%