ATI-OPD
一种用于长序列知识蒸馏的教师干预方法，通过定位并替换学生与教师早期分歧片段，并在持续分歧时排除失效后缀，从而稳定训练并提升学生独立推理能力。
时间轴 (近 90 天)
来自arXiv的论文提出Adaptive Teacher Intervention for On-Policy Distillation（ATI-OPD）方法，通过修正学生推理前缀来改善教师指导。
ATI-OPD的具体做法分两步：第一步定位学生与教师分歧最早的片段并用简短的教师推理替换，让学生从修正后文本继续自主推理；第二步若学生再次分歧，将持续偏离的后缀从蒸馏损失中排除但保留学生后续有用内容。
ATI-OPD的动态干预与静态截断有本质区别：它保留了长序列推理的连续性，同时避免错误前缀对后续学习的污染。
论文的训练诊断显示，ATI-OPD带来了三个可观测改善：教师与学生之间的分歧减少、梯度尖峰次数下降、极端长回答的数量减少。
ATI-OPD通过在前缀层面修正偏差并把持续分歧的后缀排除出损失，使异常梯度的产生条件本身减少，因此梯度尖峰次数下降可作为训练稳定性改善的直接证据。
论文在五个数学推理基准和两组教师-学生模型对上评估了ATI-OPD，结果显示其相比标准OPD提升了学生单独推理时的平均准确率，提升覆盖多个基准和模型对。
ATI-OPD对需要长链条推理的蒸馏任务（如数学、代码生成、多步规划）具有直接的参考意义。
全部知识事实 (7)
论文的训练诊断显示，ATI-OPD带来了三个可观测改善：教师与学生之间的分歧减少、梯度尖峰次数下降、极端长回答的数量减少。
50%待验证ATI-OPD的具体做法分两步：第一步定位学生与教师分歧最早的片段并用简短的教师推理替换，让学生从修正后文本继续自主推理；第二步若学生再次分歧，将持续偏离的后缀从蒸馏损失中排除但保留学生后续有用内容。
50%待验证ATI-OPD的动态干预与静态截断有本质区别：它保留了长序列推理的连续性，同时避免错误前缀对后续学习的污染。
50%待验证ATI-OPD对需要长链条推理的蒸馏任务（如数学、代码生成、多步规划）具有直接的参考意义。
50%待验证ATI-OPD通过在前缀层面修正偏差并把持续分歧的后缀排除出损失，使异常梯度的产生条件本身减少，因此梯度尖峰次数下降可作为训练稳定性改善的直接证据。
50%待验证论文在五个数学推理基准和两组教师-学生模型对上评估了ATI-OPD，结果显示其相比标准OPD提升了学生单独推理时的平均准确率，提升覆盖多个基准和模型对。
50%待验证来自arXiv的论文提出Adaptive Teacher Intervention for On-Policy Distillation（ATI-OPD）方法，通过修正学生推理前缀来改善教师指导。
50%