概念Self-Distillation Fine-Tuning
SDFT
自蒸馏微调，在微调阶段引入自蒸馏目标，让学生模型同时拟合任务数据和教师软标签，利用EMA教师提供稳定监督信号
时间轴 (近 90 天)
11月2日
在SDFT设置下基于Qwen2.5-7B-Instruct，Muon-RT相比AdamW平均准确率提升2.6个百分点，同时持久内存减少42%。
待验证50%
11月2日
在SDFT设置下基于Qwen2.5-7B-Instruct，Muon-RT相比带动量的Muon平均准确率提升5.4个百分点，持久内存减少27%。
待验证50%
10月27日
SDFT指Self-Distillation Fine-Tuning，即在微调阶段引入自蒸馏目标，教师与学生同步演化，属于在线自蒸馏范畴。
待验证50%
9月12日
自蒸馏的三种主要方法为自蒸馏微调（SDFT）、自蒸馏偏好优化（SDPO）和在策略自蒸馏
待验证50%