#自蒸馏

共 5 篇相关文章

Muon-RT提出复用教师-学生位移替代独立动量缓冲，在自蒸馏训练中消除持久内存开销。在Qwen2.5-7B-Instruct上SDFT设准确率超AdamW 2.6个点、省42%内存，超动量Muon 5.4个点、省27%内存。

论文提出MTA-OPSD，首个Token级自适应On-policy自蒸馏方法。通过多教师池让每个Token自选教师，在Qwen3数学推理任务上平均增益最高+5.9，优于现有OPSD方法。

APSD提出正确性依赖的非对称自蒸馏目标：正确rollout用插值保留成功行为，错误rollout用外推强化纠正，在Qwen3模型上以2.6倍更少训练步数达到SDPO性能。

SpatialOPSD 通过自蒸馏将特权深度信息内化到 RGB 单次前向推理，在 Qwen3.5‑9B 上把准确率从 45.9 提升到 51.9，保留教师模型 91% 性能，同时消除外部工具调用的运行时开销，优于 SFT 与 GRPO。

UniEvo-VL 提出用自蒸馏训练实现多模态模型的自我改进。本文解读自蒸馏在视觉语言模型中的工作机制、潜力与局限，探讨这一自我进化路线能否破解图文数据标注瓶颈。