Muon-RT
一种针对大语言模型自蒸馏训练的优化器改进方法，通过复用EMA教师与学生之间的参数位移替代动量缓冲，减少持久内存占用并保持收敛性。
时间轴 (近 90 天)
Muon-RT通过复用EMA教师与学生模型之间的参数位移来替代独立动量缓冲，从而消除隐藏权重矩阵的动量缓冲，实现更省内存的自蒸馏训练。
Muon-RT的处理流程为：对教师-学生位移去除径向分量，进行谱归一化，然后在Newton-Schulz正交化之后将其与当前梯度混合。
Muon-RT的设计与Muon原有的Newton-Schulz正交化流程保持兼容，改动集中在动量项的来源上而非整体优化框架。
Muon-RT论文在明确的正则性和对齐假设下，建立了期望目标差距界向残差误差水平线性收缩的收敛结论。
Muon-RT的收敛保证依赖于对齐假设，即要求教师位移与当前梯度的内积不为负；若教师滞后过久、与学生当前走向严重背离，假设可能被破坏。
在SDFT设置下基于Qwen2.5-7B-Instruct，Muon-RT相比AdamW平均准确率提升2.6个百分点，同时持久内存减少42%。
在SDFT设置下基于Qwen2.5-7B-Instruct，Muon-RT相比带动量的Muon平均准确率提升5.4个百分点，持久内存减少27%。
在SDPO设置下基于Olmo-3-7B-Instruct，Muon-RT相比AdamW平均准确率提升2.0个百分点。
Muon-RT目前实验集中在7B量级模型上，更大规模下的表现还有待观察。
全部知识事实 (9)
Muon-RT通过复用EMA教师与学生模型之间的参数位移来替代独立动量缓冲，从而消除隐藏权重矩阵的动量缓冲，实现更省内存的自蒸馏训练。
50%待验证Muon-RT的处理流程为：对教师-学生位移去除径向分量，进行谱归一化，然后在Newton-Schulz正交化之后将其与当前梯度混合。
50%待验证Muon-RT的设计与Muon原有的Newton-Schulz正交化流程保持兼容，改动集中在动量项的来源上而非整体优化框架。
50%待验证Muon-RT论文在明确的正则性和对齐假设下，建立了期望目标差距界向残差误差水平线性收缩的收敛结论。
50%待验证Muon-RT的收敛保证依赖于对齐假设，即要求教师位移与当前梯度的内积不为负；若教师滞后过久、与学生当前走向严重背离，假设可能被破坏。
50%待验证在SDFT设置下基于Qwen2.5-7B-Instruct，Muon-RT相比AdamW平均准确率提升2.6个百分点，同时持久内存减少42%。
50%待验证在SDFT设置下基于Qwen2.5-7B-Instruct，Muon-RT相比带动量的Muon平均准确率提升5.4个百分点，持久内存减少27%。
50%待验证在SDPO设置下基于Olmo-3-7B-Instruct，Muon-RT相比AdamW平均准确率提升2.0个百分点。
50%待验证Muon-RT目前实验集中在7B量级模型上，更大规模下的表现还有待观察。
50%