Muon
由Jordan Juravsky等人专为矩阵参数设计的深度学习优化器，关键创新是在动量更新后对梯度矩阵做正交化处理，基于Nesterov动量与牛顿-舒尔茨迭代，在模型训练效率竞赛中表现出优于AdamW的收敛速度
时间轴 (近 90 天)
Muon-RT通过复用EMA教师与学生模型之间的参数位移来替代独立动量缓冲，从而消除隐藏权重矩阵的动量缓冲，实现更省内存的自蒸馏训练。
Muon-RT的设计与Muon原有的Newton-Schulz正交化流程保持兼容，改动集中在动量项的来源上而非整体优化框架。
在SDFT设置下基于Qwen2.5-7B-Instruct，Muon-RT相比带动量的Muon平均准确率提升5.4个百分点，持久内存减少27%。
Muon对动量更新后的矩阵做正交化处理（如通过Newton-Schulz迭代近似极分解），常被用于大规模语言模型训练。
Muon优化器与物理学中的μ子（muon）同名，导致搜索时物理内容混入。
MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量，而不固定权重范数。
原始Muon优化器在训练过程中累积有效学习率只能达到对数级增长，这可能限制模型的探索能力。
DP-Adam 是将 DP-SGD 的裁剪加噪步骤嵌入 Adam 优化器的动量估计中的隐私版本；DP-Muon 是针对矩阵参数使用 Muon 优化器（基于矩阵正交化更新）的隐私版本。
Muon的有效性可能不能简单归因于平均曲率下的梯度正交化，因为该解释在一般径向分布下极度不稳定。
Muon优化器用近似的极因子（polar factor）替代传统的矩阵梯度更新。
还有 9 条时间轴事件
全部知识事实 (20)
Muon优化器由Kosson等研究者提出，核心改进在于对梯度更新矩阵进行正交化处理
85%待验证在SDFT设置下基于Qwen2.5-7B-Instruct，Muon-RT相比带动量的Muon平均准确率提升5.4个百分点，持久内存减少27%。
50%待验证Muon-RT通过复用EMA教师与学生模型之间的参数位移来替代独立动量缓冲，从而消除隐藏权重矩阵的动量缓冲，实现更省内存的自蒸馏训练。
50%待验证Muon-RT的设计与Muon原有的Newton-Schulz正交化流程保持兼容，改动集中在动量项的来源上而非整体优化框架。
50%待验证Muon优化器与物理学中的μ子（muon）同名，导致搜索时物理内容混入。
50%待验证Muon对动量更新后的矩阵做正交化处理（如通过Newton-Schulz迭代近似极分解），常被用于大规模语言模型训练。
50%待验证MuonGS使用Gram-Schmidt投影移除每个Muon更新中的径向分量，而不固定权重范数。
50%待验证原始Muon优化器在训练过程中累积有效学习率只能达到对数级增长，这可能限制模型的探索能力。
50%待验证DP-Adam 是将 DP-SGD 的裁剪加噪步骤嵌入 Adam 优化器的动量估计中的隐私版本；DP-Muon 是针对矩阵参数使用 Muon 优化器（基于矩阵正交化更新）的隐私版本。
50%待验证零容量刚性（zero-capacity rigidity）表明：在无原子的连续径向分布下，精确的缩放极最优性仅当梯度本身已经是缩放列等距时才可能成立。
50%待验证在常见的连续径向分布下，ICM的平均曲率解释几乎无法为Muon的更新提供非平凡的支撑，Muon的最优性变得极其罕见。
50%待验证Muon的有效性可能不能简单归因于平均曲率下的梯度正交化，因为该解释在一般径向分布下极度不稳定。
50%待验证Muon优化器用近似的极因子（polar factor）替代传统的矩阵梯度更新。
50%待验证Isotropic Curvature Model（ICM）从曲率角度解释Muon的有效性：当梯度正交化最小化一步局部损失代理时，Muon的更新方向是合理的。
50%待验证Muon 优化器由 Jordan Juravsky 等人设计，专为矩阵参数设计，关键创新是在动量更新后对梯度矩阵做正交化处理
50%待验证在 NanoGPT Speedrun 中，Muon 通常只用于隐藏层的矩阵权重，而嵌入层和输出层仍保留 AdamW
50%待验证解码器和表格使用AdamW优化器（学习率1×10⁻⁵），循环权重使用Muon优化器（学习率0.005，动量0.95）
50%待验证Muon优化器由Jeremy Bernstein等人提出，核心思想是对梯度矩阵通过Newton-Schulz迭代执行正交化处理
50%待验证Muon的优异表现或许源于其在最坏情况下的优化性质，而非平均意义上的曲率匹配。
50%待验证Thinking Machines推出Dimuon优化器，为Muon变体，专为LoRA微调设计，已在Tinker中发布。
50%