待验证50% 置信事实精确时间
Muon-RT的处理流程为：对教师-学生位移去除径向分量，进行谱归一化，然后在Newton-Schulz正交化之后将其与当前梯度混合。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证Muon对动量更新后的矩阵做正交化处理（如通过Newton-Schulz迭代近似极分解），常被用于大规模语言模型训练。72% 相似已验证蒸馏技术让学生模型学习并复现教师的多步生成轨迹，将数百步的生成过程压缩到几步64% 相似待验证谱教师方法利用图拉普拉斯矩阵的谱分解（特别是Fiedler向量）来推导节点的连续排序。61% 相似待验证SMD 引入了一个名为 Pivot 的残差代理，其作用是把局部修正从学生的区间均值预测中分离出来：学生负责预测整个区间的平均速度，Pivot 负责建模区间内部的残差波动。60% 相似已验证本实验采用轨迹级蒸馏，属于行为克隆范畴，直接让学生模型模仿教师模型的外在行为序列60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1125151API
curl https://kongchang.com/api/v1/knowledge/claims/1125151MCP
get_claim(id=1125151)