球面优化

当d=1时，正交约束退化为球面优化，即每一行的方向位于各自的单位球面上，这本身已经优于调优后的Muon优化器。

研究者还在ImageNet上训练的扩散Transformer上进行了实验，得到了同样的两个发现：块正交性没有带来额外收益，而球面优化已经足够。

对于实践者而言，若目标是提升预训练效率，优先考虑球面优化可能是更简单且有效的选择。