正交约束对LLM预训练真的有帮助吗？大规模实证研究给出否定答案

正交约束的热潮与预训练空白

近年来，大量工作报告了在大型语言模型（LLM）微调阶段使用正交约束带来的收益。这些结果自然引出一个问题：正交约束是否同样有助于LLM的预训练？据一项系统性实证研究，研究者在360M到3.1B参数的仅解码器LLM上，使用近200B token进行预训练，考察了十四种正交训练变体，最终得出结论：在所尝试的实现中，行与行之间的正交性除了球面优化（sphere optimization）之外，对语言模型预训练并无额外帮助。

这一结论与先前多项报告正交性改进的工作形成冲突，促使研究者重新审视了五个在先前的预训练和微调中报告正交性改进的方法。他们发现，在每种情况下，所报告的增益都可归因于数值精度、训练时长、优化器实现或逐行范数控制，而非方法所施加的正交性本身。

十四种变体与块正交性的探索

研究涵盖了十四种正交训练变体：一些直接约束权重矩阵本身，另一些则使用正交因子对权重矩阵进行重参数化。由于严格正交的方阵会失去一半的自由度，研究者还研究了块正交性（block-wise orthogonality），即每(d)行构成一个行正交（Stiefel）矩阵，块大小(d)是一个超参数。

实验表明，在从1到矩阵较短边的块大小范围内，没有任何(d>1)的设置能在整个网络中可靠地优于(d=1)，而且大块明显更差。唯一有帮助的放置方式——在查询（query）和键（key）投影上使用对称正定因子——其微小增益随着模型增大而消失。

当(d=1)时，约束退化为球面优化，即每一行的方向位于各自的单位球面上，这本身已经优于调优后的Muon优化器。

交叉验证：扩散Transformer与微调结果

为了检验结论的普适性，研究者还在ImageNet上训练的扩散Transformer上进行了实验，得到了同样的两个发现：块正交性没有带来额外收益，而球面优化已经足够。此外，在微调之后，下游准确率并不能区分不同的参数化方式。

这些结果在多模型架构和任务上保持一致，增强了“正交性无额外增益”这一结论的可信度。

重新审视先前工作：增益从何而来？

既然结论与先前多项工作冲突，研究者仔细复查了五个报告正交性改进的方法。分析显示，这些方法所报告的增益实际上源于：

• 数值精度：不同精度下的计算差异可能被误认为是正交约束的功劳。
• 训练时长：更长的训练时间带来的提升被错误归因。
• 优化器实现：优化器内部实现细节的差异导致结果不同。
• 逐行范数控制：对每行范数的控制而非正交性本身带来了改进。

换言之，正交约束的“好处”在预训练场景下并未得到严格验证。

对LLM训练实践的启示

这项研究提醒我们，在将正交约束引入LLM预训练时需要谨慎。球面优化（即(d=1)的行归一化）已经能够提供优于Muon优化器的效果，而更复杂的正交约束并未带来额外收益，反而可能增加计算开销。对于实践者而言，若目标是提升预训练效率，优先考虑球面优化可能是更简单且有效的选择。

同时，该研究也强调了在报告经验性增益时，需要严格控制变量，区分数值精度、训练时长等因素的影响，避免将无关因素误归因于方法本身。

结论

这项大规模实证研究系统地检验了正交约束在LLM预训练中的作用，覆盖从360M到3.1B参数、近200B token的训练，以及扩散Transformer的交叉验证。结果表明，行正交性除了球面优化之外，对预训练没有额外帮助，而先前报告的增益可归因于其他因素。这一发现对LLM训练方法的设计和评估具有重要参考价值。