块正交性

由于严格正交的方阵会失去一半的自由度，研究者研究了块正交性，即每d行构成一个行正交（Stiefel）矩阵，块大小d为超参数。

实验表明，在从1到矩阵较短边的块大小范围内，没有任何d>1的设置能在整个网络中可靠地优于d=1，而且大块明显更差。

研究者还在ImageNet上训练的扩散Transformer上进行了实验，得到了同样的两个发现：块正交性没有带来额外收益，而球面优化已经足够。