低秩结构

低秩结构在神经网络权重研究中指权重矩阵往往具有较低的有效秩，其信息主要集中在少数奇异值方向上。

对权重空间编程而言，低秩结构意味着LLM无需生成完整的权重矩阵，只需输出少量低秩因子即可近似实现所需的权重修改。

后置压缩后，更小的秩并不自动带来更快的服务速度，因为填充、因子访问、通用内核等问题会掩盖保留下来的低秩结构。