SVD

任意m×n矩阵A可以分解为 A = U·Σ·Vᵀ，其中U是m×m正交矩阵，Σ是m×n对角矩阵，Vᵀ是n×n正交矩阵的转置

PCA等价于对数据协方差矩阵进行特征值分解，若对中心化数据矩阵X进行SVD得到X=UΣVᵀ，则右奇异向量V就是PCA的主成分方向，奇异值的平方除以样本数就是各主成分对应的方差

对投影矩阵 W 做 SVD 分解，得到 512 个非零奇异值对应的文本子空间和 256 个零奇异值对应的零空间方向。

PRSR的低秩子空间估计通过对平行句对残差向量组成的矩阵做SVD或PCA，取前k个奇异向量张成子空间，并将最后一层token隐藏状态投影到该子空间的正交补上。

对预训练模型的键和值权重做奇异值分解（SVD），可将其因子化为降维投影（编码器）和升维投影（解码器），把标准注意力转换成类似多头潜在注意力（MLA）的低秩缓存结构

低秩分解通常借助奇异值分解（SVD）实现，参数量从m×n降至r×(m+n)

AttSVD是一种无需重新训练的KV缓存压缩方案，通过注意力引导的SVD在特征轴上对KV缓存进行低秩压缩

Muon 对权重矩阵的 SGD 动量梯度应用矩阵符号函数，即对矩阵做 SVD 后将所有奇异值置为1，等价于找到与梯度矩阵最接近的正交矩阵

低秩近似的数学基础来自线性代数中的奇异值分解（SVD），可用两个低维矩阵乘积U·V^T近似有效秩较小的矩阵

早期的潜在语义分析（LSA）通过对词-文档矩阵进行 SVD 来捕捉词语之间的语义关系

SVD将任意m×n矩阵A分解为A=UΣVᵀ的形式，其中U和V是正交矩阵，Σ是对角矩阵，齐次方程Ah=0的解是V的最后一列

求解单应性矩阵最经典的方法是DLT（Direct Linear Transform）算法：将透视方程转化为齐次线性方程组Ah=0，通过SVD（奇异值分解）取最小奇异值对应的右奇异向量求解；超过4对点时给出最小二乘最优解。

Σ对角线上的奇异值按从大到小排列

SVD（奇异值分解）对任意形状的矩阵都适用，不要求方阵，且对任何矩阵都必然存在

SVD在协同过滤推荐系统中可将用户-物品评分矩阵映射到低维潜在因子空间，从而预测用户对未评分物品的偏好，其变体包括SVD++、时序SVD等

SVD的思想连接着PCA、LSA、矩阵补全、低秩近似等一系列机器学习核心技术，深度学习中的低秩适配（LoRA）是一种高效微调大模型的技术

潜在语义分析（LSA）诞生于1988年，通过对词-文档矩阵（通常经TF-IDF加权）进行SVD并保留前k个奇异值，将词和文档映射到k维语义空间

SVD中Σ对角线上的奇异值按从大到小排列，最大的奇异值对应数据中最重要的变化方向，较小的奇异值往往对应噪声或次要信息

对一张1000×1000的灰度图像保留前50个奇异值只需存储约10万个数值（50×1000+50+50×1000），压缩率达到约10:1

Eckart-Young-Mirsky定理证明，在所有秩为k的矩阵中，由SVD前k个奇异值构成的截断近似矩阵是在Frobenius范数意义下对原矩阵的最佳近似