概念low-rank approximation / 低秩分解
低秩近似
用秩远小于原矩阵维度的分解来近似原矩阵的数学方法,可大幅降低计算量,常用形式为H≈U·M·U^T
时间轴 (近 90 天)
11月3日
上下文越长,KV缓存越大,低秩近似的误差累积越明显,逐分区拟合容易在跨卡聚合时放大偏差。
待验证50%
10月12日
相比全秩(无低秩近似)方案,VPU 在 dim=256 下 200 步从 4249ms 降到 160ms,实现了 26.44 倍加速。
待验证50%
10月8日
潜因子分解的思路是假设权重矩阵存在冗余和低秩结构,用一组更小的潜因子加上索引或组合方式重建原始权重
待验证50%
9月11日
低秩近似的数学基础来自线性代数中的奇异值分解(SVD),可用两个低维矩阵乘积U·V^T近似有效秩较小的矩阵
待验证50%
9月11日
架构层面的优化(如GQA)与推理期优化(如低秩近似、量化)是正交的,可以叠加使用
待验证50%