[控场AI]
概念low-rank approximation / 低秩分解

低秩近似

用秩远小于原矩阵维度的分解来近似原矩阵的数学方法,可大幅降低计算量,常用形式为H≈U·M·U^T

时间轴 (近 90 天)

11月3日

上下文越长,KV缓存越大,低秩近似的误差累积越明显,逐分区拟合容易在跨卡聚合时放大偏差。

待验证50%
10月12日

相比全秩(无低秩近似)方案,VPU 在 dim=256 下 200 步从 4249ms 降到 160ms,实现了 26.44 倍加速。

待验证50%
10月8日

潜因子分解的思路是假设权重矩阵存在冗余和低秩结构,用一组更小的潜因子加上索引或组合方式重建原始权重

待验证50%
9月11日

低秩近似的数学基础来自线性代数中的奇异值分解(SVD),可用两个低维矩阵乘积U·V^T近似有效秩较小的矩阵

待验证50%
9月11日

架构层面的优化(如GQA)与推理期优化(如低秩近似、量化)是正交的,可以叠加使用

待验证50%

全部知识事实 (5)

来源文章