LoRAForge：压缩与执行协同，让多LoRA服务更高效

多LoRA服务允许众多任务专用适配器共享同一个基础模型，从而大幅降低存储与部署成本。然而，当适配器数量扩展到成千上万时，存储、加载与执行开销便会急剧上升。后置压缩虽然能减小已训练LoRA适配器的内存占用，但更小的秩并不自动带来更快的服务速度——填充、因子访问、通用内核等问题会掩盖保留下来的低秩结构，而独立重新压缩数千个模块也会带来显著的准备开销。

针对这一矛盾，研究者提出了LoRAForge，一个通过显式保留秩表示将批量因子构造与秩特化执行连接起来的系统。该系统支持两种分配策略：统一保留比例（LoRAForge-U）和谱能量预算分配（LoRAForge-S）。两者共享FlashTSQR因子构造方法和相同的服务后端。FlashTSQR利用模块间和行块间的并行性，相比匹配的库QR加速因子构造最高达2.28倍。在固定工作量的Qwen对照实验中，共享运行时为两种压缩策略带来1.17–1.22倍的吞吐量提升，而在原始适配器上增益可以忽略不计。在85个已训练的开源权重Qwen和Llama适配器上，谱策略的下限质量配置仅保留约7.7%的适配器参数，而 fleet 平均分数下降在0–100分制下至多1.2分。同样的秩下限1/12谱导出在AMD和NVIDIA GPU上均实现了可观的token吞吐量提升。

多LoRA服务的瓶颈：存储、加载与执行

随着个性化AI应用爆发，为每个任务训练一个LoRA适配器成为常见做法——从代码生成到客服对话，从文案创作到领域问答。但部署时，每个适配器都需要存储、加载到GPU内存，并在推理时执行。当适配器数量达到数百甚至数千时，存储成本线性增长，加载延迟难以忽视，而执行时的内核调度和内存访问模式可能变得低效。尤其当适配器经过后置压缩（如降秩）后，问题反而可能恶化：为了适配硬件，内核可能对秩进行填充，或者使用通用矩阵乘法内核，导致实际执行时无法利用压缩带来的稀疏低秩结构，出现“压缩了但没变快”的尴尬局面。

LoRAForge的出发点正是打破这种“压缩与执行脱节”的现状。它没有将压缩视为一个独立的离线步骤，而是将压缩决策与执行后端协同设计，确保保留的秩结构能在服务时被有效利用。

LoRA（Low-Rank Adaptation） 是一种参数高效微调方法，它冻结预训练模型权重，在每层旁路注入两个可训练的低秩矩阵（A 和 B），用其乘积近似权重更新量。因此单个适配器通常只有原模型 0.1%–1% 的参数量，但推理时需将低秩乘积加回原权重或单独计算分支。多 LoRA 服务则是在同一基础模型上动态挂载多个（甚至数千个）任务的适配器，按请求切换或组合，以共享底座成本。其核心挑战在于：适配器数量增长带来显存的线性占用、按需加载的延迟，以及不同秩适配器混跑时的批处理效率。

后置压缩（post-hoc compression） 指在 LoRA 训练完成后，对已学到的低秩因子再次降秩或重构，以进一步减少存储。但降秩后的矩阵若在 GPU 上被填充到固定对齐尺寸（如 8 的倍数）或走通用 GEMM 内核，低秩结构就无法转化为实际的计算节省——这正是文中“压缩了但没变快”的根源。

LoRAForge的核心设计：显式保留秩表示与双策略

LoRAForge的核心是一个显式的“保留秩”表示。通过后置压缩从原始LoRA模块中提取出低秩因子后，系统以该表示为基础进行后续执行，而不是回退到原始稠密矩阵。这避免了因重新展开或填充而抵消压缩收益。

系统提供两种分配策略：

• LoRAForge-U（统一保留比例）：对所有模块采用相同的保留秩比例，简单直接，适合对质量均匀性要求较高的场景。
• LoRAForge-S（谱能量预算分配）：根据每个模块的谱能量分布动态分配秩预算，在总预算约束下更精细地保留重要信息。实验表明，该策略能在保持质量的同时，将参数量压缩到极低水平。

两种策略共享同一个后端，因而可以在同一套服务基础设施上灵活切换，降低了部署复杂度。

谱能量（spectral energy） 指矩阵奇异值的平方和分布，反映各奇异向量方向承载的信息量。LoRAForge-S 按模块的谱能量累积曲线分配秩预算：能量集中（少数奇异值占主导）的模块可用更低的秩近似而不损失精度，能量分散的模块则保留更多秩。这种分配在总参数预算固定时，比统一比例更能保住对任务关键的方向。

秩特化内核 是为特定秩值（如 4、8、16）编译或调优的矩阵乘/融合内核，避免通用内核的填充与分支开销。FlashTSQR 中的 TSQR 即“Tall-and-Skinny QR”，一种面向行数远大于列数的矩阵的分块 QR 分解算法，通过先对行块做局部 QR 再归并，天然适合并行化——这正是它能在数千模块上加速因子构造的原因。

FlashTSQR：批量因子构造的加速器

后置压缩需要从原始LoRA矩阵中分解出低秩因子，常用的QR分解在模块数量庞大时成为准备阶段的瓶颈。LoRAForge设计了FlashTSQR，利用模块间和行块间的并行性来加速QR分解。在论文实验中，FlashTSQR相比匹配的库QR实现最高2.28倍的加速。这意味着面对数千个适配器模块时，压缩准备时间不再是不可承受的负担。

FlashTSQR与保留秩表示、执行后端共同构成了一套端到端的流水线：从原始适配器到压缩因子，再到服务时的秩特化内核，每一步都为下一步优化。

实测效果：压缩率与质量、吞吐的双赢

在85个已训练的开源权重Qwen和Llama适配器上，LoRAForge-S策略的“下限质量”配置仅保留约7.7%的适配器参数，而整体平均分数下降在0–100分制下至多1.2分。这意味着用户可以用不到十分之一的参数量获得几乎相同的任务表现。

更关键的是执行速度。在固定工作量的Qwen对照实验中，共享运行时为两种压缩策略带来1.17–1.22倍的吞吐量提升，而在原始适配器上增益可以忽略不计。这说明加速来自对压缩后秩结构的利用，而非运行时本身的通用优化。同样的秩下限1/12谱导出配置在AMD和NVIDIA GPU上均实现了可观的token吞吐量提升，展示了跨硬件平台的有效性。

对多LoRA部署的启示

LoRAForge的实践揭示了一个重要趋势：随着多LoRA服务从实验走向生产，单纯追求压缩率或单纯优化执行内核都不够，必须将两者协同设计。后置压缩若不考虑执行时的数据布局和内核特性，可能只是节省了存储却无法提升吞吐；而执行优化若不理解压缩后的结构，也难以发挥低秩的潜力。

对于正在构建多租户AI服务的团队，LoRAForge提供了可借鉴的思路：在压缩阶段保留显式的秩信息，并针对不同秩设计特化内核，同时利用并行化加速预处理。随着适配器舰队规模持续扩大，这种跨层协同的方法有望成为高效服务的基础设施。