LIRA：让LoRA动态秩分配更具可解释性

低秩适应（LoRA）已成为大模型参数高效微调的主流方法，但标准LoRA给所有层分配固定秩，忽略了不同层、不同训练阶段对适应能力的差异化需求。近期出现的自适应秩变体虽然尝试动态调整，却多依赖启发式规则或一阶信号，秩重分配与局部损失行为之间的联系间接而模糊。一篇来自rss的新论文提出LIRA（Loss-Informed Rank Allocation），试图让在线秩分配过程变得逐项可解释。

固定秩的局限与自适应秩的盲点

标准LoRA在每层注入相同秩的低秩矩阵，这种做法实现简单，却与神经网络的异质性相悖：浅层与深层、注意力与MLP对任务适应的敏感度并不一致。自适应秩方法试图弥补这一缺陷，但现有方案通常依据梯度范数或激活统计量来调整秩，这些信号与“当前秩是否足够”之间隔着多层非线性变换，导致每次秩变化难以追溯原因。LIRA的作者将这一痛点概括为：秩重分配的合理性缺乏足够可解释性。

LoRA 的秩（rank） 指注入的低秩矩阵 $\Delta W = BA$ 中 $A \in \mathbb{R}^{r \times d_{\text{in}}}$、$B \in \mathbb{R}^{d_{\text{out}} \times r}$ 的中间维度 $r$。$r$ 越大，可表达的更新子空间越宽、参数量越多；$r$ 越小则越省显存与计算。标准 LoRA 对所有适配层固定同一 $r$，因此“秩”本质上是一个全局超参数，提前一次性设定，训练中不再改变。自适应秩方法把 $r$ 视作按层、按阶段可变的资源分配问题，在总参数量预算下动态调整各层 $r$。理解这一点有助于看清：秩重分配的核心难点不是“调大调小”，而是在有限预算内判断哪一层的边际收益更高，这正是 LIRA 试图用损失信号回答的问题。

LIRA的核心机制：用损失扰动为每层打分

LIRA的关键设计在于评分信号的选择。它不直接使用梯度，而是在二阶近似下估计“近期LoRA因子移动所引起的局部损失扰动幅度”，以此作为每层的得分。由于该得分建立在损失函数的局部二次近似之上，每一次秩调整都可以追溯到具体的损失项贡献，从而在项级别上解释“为什么这一层被分配更多或更少的秩”。

在此基础上，LIRA周期性调用DELTA（Displacement-Evaluated Loss-Trajectory Allocation）算法。DELTA是一种基于位移的LoRA秩重分配算法，在总预算匹配的约束下产生离散的有效秩，同时保持与标准(A,B)适配器的兼容性——这意味着使用LIRA不需要改动下游推理或部署栈。

二阶近似 指用损失函数的 Hessian（或 Fisher 信息矩阵）局部刻画参数扰动引起的损失变化，典型形式为 $\Delta L \approx g^\top \Delta\theta + \tfrac{1}{2}\Delta\theta^\top H \Delta\theta$。相比只用一阶梯度 $g$，二阶项能反映损失曲面的局部曲率：在曲率大的方向移动代价高，在曲率小的方向移动代价低。LIRA 用这一近似估计“LoRA 因子移动造成的损失扰动幅度”，相当于给每层算出一个带曲率信息的敏感度分数。Fisher 信息矩阵是 Hessian 的期望近似，常被用作其可计算替代，这也是文中 Fixed-point Fisher 与 Trajectory EMA 两种估计方式可以相互比较的原因。

实验表现：优于均匀与自适应基线

论文在RoBERTa-base的GLUE基准上、遵循La-LoRA/LoRA协议进行了评估。结果显示，LIRA优于该协议下报告的均匀LoRA和自适应秩基线。值得关注的一个工程细节是，在损失扰动估计环节，Trajectory EMA（指数移动平均）以更低的估计成本达到了与Fixed-point Fisher具有竞争力的性能，这为实际部署中的开销控制提供了可选路径。

GLUE 是通用语言理解评估基准的集合，包含 CoLA、SST-2、MRPC、STS-B、QQP、MNLI、QNLI、RTE 等子任务，覆盖单句分类、句对分类与语义相似度回归，是 BERT/RoBERTa 类模型微调方法最常用的评测协议。RoBERTa-base 是 BERT 的改进预训练版本，约 1.25 亿参数，层数为 12。文中提到的 La-LoRA/LoRA 协议，指在固定超参搜索空间与评测流程下报告各子任务成绩并取平均，便于不同秩分配策略在同一口径下横向比较。中等规模设定意味着结论主要反映 base 级模型的行为，向更大模型外推时需谨慎。

可解释性与效率的平衡思路

LIRA的价值不只在于涨点，更在于它把“秩分配”从黑箱启发式推向有明确损失语义的决策过程。二阶近似带来的逐项归因，使研究者可以检查某一层的秩提升究竟对应了多大的损失改善预期，这在调试微调策略或向非 expert 解释模型行为时都有实际意义。同时，DELTA保持离散秩和预算匹配，避免了连续松弛带来的部署摩擦；Trajectory EMA则表明估计精度与计算成本之间存在可调的折中空间。

当然，当前验证集中在RoBERTa-base与GLUE这类中等规模设定上，LIRA在更大模型、更多任务类型上的表现仍有待观察。二阶近似的估计质量在训练剧烈变化阶段是否稳定，也是后续工作可以深入的方向。但就“让动态秩分配更可解释”这一目标而言，LIRA给出了一条结构清晰、可落地的技术路线。

指数移动平均（EMA） 是一种对时序信号做平滑的递推估计：$m_t = \beta m_{t-1} + (1-\beta) x_t$，其中 $\beta$ 接近 1，使估计对单步噪声不敏感、反映近期趋势。LIRA 中的 Trajectory EMA 即沿训练轨迹对损失扰动信号做这种平滑，从而以较低成本近似 Fisher 类估计的效果。离散有效秩 则指 DELTA 输出的是整数秩（如 4、8、16），而非连续松弛后的分数权重；整数秩可直接映射为标准 LoRA 适配器形状，不需要在推理阶段做额外合并或近似，这是其保持部署兼容性的关键。