模型Loss-Informed Rank Allocation
LIRA
一种基于损失扰动信号进行LoRA动态秩分配的方法,通过二阶近似评估每层敏感度,实现项级别可解释的在线秩重分配
时间轴 (近 90 天)
11月4日
LIRA(Loss-Informed Rank Allocation)是一种基于损失扰动的在线秩分配方法,旨在使秩重分配过程逐项可解释。
待验证50%
11月4日
LIRA在二阶近似下估计近期LoRA因子移动所引起的局部损失扰动幅度,以此作为每层的得分。
待验证50%
11月4日
LIRA周期性调用DELTA(Displacement-Evaluated Loss-Trajectory Allocation)算法进行秩重分配。
待验证50%
11月4日
使用LIRA不需要改动下游推理或部署栈。
待验证50%
11月4日
实验结果显示LIRA优于该协议下报告的均匀LoRA和自适应秩基线。
待验证50%
11月4日
当前LIRA的验证集中在RoBERTa-base与GLUE这类中等规模设定上,其在更大模型、更多任务类型上的表现仍有待观察。
待验证50%
全部知识事实 (6)
待验证
LIRA(Loss-Informed Rank Allocation)是一种基于损失扰动的在线秩分配方法,旨在使秩重分配过程逐项可解释。
50%待验证LIRA在二阶近似下估计近期LoRA因子移动所引起的局部损失扰动幅度,以此作为每层的得分。
50%待验证LIRA周期性调用DELTA(Displacement-Evaluated Loss-Trajectory Allocation)算法进行秩重分配。
50%待验证使用LIRA不需要改动下游推理或部署栈。
50%待验证实验结果显示LIRA优于该协议下报告的均匀LoRA和自适应秩基线。
50%待验证当前LIRA的验证集中在RoBERTa-base与GLUE这类中等规模设定上,其在更大模型、更多任务类型上的表现仍有待观察。
50%