共 2 篇相关文章
新研究证明模型合并无需统一LoRA秩:给专家分配不同秩对平均和效用选择方法无损,反获最高1.8个百分点多域精度提升;按损失效应选择成分可避免丢弃指令专家,保持精度稳定。
研究提出基于连接器的语音大语言模型多语言扩展方法,通过SSU-Wanda+TIES合并策略在单目标扩展中平衡新语言学习与源语言保留,多目标扩展中更新合并比递归扩展更稳定。