待验证50% 置信事实精确时间
LoRA的原理是将微调中权重变化量ΔW分解为两个低秩矩阵的乘积（ΔW = A×B）
1
来源数
50%
置信度
长期有效
时效性
2026/9/10
首次发现
来源
涉及实体
相关事实
待验证LoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B，其中A随机初始化，B初始化为零，仅训练这两个小矩阵，推理时将A×B乘积叠加回原始权重72% 相似已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%72% 相似待验证LoRA推理时可以预先计算W' = W₀ + (α/r)BA，将LoRA分支融合到原权重中，实现零额外推理延迟70% 相似已验证LoRA（低秩适应）的核心思想是模型权重更新矩阵本征秩很低，无需更新全部参数，只需并联两个低秩矩阵67% 相似待验证LoRA 由 Hu 等人在 2021 年提出，通过为每层注入可训练的低秩分解矩阵实现参数更新 ΔW = BA，将可训练参数量压缩至原始模型的 0.1%-1%65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/889924API
curl https://kongchang.com/api/v1/knowledge/claims/889924MCP
get_claim(id=889924)