已验证70% 置信事实精确时间
LoRA在每个目标权重矩阵旁并联两个低秩矩阵A和B，其中A随机初始化，B初始化为零，仅训练这两个小矩阵，推理时将A×B乘积叠加回原始权重
4
来源数
70%
置信度
长期有效
时效性
2026/7/24
首次发现
来源
相关事实
已验证LoRA通过在模型权重矩阵旁插入低秩分解矩阵来实现微调，通常只需训练原始参数量的0.1%-1%84% 相似待验证LoRA 的低秩矩阵 A、B 中的数值是稠密的，每个参数承载混合功能信号，直接查看适配器权重难以读出模型学到了什么。77% 相似待验证对于冻结的基座矩阵 W0，LoRA 将学习到的更新表示为 W' = W0 + (alpha/r)BA，其中 A 和 B 是可训练的紧凑矩阵，秩 r 远小于原矩阵维度75% 相似待验证LoRA（Low-Rank Adaptation）通过低秩分解将权重更新矩阵ΔW约束为BA，其中B∈ℝ^{d×r}、A∈ℝ^{r×k}，且秩r≪min(d,k)，从而将可训练参数量从d×k降到r×(d+k)。75% 相似已验证LoRA训练时预训练模型权重W₀被冻结，只训练B和A两个矩阵，前向传播公式为H = W₀X + (α/r)BAX74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/607136API
curl https://kongchang.com/api/v1/knowledge/claims/607136MCP
get_claim(id=607136)