待验证50% 置信事实精确时间

LoRA使可训练参数量通常仅为全参微调的0.1%-1%，可在单张RTX 3090/4090（显存24GB）上微调7B乃至13B级别的模型

1

来源数

50%

置信度

长期有效

时效性

2026/7/13

首次发现

来源

AI应用开发工程师核心能力拆解：从入门到工业级落地

bilibiliAI大模型-开发2026/7/11

相关事实

待验证LoRA训练中常用的学习率为1e-4到5e-4之间，常用的Network Rank值为8、16、32、64、12877% 相似待验证以 GPT-3 为例，r=4 时 LoRA 可将可训练参数从 175B 降至约 4.7M，减少约 37,000 倍72% 相似待验证一个rank=4的LoRA文件对于SD1.5模型约只有3-6MB，LoRA设计使训练参数量减少95%以上70% 相似待验证LoRA用两个低秩矩阵A(d×r)和B(r×k)的乘积近似权重变化量ΔW，其中A使用随机高斯初始化，B初始化为零，秩r通常取4~1665% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/500056

API

curl https://kongchang.com/api/v1/knowledge/claims/500056

MCP

get_claim(id=500056)