已验证70% 置信事实时间未知

使用LoRA微调时，实际需要训练的参数量只有原来的0.1%-1%

4

来源数

70%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

Unsloth教程：本地微调大模型省显存加速训练指南

githubunslothai

涉及实体

相关事实

已验证对于一个 70 亿参数的模型，LoRA 通常只需训练不到 1% 的参数量，显存需求可降低 60% 以上77% 相似待验证从模型无约束采样八个候选时，训练数据有限情况下有10.2%的输入无法产生任何有效输出，使用全量训练数据时该比例降至0.4%77% 相似待验证LoRA微调只需训练不到1%的参数即可达到接近全参微调的效果，显存需求大幅降低至单张消费级显卡可承受范围76% 相似待验证MTP头参数量通常不到主模型的1%，与主模型联合预训练73% 相似待验证失败回放机制只有在以“步数”而非“对局数”衡量时才有效；第一版回放了四分之一的新对局，但回放数据不到训练总量的 1%。72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/31791

API

curl https://kongchang.com/api/v1/knowledge/claims/31791

MCP

get_claim(id=31791)