待验证50% 置信事实精确时间

模型训练完成后的最终参数量为13,693,824个

1

来源数

50%

置信度

长期有效

时效性

2026/8/31

首次发现

来源

用AI从零构建LLM：13M参数迷你GPT模型实战全记录

涉及实体

相关事实

待验证叠加cv=5的5折交叉验证后，144种参数组合需训练144×5=720次模型67% 相似待验证在混合精度Adam训练中，单个参数的完整训练状态高达18字节（FP16权重2字节、FP32主权重4字节、一阶矩4字节、二阶矩4字节，加梯度）62% 相似待验证LoRA使可训练参数量通常仅为全参微调的0.1%-1%，可在单张RTX 3090/4090（显存24GB）上微调7B乃至13B级别的模型60% 相似待验证一个rank=4的LoRA文件对于SD1.5模型约只有3-6MB，LoRA设计使训练参数量减少95%以上59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/828137

API

curl https://kongchang.com/api/v1/knowledge/claims/828137

MCP

get_claim(id=828137)