待验证50% 置信事实精确时间

训练时Adam优化器会额外存储梯度动量，约为权重的2-3倍，70B模型完整训练内存需求轻易超过400GB

1

来源数

50%

置信度

长期有效

时效性

2026/9/14

首次发现

来源

HP ZGX Fury开放订购：搭载GB300超级芯片与748GB统一内存

涉及实体

Adam优化器concept

相关事实

待验证1750亿参数模型仅模型权重（BF16精度）就需350GB存储，Adam优化器需维护一阶矩和二阶矩两份状态，合计超过1TB71% 相似待验证千问3.5-9B包含约90亿个可训练参数，经4-bit量化后模型文件大小可压缩至约5-6GB71% 相似待验证全量微调一个SD XL模型需要80GB以上显存，而同等效果的LoRA训练在24GB显存的消费级GPU上即可完成69% 相似待验证在A100(80GB显存)GPU上,训练7B模型的吞吐量约为每秒3000-5000 token69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/920061

API

curl https://kongchang.com/api/v1/knowledge/claims/920061

MCP

get_claim(id=920061)