已验证80% 置信基准精确时间
4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%
6
来源数
80%
置信度
长期有效
时效性
2026/7/16
首次发现
来源
相关事实
已验证Q4_K_M 采用混合精度，部分关键权重以 6bit 存储，其余以 4bit 存储，整体平均约 4.5bit84% 相似已验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内82% 相似已验证量化（Quantization）是把模型参数的保存精度从16bit压缩到8bit甚至4bit，从而降低内存占用，但代价是模型精度可能出现一定损失80% 相似待验证一个32K上下文窗口在Q4量化模型上可能额外占用2-4GB内存80% 相似已验证采用INT4量化技术后,3B参数模型显存占用可降至约2GB80% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/533257API
curl https://kongchang.com/api/v1/knowledge/claims/533257MCP
get_claim(id=533257)