待验证85% 置信事实时间未知

经过SVDQuant的4-bit量化后，FLUX模型显存需求可从约24GB降至约6GB

1

来源数

85%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

SVDQuant：4-bit量化让扩散模型在消费级GPU上高效运行

githubnunchaku-ai

涉及实体

SVDQuantconcept FLUXmodel

相关事实

待验证140GB的FP16 70B模型经4-bit量化后可压缩至约35-40GB，通信开销降低约75%；2-bit量化可压缩至约18GB但带来精度损失76% 相似待验证INT4 量化模型有望在 8GB 乃至更低显存的显卡上完成原本需要 16GB 或 24GB 显存的模型推理75% 相似待验证Ollama 默认使用 Q4_K_M 等量化方案，将 31B 参数模型的显存需求从约 62GB（FP16）降低到约 20GB75% 相似待验证Q3_K_M将每个权重压缩至约3bit，27B模型权重体积可降至约12～13GB75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/28966

API

curl https://kongchang.com/api/v1/knowledge/claims/28966

MCP

get_claim(id=28966)