已过期65% 置信基准精确时间
一个70B参数模型经Q4_K_M量化后约占40GB存储空间，在RTX 4090配合CPU内存卸载可达每秒10-20个token的推理速度
3
来源数
65%
置信度
中期 (~90 天)
时效性
2026/7/21
首次发现
此条事实已过期，仅作历史留存，不再代表当前状态
有效期至：2026/10/19(已过期)
来源
相关事实
待验证量化可将700亿参数模型的存储体积从FP16的约140GB压缩至INT4的约35-40GB，能在单张RTX 4090配合CPU内存卸载的消费级硬件上运行84% 相似已验证量化格式可将70B参数模型的运行内存从140GB压缩至40GB以内79% 相似已验证70B级别的模型即便经过量化，往往也需要40GB以上显存或多卡配置76% 相似已验证支持128K上下文的70B参数模型的KV Cache满负荷时可能需要数百GB显存，超过单张H100的80GB显存容量76% 相似已验证一个原始需要80GB显存的700亿参数模型经4-bit量化（Q4_K_M档）后仅需约40GB内存，推理质量在多数基准测试中损失通常在3%-8%以内76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/579919API
curl https://kongchang.com/api/v1/knowledge/claims/579919MCP
get_claim(id=579919)