待验证85% 置信事实时间未知

使用INT4量化技术可以将20B模型体积从约40GB缩小到约10GB

1

来源数

85%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

GPT-OSS本地部署教程：Ollama一键运行OpenAI开源模型

bilibili科技发现

涉及实体

GPT-OSS 20Bmodel

相关事实

待验证采用INT4量化可将700亿参数模型显存需求压缩至约40GB（2张A100），但会带来约3-5%的性能损耗78% 相似已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB77% 相似待验证量化可将700亿参数模型的存储体积从FP16的约140GB压缩至INT4的约35-40GB，能在单张RTX 4090配合CPU内存卸载的消费级硬件上运行75% 相似已验证4-bit量化理论上可将模型体积缩小8倍（相比32位存储）75% 相似待验证量化格式可将70B参数模型的运行内存从140GB压缩至40GB以内74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/23273

API

curl https://kongchang.com/api/v1/knowledge/claims/23273

MCP

get_claim(id=23273)