待验证50% 置信事实精确时间

IQ2_XS可以将模型压缩到接近2 bit/权重，使原本需要48GB显存的70B模型能塞入24GB消费级显卡

1

来源数

50%

置信度

长期有效

时效性

2026/8/14

首次发现

来源

看懂GGUF量化：Q4_K_M与Q4_K_S的真正区别

相关事实

待验证即便用 4-bit 量化把权重压缩到 214GB，仍远超单张 48GB 显卡的容量77% 相似已验证一个原本需要60GB显存的30B参数模型，经过量化后能在16GB甚至8GB显存的消费级显卡上运行75% 相似待验证INT4 量化模型有望在 8GB 乃至更低显存的显卡上完成原本需要 16GB 或 24GB 显存的模型推理75% 相似已验证32B参数规模的模型在量化后通常可以压缩到约16-20GB显存占用，一张NVIDIA RTX 4090（24GB显存）就能运行74% 相似待验证70B模型在INT4精度下可压缩至约35GB73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/745190

API

curl https://kongchang.com/api/v1/knowledge/claims/745190

MCP

get_claim(id=745190)