待验证50% 置信事实精确时间
Coder 版本在每层保留 192 个专家（剪掉一半），transformer 权重体积为 72.1 GB，而未经剪枝的 IQ2_XXS 构建为 138.2 GB。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/11/2
首次发现
有效期至：2027/1/31
来源
涉及实体
相关事实
待验证IQ2_XS可以将模型压缩到接近2 bit/权重，使原本需要48GB显存的70B模型能塞入24GB消费级显卡72% 相似待验证DeepInfer 的宽专家并行将 384 个专家分散到 128 块芯片上，每块只持有约 7 个专家，显存流量下降近 88%，单 GPU 每秒可输出超过 26000 词。68% 相似已验证内存需求为Q2_0至少37.6GB、IQ2_XS至少39.2GB、IQ3_XXS至少47GB，视觉编码器额外占用0.91GB68% 相似待验证将DeepSeek Coder压到2-bit会丢失67%的通过解，而4-bit版本换取70%更小体积仅牺牲2%67% 相似待验证双编码器通常将语义压缩为768维向量，该数字来源于BERT-base的隐藏层大小，工业部署中常压缩到128或256维66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1127276API
curl https://kongchang.com/api/v1/knowledge/claims/1127276MCP
get_claim(id=1127276)