待验证50% 置信事实精确时间
Betelgeuse将约3.2GB的稠密层+GDN+QSA+LM head保留在VRAM中，剩余VRAM容纳约5000个专家槽，分布为：早期层0–4每层240槽，中间层92槽，尾部层60槽。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/31
首次发现
有效期至：2027/1/29
来源
12GB显卡跑68GB大模型：Betelgeuse引擎实测22 tok/s
redditr/LocalLLaMA2026/10/31
涉及实体
相关事实
待验证对于使用GQA的70B模型（n_layers=80, n_kv_heads=8, head_dim=128, FP16缓存），单token的KV Cache大小约为320 KB。69% 相似待验证vLLM的PagedAttention将KV缓存切分为固定大小物理块（通常16个token），使显存利用率从不足40%提升至接近90%68% 相似待验证ModelFit 对于 Kimi K3（unsloth 仓库），UD-Q1_0 量化实测文件大小为 466.4 GB，8K 上下文下所需 VRAM/RAM 为 561.1 GB；UD-Q4_K_XL 实测文件大小为 1.51 TB，所需约 1.6 TB；F16 约 3 TB。68% 相似待验证8 槽位并发时默认配置下 VRAM 剩余不足 400MiB，驱动开始分页；添加 --vram-reserve-mib 1536 可解决该问题67% 相似待验证MoE模型生产环境总VRAM需求公式为：VRAM_total = (VRAM_weights + VRAM_KV(C) + VRAM_CUDA) × 1.06，其中包含至少6%的HBM3e碎片化缓冲区。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1120766API
curl https://kongchang.com/api/v1/knowledge/claims/1120766MCP
get_claim(id=1120766)