待验证50% 置信基准精确时间
在标准llama.cpp中加载68GB MoE到12GB VRAM+16GB RAM，每token约产生1500次主要页面错误，生成速度只有1.47 tok/s。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/31
首次发现
有效期至：2027/1/29
来源
12GB显卡跑68GB大模型：Betelgeuse引擎实测22 tok/s
redditr/LocalLLaMA2026/10/31
涉及实体
相关事实
待验证在常见16GB/32GB内存的笔记本上运行Large 4，生成速度约为每秒15个token。73% 相似待验证PagedAttention论文以OPT-13B、FP16举例，每个token约需800KB，2048个token约需1.6GB KV Cache72% 相似待验证VRAM抖动的诊断特征为PCIe读取从正常约1.5GB/s飙升至9-13GB/s，同时GPU功耗从450W下降到340W72% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。71% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1120763API
curl https://kongchang.com/api/v1/knowledge/claims/1120763MCP
get_claim(id=1120763)