待验证50% 置信基准精确时间
在约190GB总大小的Q8_K_XL量化上，bel-server在RTX 3060 12GB+16GB DDR4机器上冷启动8 tok/s、热启动12 tok/s（峰值21 tok/s），而stock llama.cpp会立即OOM或爬行在<0.1 tok/s。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/31
首次发现
有效期至：2027/1/29
来源
12GB显卡跑68GB大模型：Betelgeuse引擎实测22 tok/s
redditr/LocalLLaMA2026/10/31
涉及实体
相关事实
待验证约25GB的Q3模型完全在RTX 4090显存（带宽约1TB/s）运行理论上每秒约40个token，而在DDR5内存（约80GB/s）中运行降至每秒1-3个token74% 相似待验证单用户场景下 llama.cpp 8B 模型在 RTX 4090 上约 115 tok/s、首 token 延迟约 12ms，但 32 并发时吞吐仅约 210 tok/s。73% 相似待验证在12GB显存配置中，Breeze TTS2需约8.5GB显存（权重加运行时开销）且必须全部在GPU上运行，而LLM部分在128K上下文时约占近4GB。72% 相似待验证UP主使用 RTX 4080S（16GB 显存）+ 64GB 内存配置运行 MiniCPM 2B，实测推理速度可达约 110 token/秒72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1120770API
curl https://kongchang.com/api/v1/knowledge/claims/1120770MCP
get_claim(id=1120770)