已验证80% 置信事实精确时间
llama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存
7
来源数
80%
置信度
长期有效
时效性
2026/7/8
首次发现
来源
Ollama+Hermes本地AI部署：打造100%私有的个人AI操作系统
bilibili赛博门外憨2026/7/7
相关事实
已验证llama.cpp 支持 CPU+GPU 混合推理，通过 --n-gpu-layers 参数控制卸载到 GPU 的层数，并内置兼容 OpenAI API 格式的 HTTP 服务端84% 相似已验证GPU全栈范式将环境状态、动力学仿真、策略网络前向传播及梯度计算全部留在显存中完成，消除CPU与GPU的数据传输瓶颈77% 相似待验证llama.cpp 追求底层控制，从量化类型到 GPU 层数都能手动调整，是嵌入式和边缘部署的首选。76% 相似待验证对于超大模型，llama.cpp 标准构建一旦启用 GPU 就内存溢出，因为 CPU 后端会复制权重做重排，Vulkan 后端也会把 CPU 侧权重复制到系统无法回收的缓冲区。那个 2.8 tok/s 的数据需要特殊编译版本加额外参数才能跑出来。76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/286699API
curl https://kongchang.com/api/v1/knowledge/claims/286699MCP
get_claim(id=286699)