已过期50% 置信基准精确时间

Ollama CPU 推理模式下生成速度会从 GPU 的每秒 30-80 个 Token 降至每秒 2-8 个 Token

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/9

首次发现

此条事实已过期，仅作历史留存，不再代表当前状态

有效期至：2026/10/7(已过期)

来源

Dify本地部署完整教程：Docker+Ollama+RAG搭建指南

bilibili前端vue实战项目2026/7/6

相关事实

待验证CPU推理速度通常为GPU速度的1/5到1/1075% 相似待验证配备NVIDIA GPU并使用CUDA加速，7B模型可以达到50-100+ token/s的推理速度73% 相似待验证CPU+GPU混合推理采用层级卸载机制，通过n_gpu_layers参数控制卸载层数，主要瓶颈是PCIe带宽延迟，通常使生成速度降至纯GPU推理的1/3到1/271% 相似待验证A mid-range GPU can achieve tens to hundreds of times the matrix computation throughput of a CPU70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/374055

API

curl https://kongchang.com/api/v1/knowledge/claims/374055

MCP

get_claim(id=374055)