已验证65% 置信事实精确时间

CPU offload将部分Transformer层放在系统主内存由CPU计算，数据通过PCIe总线传输（PCIe 4.0 x16理论带宽约32GB/s），而GPU显存带宽通常在数百到上千GB/s，带宽差距是性能瓶颈的根本原因

3

来源数

65%

置信度

长期有效

时效性

2026/8/12

首次发现

来源

24GB显存跑本地LLM？实际可用显存没那么多

相关事实

待验证PCIe Gen4 x16带宽约64GB/s，在内存卸载场景中往往成为硬瓶颈80% 相似待验证为保证16G显存推理速度，核心原则是不要让权重被卸载到内存(offload)，因为GPU显存带宽与CPU内存带宽存在近10倍差距77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/735391

API

curl https://kongchang.com/api/v1/knowledge/claims/735391

MCP

get_claim(id=735391)