已验证65% 置信事实精确时间
CPU offloading指将部分模型层从显存移到系统内存，由CPU负责计算，从而突破显存容量限制
3
来源数
65%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
已验证CPU offloading 策略将未被激活的专家权重常驻系统内存，仅在被路由器选中时临时加载到 GPU 显存，代价是引入 PCIe 总线传输延迟78% 相似待验证权重卸载（offloading）指把模型的部分层或专家从显存转移到内存、NVMe硬盘等更慢的存储层级，运行时按需换入，会牺牲推理速度。77% 相似待验证PC平台显存不足时可将模型部分卸载到系统内存（offload），速度下降但能运行；Mac统一内存不足时模型直接报错退出75% 相似待验证CPU缓存是处理器内部的高速存储器，用于减少访问主内存的延迟。74% 相似待验证在纯CPU上运行1B参数模型时，瓶颈主要在内存带宽而非算力：每生成一个token都要把模型权重从内存读一遍，因此量化程度、CPU核心数和内存频率对速度影响很大。74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1029806API
curl https://kongchang.com/api/v1/knowledge/claims/1029806MCP
get_claim(id=1029806)