待验证50% 置信权衡取舍精确时间
缺少独立 GPU 的设备运行 2B 参数模型时生成速度可能低于每秒 5 个 token
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/8/25
首次发现
有效期至：2026/11/23
来源
涉及实体
相关事实
待验证GPU 推理速度通常是纯 CPU 的 5-20 倍，当模型太大无法放入显存时部分层会卸载到内存由 CPU 处理（混合运行/partial offload）76% 相似待验证以 Llama-3 70B 为例，在 A100 80GB GPU 上处理 32K token 的预填充阶段约需 800-1200ms，而处理 2K token 仅需约 50ms72% 相似待验证AirLLM 以推理速度为代价，每生成一个 token 耗时数秒乃至数十秒，远慢于高端 GPU 全量加载的每秒数十 token69% 相似待验证研究《Accelerating Block Low-Rank Foundation Model Inference on Memory-Constrained GPUs》提出基于块低秩分解的方案压缩内存并加速推理69% 相似待验证GPU多级内存层级从高到低依次为：寄存器文件（延迟约1周期）、共享内存/L1缓存（约32-228KB，延迟约20-40周期）、L2缓存（H100约50MB，延迟约200周期）、HBM全局内存（延迟约500-800周期）69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/798442API
curl https://kongchang.com/api/v1/knowledge/claims/798442MCP
get_claim(id=798442)