待验证50% 置信权衡取舍精确时间

分层加载导致推理速度成为代价，需要频繁在存储设备与显存之间搬运数据，PCIe 4.0 x16 理论双向带宽约为 64GB/s

1

来源数

50%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

AirLLM：4GB显卡跑70B大模型的核心原理与适用场景

相关事实

待验证主机卸载用带宽换显存空间，代价是数据传输延迟；激活重计算用算力换显存，二者可互补配合76% 相似待验证大型语言模型推理需将数GB至数十GB模型权重通过PCIe总线从主机内存搬运至显存，受限于PCIe Gen4/Gen5物理带宽上限约64GB/s76% 相似待验证CPU offload将部分Transformer层放在系统主内存由CPU计算，数据通过PCIe总线传输（PCIe 4.0 x16理论带宽约32GB/s），而GPU显存带宽通常在数百到上千GB/s，带宽差距是性能瓶颈的根本原因76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/567132

API

curl https://kongchang.com/api/v1/knowledge/claims/567132

MCP

get_claim(id=567132)