待验证50% 置信事实精确时间

大型语言模型推理需将数GB至数十GB模型权重通过PCIe总线从主机内存搬运至显存，受限于PCIe Gen4/Gen5物理带宽上限约64GB/s

1

来源数

50%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

逆向CUDA-checkpoint：破解GPU冷启动的技术原理与实践

hackernewshackernews2026/7/9

相关事实

待验证分层加载导致推理速度成为代价，需要频繁在存储设备与显存之间搬运数据，PCIe 4.0 x16 理论双向带宽约为 64GB/s76% 相似待验证量化可将700亿参数模型的存储体积从FP16的约140GB压缩至INT4的约35-40GB，能在单张RTX 4090配合CPU内存卸载的消费级硬件上运行74% 相似待验证对于一个典型的700亿参数模型，KV缓存每个词元大约占半兆（0.5MB）内存，生成10万个词元需要携带50GB的缓存73% 相似已验证大模型推理的速度瓶颈是内存带宽而非算力不足，每生成一个token需要从内存加载数百GB的模型权重73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/471566

API

curl https://kongchang.com/api/v1/knowledge/claims/471566

MCP

get_claim(id=471566)