待验证90% 置信事实时间未知

传统GPU如NVIDIA A100/H100在推理阶段面临内存带宽瓶颈，模型权重需要在每次生成Token时从显存反复读取

1

来源数

90%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

LLM每秒10个Token有多快？直观感受Token生成速度的开源工具

rss

涉及实体

NVIDIA A100product NVIDIA H100product

相关事实

待验证LLM解码过程是内存带宽受限（memory bound）的，GPU在逐token生成时大部分时间处于等待数据搬运的状态73% 相似待验证百万Token级别的单次推理需要数十至数百GB的高端GPU显存（A100/H100级别）73% 相似待验证GPU存储层次从快到慢为：寄存器、L1缓存/共享内存、L2缓存、全局显存72% 相似待验证GPU的SM能同时驻留的Warp数量决定了GPU隐藏内存访问延迟的能力，制约Occupancy的核心资源是寄存器文件与共享内存72% 相似待验证巨型模型存储全部权重需数TB显存，运行需要由A100或H100组成的GPU集群72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/18523

API

curl https://kongchang.com/api/v1/knowledge/claims/18523

MCP

get_claim(id=18523)