显存带宽
显存与计算单元之间的数据传输速率，直接影响大模型解码阶段权重读取速度与推理延迟
时间轴 (近 90 天)
decode阶段每次只生成一个token，矩阵乘退化为向量乘矩阵，属于访存密集型操作，性能受限于显存带宽。
NCM将推理瓶颈从显存带宽转向计算算力，权重读取次数大幅减少，但处理的位置数多于输出的token数，增加了计算量。
自回归模型生成每个token都需要加载整个模型权重，导致显存带宽成为瓶颈，而非计算能力。
显存容量决定了参数量加上KV Cache后能否装进设备；显存带宽决定了解码阶段每个token生成时权重读取的速度，因而直接决定推理延迟。
小批量推理时瓶颈在显存带宽，大批量时计算密度上升使算力成为瓶颈，这解释了3090与L40S的性能交叉。
自回归生成阶段是内存带宽敏感型负载，每生成一个 token 需要将模型权重完整读一遍（或至少读取激活路径涉及的权重），因此实际速度近似等于显存带宽除以每 token 需读取的权重量。
解码速率上限由显存带宽与模型权重体积的比值决定，与GPU浮点算力关系不大。
在AI负载下，瓶颈通常是显存带宽和容量，而非温度，除非过热降频
全部知识事实 (8)
decode阶段每次只生成一个token，矩阵乘退化为向量乘矩阵，属于访存密集型操作，性能受限于显存带宽。
50%待验证NCM将推理瓶颈从显存带宽转向计算算力，权重读取次数大幅减少，但处理的位置数多于输出的token数，增加了计算量。
50%待验证自回归模型生成每个token都需要加载整个模型权重，导致显存带宽成为瓶颈，而非计算能力。
50%待验证显存容量决定了参数量加上KV Cache后能否装进设备；显存带宽决定了解码阶段每个token生成时权重读取的速度，因而直接决定推理延迟。
50%待验证小批量推理时瓶颈在显存带宽，大批量时计算密度上升使算力成为瓶颈，这解释了3090与L40S的性能交叉。
50%待验证自回归生成阶段是内存带宽敏感型负载，每生成一个 token 需要将模型权重完整读一遍（或至少读取激活路径涉及的权重），因此实际速度近似等于显存带宽除以每 token 需读取的权重量。
50%待验证解码速率上限由显存带宽与模型权重体积的比值决定，与GPU浮点算力关系不大。
50%待验证在AI负载下，瓶颈通常是显存带宽和容量，而非温度，除非过热降频
50%