待验证50% 置信事实精确时间
decode阶段每次只生成一个token，矩阵乘退化为向量乘矩阵，属于访存密集型操作，性能受限于显存带宽。
1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现
来源
大模型推理瓶颈与KV Cache：核心机制与主流优化方案
bilibili先进编译实验室2026/10/20
涉及实体
相关事实
待验证矩阵乘法在批量大的推理场景下通常是算力受限，而批量为1的自回归解码时几乎必然是带宽受限75% 相似待验证解码器的顶部20层不读prompt，其全局键值从编码器最终隐藏状态通过每层独立权重矩阵投影得到，使prefill复杂度近乎减半（n×L/2）73% 相似待验证Prefill阶段高度并行、吞吐量大但耗时随上下文长度增长，Decode阶段逐token自回归生成且速度受限于显存带宽73% 相似待验证张量并行将单层权重矩阵沿某维度切分，每个前向传播步骤结束时需做一次All-Reduce通信，通信频率极高71% 相似待验证将矩阵展平喂给MLP会因行数可变导致输入维度不固定，并破坏排列不变性69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1121454API
curl https://kongchang.com/api/v1/knowledge/claims/1121454MCP
get_claim(id=1121454)