待验证50% 置信事实精确时间
传统 Transformer 推理中每个请求的 KV Cache 需预先分配连续显存空间，因序列长度不可预知常按最大长度预分配，导致显存碎片浪费，实际利用率有时不足 50%
1
来源数
50%
置信度
长期有效
时效性
2026/9/10
首次发现
来源
涉及实体
相关事实
待验证Transformer的KV Cache随序列长度呈二次方增长，导致长上下文推理对GPU显存的非线性消耗73% 相似待验证KV Cache往往占据推理总显存的30%至70%，是制约大模型推理吞吐量和上下文长度的主要瓶颈72% 相似已验证KV Cache将Transformer增量生成的时间复杂度从O(L²)降至O(L)71% 相似待验证Transformer 推理的 prefill 阶段主要受计算能力（FLOPS）瓶颈制约，而 decode 阶段主要受内存带宽瓶颈制约69% 相似待验证循环深度一次循环迭代的计算量大致等同于通过一个Transformer层的前向传播，但无需执行词汇表上的softmax采样和token解码，因此思考量相同时开销可能数量级更低68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/888204API
curl https://kongchang.com/api/v1/knowledge/claims/888204MCP
get_claim(id=888204)