已验证75% 置信事实精确时间
自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力
3
来源数
75%
置信度
长期有效
时效性
2026/8/26
首次发现
来源
涉及实体
相关事实
待验证大语言模型的自回归生成过程需要频繁读取KV Cache（键值缓存），对内存带宽和容量提出极高要求78% 相似待验证大模型在生成长文本时需要缓存之前所有token的键值对（KV Cache），其内存占用随上下文长度线性增长，在高并发场景下极易成为内存瓶颈76% 相似已验证KV Cache 在 Decode 阶段缓存此前所有 Token 的 Key 和 Value 矩阵，随对话轮次和上下文窗口增长而膨胀，长文本场景下可占用几 GB 到几十 GB 内存75% 相似待验证生成吞吐（tok/s）反映解码阶段效率，受 KV Cache 大小和显存带宽影响，对输入长度的敏感程度远低于预填充74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/802107API
curl https://kongchang.com/api/v1/knowledge/claims/802107MCP
get_claim(id=802107)