已验证75% 置信事实精确时间
KV Cache将Transformer增量生成的时间复杂度从O(L²)降至O(L)
5
来源数
75%
置信度
长期有效
时效性
2026/7/8
首次发现
来源
GPT-5.6 Ultra子Agent架构解析与AI行业十大动向
bilibili竹言见智2026/6/29
相关事实
已验证KV Cache将已计算的历史键值矩阵缓存在内存中，将自回归生成的复杂度从随序列长度平方增长降至线性73% 相似待验证传统 Transformer 推理中每个请求的 KV Cache 需预先分配连续显存空间，因序列长度不可预知常按最大长度预分配，导致显存碎片浪费，实际利用率有时不足 50%71% 相似待验证Set Transformer通过引入可学习的诱导点（Inducing Points）将复杂度降至O(mn)69% 相似已验证KV缓存随上下文长度线性增长，增加解码阶段每步的内存读取量，是解码速度随上下文增大而下降的根本原因69% 相似待验证不缓存K和V时每次生成都要对整个上下文重新计算，时间复杂度是O(n²)68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/278936API
curl https://kongchang.com/api/v1/knowledge/claims/278936MCP
get_claim(id=278936)