待验证50% 置信事实精确时间

不缓存K和V时每次生成都要对整个上下文重新计算，时间复杂度是O(n²)

1

来源数

50%

置信度

长期有效

时效性

2026/9/17

首次发现

来源

KV Cache为何撑爆显存？大模型推理优化全解析

涉及实体

KV Cacheconcept

相关事实

待验证无缓存情况下 N 步生成的总时间复杂度量级大致为 N²·D² + N³·D77% 相似已验证自回归生成阶段每生成一个新token需对所有历史token重新计算注意力，计算量随序列长度呈O(n²)增长，KV Cache可将复杂度降至O(n)的增量操作74% 相似待验证TimesFM的patch机制将计算复杂度从O(n²)降至O(p²)，其中p为patch数量71% 相似待验证精确的 K 近邻搜索（KNN）时间复杂度为 O(n×d)，在数百万级别记忆条目下延迟不可接受，ANN 算法通过牺牲极小精度换取数量级速度提升71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/930568

API

curl https://kongchang.com/api/v1/knowledge/claims/930568

MCP

get_claim(id=930568)