已验证75% 置信事实精确时间
KV cache 的显存占用随上下文长度线性增长，且每个并发请求、每条序列都维护一份独立缓存。
3
来源数
75%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
已验证KV cache 是 Transformer 推理时存储每一层每个 token 对应的 Key 和 Value 向量的数据结构，它将每步注意力计算量从 O(n²) 降为 O(n)，代价是显存占用随序列长度线性增加。80% 相似已验证KV cache 占用的显存随上下文长度和对话轮次增长，是长上下文部署中显存与延迟的主要来源。79% 相似待验证实现 KV 缓存时，应让缓存与未缓存版本在长序列（如 200 多个 token）上逐 token 对比贪心输出，而非仅做单步验证，才能有效验证缓存正确性。77% 相似待验证在自回归推理中，KV cache的显存占用随序列长度线性增长，长上下文时可能与权重体积相当或更高76% 相似已验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1007276API
curl https://kongchang.com/api/v1/knowledge/claims/1007276MCP
get_claim(id=1007276)