已验证65% 置信事实精确时间
提示词缓存通过在服务器端保存已计算的 KV 矩阵，将重复前缀的处理从 O(n²) 降低至 O(1) 的缓存读取，可实现高达90%的延迟和成本压缩
3
来源数
65%
置信度
长期有效
时效性
2026/7/7
首次发现
来源
Claude花$149主导开发sqlite-utils 4.0：AI编程能力的真实样本
hackernewshackernews2026/7/5
相关事实
待验证KV 缓存将每步矩阵乘法从大矩阵乘大矩阵退化为向量乘矩阵，运算量骤减，但需读入全部缓存 K/V，算术强度大幅下降，性能瓶颈从 SM 运算单元转移到 HBM 带宽和 kernel 启动等固定开销。77% 相似已验证KV Cache通过缓存已计算的Key和Value矩阵避免重复运算，PagedAttention等进阶技术进一步优化缓存内存管理效率75% 相似已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长75% 相似待验证KV缓存的规律是：上下文长度翻倍缓存大致翻倍，并发满上下文请求翻倍缓存再翻倍74% 相似待验证实现 KV 缓存时，应让缓存与未缓存版本在长序列（如 200 多个 token）上逐 token 对比贪心输出，而非仅做单步验证，才能有效验证缓存正确性。74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/126792API
curl https://kongchang.com/api/v1/knowledge/claims/126792MCP
get_claim(id=126792)