待验证50% 置信事实精确时间

只缓存K和V而不缓存Q，因为Query只代表当前查询意图用完即弃，而Key和Value代表历史Token语义信息会被后续Token反复访问

1

来源数

50%

置信度

长期有效

时效性

2026/9/17

首次发现

来源

KV Cache为何撑爆显存？大模型推理优化全解析

涉及实体

KV Cacheconcept

相关事实

待验证语义缓存通过计算新查询与历史查询的向量相似度，当超过阈值时直接返回缓存答案，GPTCache等工具实现了该机制64% 相似已验证语义缓存机制对相似请求的历史响应进行向量化存储，当语义相似度超过阈值时直接返回缓存结果以降低上游API调用频次与成本62% 相似待验证Cache-Aside（旁路缓存）模式天然存在缓存与数据库的一致性窗口，并可能导致缓存击穿和缓存雪崩问题59% 相似待验证缓存命中的前提是提示词内容保持稳定，若系统提示词中包含动态插入的时间戳、会话ID或随机内容则会造成缓存失效59% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/930567

API

curl https://kongchang.com/api/v1/knowledge/claims/930567

MCP

get_claim(id=930567)