概念语义缓存

Semantic Cache

通过嵌入向量相似度匹配复用相似查询推理结果的缓存技术，用于降低大模型调用成本

核心事实

大模型服务中的缓存通常分为语义缓存和提示词前缀缓存（KV Cache）两个层次

10月31日

Semantic Cache通过Embedding模型将query转为向量并在向量库中做相似度检索，常用余弦相似度，阈值通常取0.85～0.95，命中则跳过推理链路。

待验证50%

10月19日

Semantic Cache（语义缓存）通过嵌入相似度阈值来复用推理结果，阈值过高会漏命中、过低会误判语义不同的问题为相同。

待验证50%

10月4日

大模型服务中的缓存通常分为语义缓存和提示词前缀缓存（KV Cache）两个层次

已验证75%

9月1日

语义缓存通过Embedding模型将查询转化为向量，在向量空间中进行相似度检索，当相似度超过设定阈值时直接返回缓存结果

待验证60%

大模型服务中的缓存通常分为语义缓存和提示词前缀缓存（KV Cache）两个层次

语义缓存通过Embedding模型将查询转化为向量，在向量空间中进行相似度检索，当相似度超过设定阈值时直接返回缓存结果

Semantic Cache通过Embedding模型将query转为向量并在向量库中做相似度检索，常用余弦相似度，阈值通常取0.85～0.95，命中则跳过推理链路。

Semantic Cache（语义缓存）通过嵌入相似度阈值来复用推理结果，阈值过高会漏命中、过低会误判语义不同的问题为相同。