前缀缓存

KV Cache机制可以缓存重复的前缀内容，越简洁的系统提示词缓存命中率越高

前缀缓存通过缓存常见的提示词前缀来减少重复计算，从而提升推理效率

缓存是指把重复出现的系统提示或长文档预先存储，后续请求以更低单价复用，适合多轮问答或固定知识库场景。

Prompt缓存保存的是可复用前缀（提示词开头不变的Token）的KV状态，如果下一次请求以完全相同的前缀开头，服务商会复用已保存的计算结果，只处理新增部分

Prompt缓存有效期通常只有几分钟到数小时，折扣幅度和缓存窗口可能随时调整

vLLM等主流推理框架已经原生支持自动前缀缓存功能

前缀缓存的关键约束是前缀必须逐 token 一致，哪怕只在前文插入一个字，从该位置起的全部内容都会失效。

DeepSeek 的缓存机制属于前缀缓存（prefix caching），服务端把每次请求的输入 token 序列按前缀做哈希，若本次请求的开头与历史某次请求完全一致，这段前缀的 KV 缓存可直接复用。

标准前缀缓存将历史视觉token保留在持久化KV缓存中，其容量随交互轮数线性增长，会迅速耗尽有限的内存预算。

自托管开源模型可通过批处理（batching）、KV Cache复用、前缀缓存（prefix caching）等手段提升吞吐，单位token的边际成本可以压得很低。

前缀缓存可节省60%的token输入，对应60%的速度提升。

在语言模型推理优化中，常见手段大致可分为两类：一类是降低单次推理的计算与显存开销（如量化、知识蒸馏、稀疏化与剪枝），另一类是减少重复计算、提升吞吐（如KV Cache复用、前缀缓存、连续批处理与投机解码）。

在多租户场景下，前缀缓存的键中必须包含租户或会话的唯一标识，否则不同用户的相同前缀会命中同一缓存条目，导致上下文串扰。

在DeepSeek自身的流量中，96%的输入命中了前缀缓存，单卡预填充吞吐从每秒6万Token跃升至150万Token，提升25倍。

掌握大模型底层原理（如KV缓存、前缀缓存）、混合检索、模型微调、强化学习、数据清洗及评测集搭建，可胜任项目负责人角色并对标30K以上岗位。

命中前缀缓存时，数万 token 的重复 prefill 可以近乎跳过，首 token 延迟从数秒降到毫秒级。

前缀缓存复用会让 KV 值在不同于全新 prefill 的批次中计算，缓存命中的 KV 值与全新 prefill 的 KV 值在浮点层面可能不同，差异会沿后续 token 传播。

使用 KV 缓存后，单 token 延迟基本保持平缓，不再随上下文长度显著增长，表明瓶颈不再是矩阵乘法，而是 CPU 侧调度、kernel 启动开销或 GPU 显存带宽等固定开销。

静态系统提示可享受90%的KV缓存折扣，但动态思维链轨迹在轮次间被剥离或每步重新生成，导致前缀缓存无法在多轮智能体会话中分摊测试时计算突发。

前缀缓存将提示词按固定大小（如 16 token）切分为缓存页，每页对应一段 KV，并建立哈希索引；新请求到达时逐页比对输入 token，命中即可引用已算好的 KV 页并跳过对应的预填充计算。