KV Cache
KV Cache（键值缓存）是Transformer模型推理过程中的一种优化机制，用于缓存注意力计算中每个token对应的键（Key）和值（Value）向量。在自回归生成任务中，模型每步生成新token时无需重新计算历史token的键值对，而是直接复用缓存结果，从而显著降低重复计算量、提升推理效率。该机制以增加显存占用为代价换取计算速度的提升，是大语言模型部署优化的核心技术之一。
核心事实
时间轴 (近 90 天)
缓存的分配、复用、回收必须有明确的所有权边界，不能依赖“大概率会被覆盖”的侥幸心理。
上下文窗口是模型训练时约定的最大处理长度（逻辑上限），而KV Cache的容量是硬件物理上限，二者并不自动对齐。
KV Cache页面清零会付出速度代价，因为缓存存在的意义就是避免重复计算，因此安全与性能之间存在结构性取舍。
KV Cache页面在归还时从不清零，下一个请求直接覆写，导致残留数据可能被后续请求读取。
在多租户推理服务中，KV Cache 缓存页在被重新分配前必须清零或标记失效，否则新请求可能读到上一租户遗留的键值数据。
大模型推理服务中，每个请求需要在内存中保留上下文窗口（KV Cache），上下文越长、并发越高，内存占用越大。
DRAM浪费的常见形式包括过度分配、缓存失控（KV Cache无分级或淘汰策略）、数据搬运冗余和框架默认值未调优。
KV Cache大小与序列长度、层数、注意力头数和批大小成正比，长上下文场景下可能超过模型权重本身。
将vLLM用作rollout引擎时，需要处理权重热更新、KV Cache清理、调度优先级与训练进程协同等问题。
业界通常借助 FlashAttention、稀疏注意力、滑动窗口、分块处理以及 KV Cache 压缩等技术来缓解长序列计算量与显存占用问题。
还有 40 条时间轴事件
全部知识事实 (20)
KV 缓存是 Transformer 自回归推理中的核心数据结构，其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。
90%已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长
90%已验证KV Cache占用的显存随序列长度线性增长
90%已验证大型语言模型处理长上下文时，注意力机制的计算复杂度与序列长度的平方成正比
90%已验证PagedAttention是vLLM框架的核心技术，借鉴操作系统虚拟内存管理思想将KV Cache分页存储
90%已验证KV Cache通过缓存已计算的Key/Value矩阵，将推理复杂度从O(n²)降至O(n)
90%已验证PagedAttention将KV缓存分成固定大小的页按需分配，显存利用率可提升2-4倍
85%已验证PagedAttention将KV Cache的内存利用率从不足40%提升至接近100%
85%已验证vLLM 使用 PagedAttention 进行 KV Cache 管理
80%已验证KV Cache 是 Transformer 注意力机制中间态的持久化存储，记录每层注意力头对已处理token的键和值向量，从而跳过重复的前向传播计算
80%已验证分页注意力（PagedAttention）是vLLM的核心技术，将KV缓存分块管理，Flash Attention优化注意力计算的内存访问模式
80%已验证分组查询注意力（GQA）和多查询注意力（MQA）通过让多个Query头共享同一组Key/Value头减小推理时KV Cache显存占用，是Llama 3、Mistral等模型的标配优化
80%已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存
80%已验证LLaMA-2-70B在128K上下文长度下单请求KV Cache可占用超过160GB显存
80%已验证LLaMA-2-7B使用FP16精度时每个token的KV Cache约占0.5MB
80%已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB
80%已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍
80%已验证KV Cache是Transformer架构的核心推理优化机制，其显存占用量会随序列长度和并发批次线性增长
80%已验证PagedAttention技术借鉴操作系统虚拟内存的分页思想，将KV Cache切分为固定大小的物理块动态分配
80%