FlexBudget：在统一算力预算下公平比较KV缓存淘汰策略

长上下文推理中，KV 缓存的膨胀是一个绕不开的工程难题。AMD 工程师 Huan Ran 在 PyTorch Conference North America 2026 的海报展示中，提出了一个名为 FlexBudget 的方案，试图解决一个长期被忽视的方法论问题：当不同团队提出各种 KV 缓存淘汰规则时，我们究竟是在比较规则本身的优劣，还是在比较谁的 CUDA kernel 写得更快？

问题：规则与实现纠缠在一起

当模型处理超长上下文时，KV 缓存会变得极其庞大，无法全部保留。于是研究者提出各种淘汰策略：保留最近的 token、保留注意力分数最高的 token、或者结合位置与注意力权重的混合规则。

问题在于，每一种方法通常都自带一套定制 kernel，规则和实现被紧密绑定。这意味着当方法 A 在某个 benchmark 上跑赢方法 B 时，你无法判断到底是 A 的淘汰逻辑更聪明，还是 A 的 kernel 恰好对当前硬件更友好。据 Huan Ran 在演讲中的描述，这种混淆让学术界和工程界很难得出可靠结论。

KV 缓存（KV Cache） 是 Transformer 自回归推理中的核心数据结构。生成每个新 token 时，模型需要重新计算它与所有历史 token 的注意力（attention），而 KV 缓存把历史 token 的 Key 和 Value 向量保存下来，避免重复计算。缓存大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。以 70B 级模型、32K 序列为例，缓存可轻松达到数十 GB，甚至超过模型权重本身。上下文越长，缓存线性增长，显存带宽和容量成为推理吞吐的主要瓶颈。因此淘汰（eviction）低价值 token 的 KV 条目，成为长上下文推理降本的关键手段。

FlexBudget 的做法：固定一切，只换规则

FlexBudget 的核心思路非常直接——固定 kernel 和显存预算，只替换淘汰规则本身。同样的代码、同样的算力额度，让不同策略在完全公平的条件下对垒。

根据 Huan Ran 的介绍，该方法具有两个关键特性：

• Training-free：不需要任何额外训练或微调即可使用
• All core PyTorch：完全基于 PyTorch 原生实现，不依赖定制 CUDA 扩展

从工程角度看，"全核心 PyTorch 实现"意味着 FlexBudget 可以在不同硬件后端上保持一致性，降低了复现门槛，也让方法对比脱离了硬件细节的干扰。

Training-free 指方法不需要任何梯度更新或微调即可直接作用于已训练好的模型。对 KV 缓存淘汰而言，这意味着淘汰决策完全由推理时可见的信号（如注意力分数、token 位置、最近性）在线计算，不引入额外参数，也不改变原模型权重。其优势是部署成本低、可即插即用，且不破坏原模型能力；代价是规则设计只能依赖推理时统计量，无法像学习式方法那样自适应优化。FlexBudget 选择 training-free 路线，进一步保证了不同规则之间比较的纯粹性。

核心 PyTorch（All core PyTorch） 指实现只使用 PyTorch 框架自带的标准算子与 API，不编写或依赖定制 CUDA/C++ 扩展。定制 kernel 通常针对特定 GPU 架构做手工优化，能带来显著加速，但也导致方法难以跨硬件迁移、复现门槛高，且性能收益与算法贡献难以分离。纯 PyTorch 实现虽然可能牺牲部分峰值性能，却换来了硬件无关性与可复现性，在方法学比较场景中反而更具价值——它把“规则优劣”从“工程实现优劣”中剥离出来。

为什么这件事值得关注

KV 缓存优化是长上下文推理降本增效的关键环节，但目前该领域的方法论基础并不牢固。大多数论文在报告结果时，会把规则改进和工程优化打包呈现，读者很难拆解贡献来源。

FlexBudget 的价值不一定在于提出了某个全新的淘汰规则，而在于它提供了一种更干净的实验范式。当 kernel 和预算被统一后，研究者可以更清晰地回答"哪种注意力信号更值得保留"这类基础问题。

对于在实际系统中部署长上下文推理的工程师来说，这种可比较性同样重要——你需要的不是某个 benchmark 上的最优数字，而是在自己的硬件和预算约束下，哪一种淘汰规则真正更有效。

Huan Ran 将在 PyTorch Conference North America 2026 的海报环节（10 月 20 日，Community 区域）展示这一工作，感兴趣的研究者可以现场交流细节。

实验范式（experimental paradigm） 在这里指控制变量后的方法比较框架：固定 kernel、固定显存预算、固定硬件与精度，仅让淘汰规则这一自变量变化。传统 KV 缓存研究常把规则设计与 kernel 优化捆绑发布，导致结果差异无法归因。干净的实验范式借鉴了系统研究中的“隔离变量”原则，使结论具备可迁移性。对学术界而言，它让不同团队的规则可以在同一基线上公平对垒；对工程界而言，它提供的可比较性比单一 benchmark 的最优数字更有决策价值。