缓存工程：突破LLM智能体长任务瓶颈

随着大语言模型（LLM）智能体处理的任务日益复杂，其生成的观察与动作轨迹不断拉长，键值（KV）缓存的I/O与存储开销逐渐成为系统瓶颈。传统方法通过上下文工程裁剪或摘要历史来缩减缓存，却会破坏轨迹前缀的连续性，导致保留上下文需要重新预填充（re-prefill），既增加延迟又可能牺牲任务准确率。近期一篇论文提出“缓存工程”（Cache Engineering）的新思路：让智能体直接操控活跃KV缓存，而无需修改轨迹或重新预填充。

缓存工程的核心机制

缓存工程的核心在于两项操作：drop 和 repos。drop 允许智能体主动将选定的缓存排除在未来注意力计算之外；repos 则调整保留键的位置编码。这两种操作直接作用于KV缓存，不触碰原始轨迹，因而避免了前缀无效化问题。

该论文将这类操作形式化，并指出一个关键的服务挑战：历史依赖性。相同的token序列在不同缓存操作序列下可能产生不同的缓存状态，这使得仅靠前缀匹配无法正确复用缓存。为此，作者设计了AKV服务引擎，在内部管理有状态的缓存复用、驱逐与恢复，同时对外提供无状态接口，兼容现有服务API。

KV缓存与预填充：在大语言模型推理中，Transformer的自注意力机制需要为每个已生成的token保存键（Key）和值（Value）向量，即KV缓存。当处理长轨迹时，缓存会随序列长度线性增长。预填充（prefill）指模型在生成第一个token前，对输入序列进行前向计算并建立KV缓存的过程；若缓存被破坏或前缀不连续，模型必须重新执行预填充，这会带来显著的延迟和计算开销。缓存工程的目标正是避免这种重新预填充。

位置编码与RoPE：现代LLM常采用旋转位置编码（RoPE），它通过旋转键向量来注入位置信息。repos操作调整保留键的位置编码，实质是修改这些键在注意力计算中的相对位置，从而在不改变原始token序列的情况下重新组织缓存。这要求服务引擎能够追踪并更新每个键的位置状态，增加了缓存管理的复杂性。

性能验证：成本与延迟双降

实验表明，与传统的阈值触发摘要方法相比，采用工具响应滚动丢弃（rolling-drop）缓存策略后，基准测试平均分提升1.7分，平均成本降低27.7%。在AKV引擎上，输出吞吐量最高提升1.2倍，P95请求延迟加速1.5倍。更引人注目的是，缓存策略的递归自我改进（recursive self-improvement）在专家设计基础上进一步降低成本7.1%。

这些数据来自单一论文的实验设置，但覆盖了多个基准测试，且与主流摘要方法进行了对比，结论具有一定说服力。

P95延迟与输出吞吐量：P95请求延迟指95%的请求完成时间不超过该值，是衡量服务响应稳定性的关键指标；输出吞吐量则指单位时间内系统生成的token数量。这两个指标共同反映推理服务的效率。实验中P95延迟加速1.5倍意味着尾部延迟显著降低，对交互式智能体应用尤为重要。

递归自我改进：指智能体利用自身运行数据或反馈来迭代优化其缓存策略，例如通过搜索或学习调整drop和repos的规则参数。这种机制让策略在专家设计基础上自动进化，无需人工干预，但需注意其优化效果可能受限于训练数据分布和评估基准。

为什么缓存工程值得关注

当前智能体落地的痛点之一便是长上下文的成本与延迟。缓存工程提供了一种更精细的控制粒度：不是粗暴地截断或重写历史，而是像管理内存一样管理KV缓存。这对于需要多轮工具调用、长轨迹规划的任务尤为关键。

此外，AKV引擎的设计思路——无状态接口、有状态内部——降低了与现有推理服务的集成门槛。开源代码已在GitHub发布，为后续研究提供了可复现的基础。

未来，缓存策略的自动化优化（如递归自我改进）可能成为智能体自我演进的重要方向。不过，历史依赖性带来的缓存复用复杂性仍需在更多场景下验证。