AKV

目前AKV的公开信息集中在方法层面，具体接口设计、调度策略和不同模型上的适配效果尚待社区检验。

官方数据显示，AKV在4个智能体基准测试上将平均成本降低了27.7%。

AKV在SGLang基础上扩展了缓存编辑能力，允许智能体主动丢弃或重新定位缓存片段。

27.7%的平均成本下降来自4个智能体基准的平均值，不同任务类型的收益可能有明显差异。

清华大学研究团队开源了基于SGLang的LLM智能体缓存工程服务系统AKV。

AKV允许智能体在推理过程中丢弃和重新定位KV缓存，而非依赖总结来压缩历史。

在AKV引擎上，输出吞吐量最高提升1.2倍，P95请求延迟加速1.5倍。

AKV引擎的开源代码已在GitHub发布，为后续研究提供了可复现的基础。

论文作者设计了AKV服务引擎，在内部管理有状态的缓存复用、驱逐与恢复，同时对外提供无状态接口，兼容现有服务API。