产品
LMCache
大模型推理KV缓存管理系统，支持多级存储（GPU HBM/CPU DRAM/SSD）扩展，旨在降低长上下文推理的显存占用和成本
时间轴 (近 90 天)
10月19日
Mooncake、LMCache 这类系统围绕“以 KV Cache 为中心”的调度来设计，把缓存复用与分层卸载做成独立服务。
待验证50%
9月16日
Mooncake、LMCache、FlexGen、InfiniGen、AttentionStore等系统尝试用CPU DRAM和SSD扩展GPU显存容量
待验证50%