待验证50% 置信事实精确时间
vLLM v0.28.0 的分层 KV 卸载（Tiered KV offloading）新增了磁盘层（disk tier），并支持树外（out-of-tree）二级缓存层
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/9/12
首次发现
有效期至：2026/12/11
来源
涉及实体
相关事实
待验证KV缓存运行时提供一种低成本、细粒度、实时的干预能力，填补了模型微调与外部脚手架之间的空白64% 相似已验证KV缓存的大小与上下文长度线性增长，Qwen 2.5 32B 在64K上下文下的KV缓存可能额外占用数GB内存64% 相似待验证将 KV 缓存从 FP16 降至 INT8 可节省 50% 显存，降至 INT4 则节省 75%63% 相似待验证VRAM 成为本地 LLM 上下文瓶颈的根本原因在于 KV Cache 机制，7B 模型每 1K token 的 KV Cache 约需 0.5–1GB 显存62% 相似已验证LLaMA-2 7B 在 4096 Token 上下文下 KV Cache 约占 2 GB，扩展到 32K 上下文时可飙升至 16 GB 以上61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/912419API
curl https://kongchang.com/api/v1/knowledge/claims/912419MCP
get_claim(id=912419)