待验证50% 置信事实精确时间

对于长上下文请求，KV cache 的数据量可达数 GB

1

来源数

50%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

vLLM v0.30.0rc2 发布：修复NIXL通知请求处理问题

涉及实体

KV cacheconcept

相关事实

待验证建议在显存允许时将KV cache精度保持在8-bit或16-bit，尤其在长上下文或精确工具调用场景79% 相似已验证当上下文长度扩展至百万Token时，KV Cache本身就会占用数十GB显存76% 相似待验证在自回归推理中，KV cache的显存占用随序列长度线性增长，长上下文时可能与权重体积相当或更高76% 相似待验证短期工作记忆即上下文窗口通常为8K至128K tokens，长期记忆通常以向量数据库形式存储73% 相似已验证数千亿参数模型处理128K上下文窗口时，KV Cache可能占据数十GB显存73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/933353

API

curl https://kongchang.com/api/v1/knowledge/claims/933353

MCP

get_claim(id=933353)