已验证65% 置信基准精确时间
LLaMA-2 7B 在 4096 Token 上下文下 KV Cache 约占 2 GB，扩展到 32K 上下文时可飙升至 16 GB 以上
3
来源数
65%
置信度
长期有效
时效性
2026/7/22
首次发现
来源
相关事实
已验证LLaMA-2-70B在128K上下文长度下单请求KV Cache可占用超过160GB显存81% 相似待验证对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存79% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存79% 相似已验证KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。78% 相似已验证KV缓存的大小与上下文长度线性增长，Qwen 2.5 32B 在64K上下文下的KV缓存可能额外占用数GB内存77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/590379API
curl https://kongchang.com/api/v1/knowledge/claims/590379MCP
get_claim(id=590379)