已验证65% 置信事实精确时间
KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。
3
来源数
65%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
已验证LLaMA-2 7B 在 4096 Token 上下文下 KV Cache 约占 2 GB，扩展到 32K 上下文时可飙升至 16 GB 以上78% 相似待验证FP8 KV cache是将注意力机制中的Key-Value缓存从FP16或BF16压缩到8位的量化技术，可将KV cache显存占用减半77% 相似待验证对于典型配置（L 层、隐藏维度 d、GQA 且 KV 头数为 h），每个 token 的 KV Cache 大小约为 2 × L × h × d_head × 字节数。77% 相似待验证对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存76% 相似已验证KV缓存的大小与上下文长度线性增长，Qwen 2.5 32B 在64K上下文下的KV缓存可能额外占用数GB内存76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1041471API
curl https://kongchang.com/api/v1/knowledge/claims/1041471MCP
get_claim(id=1041471)