部分验证65% 置信事实精确时间
Hugging Face 计算 BF16 下 KV 缓存约每 token 250 KB，完整 100 万 token 上下文约需 266 GB。
3
来源数
65%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
涉及实体
相关事实
待验证在替换后的模型中，绑定embedding/lm_head矩阵保持bf16，因此每个token实际读取约1.263 GB权重（外加约0.06 GB KV cache），按实际移动字节计算，25.5 tok/s相当于约34 GB/s，约为实测带宽的10%。75% 相似已验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存74% 相似待验证KV cache 大小可用公式 cache = 2 (K and V) × layers × KV heads × head dim × tokens × 2 bytes 表达，其中 2 bytes 对应 FP16，使用 FP32 时翻倍，使用 INT8 量化则减半。74% 相似已验证对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存74% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1041160API
curl https://kongchang.com/api/v1/knowledge/claims/1041160MCP
get_claim(id=1041160)