待验证50% 置信事实精确时间
对于一个32层、4096维的模型,处理2048个Token的KV Cache约占用1GB显存
1
来源数
50%
置信度
长期有效
时效性
2026/9/10
首次发现
来源
涉及实体
相关事实
已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存80% 相似已验证对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存80% 相似待验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存78% 相似待验证对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存76% 相似待验证该配置实现了262K超长上下文、KV Cache Q4量化和MTP投机采样三项优化，将24GB显存利用率压榨到99%76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/887070API
curl https://kongchang.com/api/v1/knowledge/claims/887070MCP
get_claim(id=887070)