待验证50% 置信事实精确时间

以LLaMA-3 70B模型为例，在80层、head_dim=128、BF16精度下，每个token大约占用80KB的KV缓存

1

来源数

50%

置信度

长期有效

时效性

2026/10/1

首次发现

来源

持久化KV缓存连接器：跨请求与重启复用的LLM推理优化思路

涉及实体

LLaMA-3 70Bmodel

相关事实

已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存75% 相似待验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存74% 相似已验证70B级别的模型即便经过量化，往往也需要40GB以上显存或多卡配置74% 相似待验证对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存74% 相似待验证M2 Max（96GB统一内存）理论上可流畅运行70B级别的量化模型73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/966060

API

curl https://kongchang.com/api/v1/knowledge/claims/966060

MCP

get_claim(id=966060)