已验证80% 置信基准精确时间
以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限
4
来源数
80%
置信度
长期有效
时效性
2026/7/16
首次发现
来源
相关事实
已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB79% 相似已验证参数量达1750亿的GPT-4级模型，即便以fp8精度存储也需要约175GB显存78% 相似待验证2×80GB GPU运行16-bit精度的70B模型时，权重加载后仅剩2.9 GB显存，仅能容纳约9,000个在途token，实际无法有效服务请求。78% 相似待验证763B 参数模型在 8 位精度下需要约 760GB 以上的显存或内存，BF16 精度下需要约 1.5TB 量级，远超单台主流服务器。77% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/526414API
curl https://kongchang.com/api/v1/knowledge/claims/526414MCP
get_claim(id=526414)