待验证50% 置信事实精确时间

自回归解码在批大小为1时算术强度约等于隐藏层维度（通常4096至16384），而现代GPU峰值算术强度往往超过200，导致解码处于内存带宽受限状态

1

来源数

50%

置信度

长期有效

时效性

2026/7/8

首次发现

来源

DeepSeek开源DiSpark：不换显卡让AI推理提速85%

bilibili枫叶边城2026/7/4

相关事实

已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限72% 相似已验证参数量达1750亿的GPT-4级模型，即便以fp8精度存储也需要约175GB显存70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/268031

API

curl https://kongchang.com/api/v1/knowledge/claims/268031

MCP

get_claim(id=268031)