已验证65% 置信事实精确时间

数千亿参数模型处理128K上下文窗口时，KV Cache可能占据数十GB显存

3

来源数

65%

置信度

长期有效

时效性

2026/7/11

首次发现

来源

GPT-5.6三模型发布：Sol/Terra/Luna全解析与设计判断力突破

redditr/singularity2026/7/9

相关事实

待验证一个200K上下文窗口的请求，其KV Cache可能占据数十GB显存84% 相似已验证当上下文长度扩展至百万Token时，KV Cache本身就会占用数十GB显存81% 相似已验证对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存81% 相似待验证128K指模型的上下文窗口大小，即模型单次可以处理约128,000个Token的输入信息81% 相似已验证128GB的统一内存池意味着可以在本地运行700亿参数量级甚至更大的量化模型80% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/484072

API

curl https://kongchang.com/api/v1/knowledge/claims/484072

MCP

get_claim(id=484072)