待验证60% 置信事实精确时间
200K token的上下文请求相比8K token请求，需要约25倍的KV-Cache显存
2
来源数
60%
置信度
长期有效
时效性
2026/7/15
首次发现
来源
相关事实
待验证处理128K Token序列所需的注意力矩阵大小是8K Token序列的256倍72% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存72% 相似部分验证Hugging Face 计算 BF16 下 KV 缓存约每 token 250 KB，完整 100 万 token 上下文约需 266 GB。72% 相似待验证计算机使用功能中，系统提示词增加 466–499 token，每个工具定义增加 735 token，每张截图大约消耗 2,000–5,000 token。71% 相似待验证此前基于沈三叔公开技术文档的方案在16G显存本地环境中解码速度逼近400 token/s、预填充约2500 token/s71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/523832API
curl https://kongchang.com/api/v1/knowledge/claims/523832MCP
get_claim(id=523832)