已验证75% 置信事实精确时间
序列长度为4096时，N×N注意力矩阵在FP16精度下仅此一项就消耗约64MB显存
3
来源数
75%
置信度
长期有效
时效性
2026/7/15
首次发现
来源
相关事实
待验证Qwen3-27B的16个全注意力层每层拥有4个KV头、256的头维度，在16位精度下每个Token占用64KB77% 相似待验证128K长度的序列所需的注意力计算量是4K长度序列的1024倍76% 相似待验证170k tokens场景下，注意力得分矩阵在BF16精度下约需54GB显存（170000×170000×2字节）76% 相似待验证即便采用INT8量化和优化注意力机制，24GB显存显卡在面对2.5mp加12秒的生成任务时仍可能显存不足75% 相似已验证以70B参数模型、FP16精度、32层注意力头为例，单条200K长度请求的KV Cache约需80-120GB显存，远超单张A100 GPU的80GB显存上限74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/512122API
curl https://kongchang.com/api/v1/knowledge/claims/512122MCP
get_claim(id=512122)