待验证50% 置信事实精确时间

GQA相比MHA可将KV缓存体积压缩到四分之一，且不明显损失模型质量

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

KV缓存显存计算：模型进显存了上下文却爆了

涉及实体

GQAconcept MHAconcept

相关事实

待验证MLA通过将KV矩阵压缩为低维潜在向量缓存，理论上可将KV Cache显存占用降低至标准MHA的5%至13%79% 相似待验证LLaMA 2的70B版本采用8组GQA，将KV缓存减少到MHA的1/4，同时几乎不影响模型质量73% 相似待验证GQA 将注意力头分组共享 KV 投影，可将 KV 缓存压缩至原来的 1/4 甚至更低而几乎不损失模型质量71% 相似待验证GQA和MLA等技术可显著压缩KV缓存大小，DeepSeek V3采用了MLA来降低长上下文场景的内存开销70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/915869

API

curl https://kongchang.com/api/v1/knowledge/claims/915869

MCP

get_claim(id=915869)