待验证50% 置信事实精确时间
LLaMA 2的70B版本采用8组GQA，将KV缓存减少到MHA的1/4，同时几乎不影响模型质量
1
来源数
50%
置信度
长期有效
时效性
2026/8/31
首次发现
来源
涉及实体
相关事实
待验证GQA 将注意力头分组共享 KV 投影，可将 KV 缓存压缩至原来的 1/4 甚至更低而几乎不损失模型质量64% 相似待验证DeepSeek-V2 论文显示 MLA 可将 KV Cache 显存降低至标准 MHA 的约5%至13%，同时维持相近性能64% 相似待验证MLA通过将KV矩阵压缩为低维潜在向量缓存，理论上可将KV Cache显存占用降低至标准MHA的5%至13%63% 相似待验证MLA（Multi-head Latent Attention）通过低秩压缩将 KV 缓存的显存占用降低至传统 MHA 的约 1/863% 相似待验证Llama 2开放了7B到70B参数规模的模型权重62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/827283API
curl https://kongchang.com/api/v1/knowledge/claims/827283MCP
get_claim(id=827283)