GQA
一种注意力机制优化技术，通过让多个Query头共享同一组Key/Value头，大幅减少KV Cache的显存占用，同时保持接近多头注意力的模型性能
核心事实
时间轴 (近 90 天)
开发者手动实现了RoPE、GQA、RMSNorm和SwiGLU四个LLaMa核心架构组件，没有依赖现成训练框架。
GQA和MQA在长上下文、大batch的高并发推理场景中节省最显著，但在短序列或小批量场景压缩收益减弱，且需承担表达力下降的风险。
MHA、GQA和MQA的核心差异在于键值头的共享方式：MHA每个查询头有独立键值头，GQA一组查询头共享一组键值头，MQA所有查询头共享一组键值头。
业界常以 GQA、MLA 等架构手段压缩 KV cache。
长上下文会显著推高 KV Cache 的显存占用，工程上常通过分组查询注意力（GQA）、KV Cache 量化或分页管理来缓解。
采用GQA（分组查询注意力）或MLA（多头潜在注意力）的模型能显著压缩KV Cache，是小显存跑长上下文的关键架构前提。
分组查询注意力（GQA）由Ainslie等人于2023年提出，是介于多头注意力（MHA）与多查询注意力（MQA）之间的折中方案。
Llama 3.1 70B采用8个KV头而非64个注意力头，使KV cache体量降至原来的约八分之一。
端侧部署常配套使用 KV cache 量化（如压到 4 或 8 比特）、分组查询注意力（GQA）以及滑动窗口或稀疏注意力等机制
MQA（多查询注意力）让所有头共享一组 KV，相比 GQA，GQA 在质量和效率间取得更好平衡。
还有 40 条时间轴事件
全部知识事实 (20)
分页注意力（PagedAttention）是vLLM的核心技术，将KV缓存分块管理，Flash Attention优化注意力计算的内存访问模式
80%已验证GQA（Grouped-Query Attention）和MQA（Multi-Query Attention）是MLA之前业界通过共享Key/Value头来缓解KV缓存问题的方案
75%已验证GQA（分组查询注意力）是介于多头注意力（MHA）和多查询注意力（MQA）之间的注意力机制，通过将多个 Query 头分组共享 Key-Value 投影来减少 KV Cache 显存占用
65%已验证Flash Attention通过分块计算减少显存访问次数，MQA和GQA通过共享键值头降低计算开销
65%已验证Llama 3 8B有32层、8个KV头（GQA架构，查询头32个）、头维度128，8192上下文FP16单序列下KV缓存约1.07GB
65%待验证分组查询注意力（GQA）在推理效率和模型质量间取得平衡
70%待验证Flash系列模型通常采用更小的参数规模、多查询注意力(MQA)或分组查询注意力(GQA)等高效注意力机制，以及模型蒸馏技术
70%部分验证GPT-OSS采用MOE（混合专家）架构，并结合分组多查询注意力机制（GQA）
65%待验证LFM2.5-24B-A2B 采用 40 层架构：30 个双门控短卷积块 + 10 个 GQA 注意力层，每 MoE 块 64 个专家，top-4 路由，131,072 token 上下文，128K 词表。
60%待验证Llama 3、Qwen2/3等主流开源模型均已采用GQA
60%待验证GQA让多个查询头共享同一组KV头,LLaMA-3 70B使用8个KV头对应64个查询头,KV Cache仅为标准MHA的1/8
60%待验证DeepSeek 8B采用了GQA（Grouped Query Attention）注意力机制以降低推理时的显存占用
60%待验证开发者手动实现了RoPE、GQA、RMSNorm和SwiGLU四个LLaMa核心架构组件，没有依赖现成训练框架。
50%待验证MHA、GQA和MQA的核心差异在于键值头的共享方式：MHA每个查询头有独立键值头，GQA一组查询头共享一组键值头，MQA所有查询头共享一组键值头。
50%待验证GQA和MQA在长上下文、大batch的高并发推理场景中节省最显著，但在短序列或小批量场景压缩收益减弱，且需承担表达力下降的风险。
50%待验证业界常以 GQA、MLA 等架构手段压缩 KV cache。
50%待验证长上下文会显著推高 KV Cache 的显存占用，工程上常通过分组查询注意力（GQA）、KV Cache 量化或分页管理来缓解。
50%待验证采用GQA（分组查询注意力）或MLA（多头潜在注意力）的模型能显著压缩KV Cache，是小显存跑长上下文的关键架构前提。
50%待验证分组查询注意力（GQA）由Ainslie等人于2023年提出，是介于多头注意力（MHA）与多查询注意力（MQA）之间的折中方案。
50%待验证Llama 3.1 70B采用8个KV头而非64个注意力头，使KV cache体量降至原来的约八分之一。
50%