MHA
多头注意力机制，Transformer架构的核心组件，通过多个独立的注意力头并行处理序列信息，每个头维护独立的Key/Value投影，是标准注意力实现方式
核心事实
时间轴 (近 90 天)
MHA、GQA和MQA的核心差异在于键值头的共享方式：MHA每个查询头有独立键值头，GQA一组查询头共享一组键值头，MQA所有查询头共享一组键值头。
若该70B模型使用经典多头注意力（MHA，64个KV头），相同条件下的KV Cache将膨胀到312.5 GiB。
GQA相比MHA可将KV缓存体积压缩到四分之一，且不明显损失模型质量
GQA可将推理时KV Cache显存降低至MHA的1/4，同时保留比MQA更强的建模能力
MQA将所有Query头共享同一组KV，GQA将若干Query头分为一组共享一组KV，是MHA与MQA的折中方案
GQA（分组查询注意力）是介于多头注意力（MHA）和多查询注意力（MQA）之间的注意力机制，通过将多个 Query 头分组共享 Key-Value 投影来减少 KV Cache 显存占用
全部知识事实 (6)
GQA（分组查询注意力）是介于多头注意力（MHA）和多查询注意力（MQA）之间的注意力机制，通过将多个 Query 头分组共享 Key-Value 投影来减少 KV Cache 显存占用
65%待验证MHA、GQA和MQA的核心差异在于键值头的共享方式：MHA每个查询头有独立键值头，GQA一组查询头共享一组键值头，MQA所有查询头共享一组键值头。
50%待验证若该70B模型使用经典多头注意力（MHA，64个KV头），相同条件下的KV Cache将膨胀到312.5 GiB。
50%待验证GQA相比MHA可将KV缓存体积压缩到四分之一，且不明显损失模型质量
50%待验证GQA可将推理时KV Cache显存降低至MHA的1/4，同时保留比MQA更强的建模能力
50%待验证MQA将所有Query头共享同一组KV，GQA将若干Query头分为一组共享一组KV，是MHA与MQA的折中方案
50%