MLA
DeepSeek设计的多头潜在注意力机制架构，DSpark投机解码算法针对该架构特点进行了专项工程优化
核心事实
时间轴 (近 90 天)
MLA技术由DeepSeek在V2中首次提出，核心是将KV缓存投影到低维潜在向量以压缩显存占用。
Mistral Large 4采用DeepSeek发布的MLA（多头潜在注意力）和DSA（DeepSeek稀疏注意力）机制。
业界常以 GQA、MLA 等架构手段压缩 KV cache。
KV共享可以与内存高效的序列混合器（如多头潜在注意力MLA和Kimi delta attention）叠加使用，具有正交性。
Flash MLA 是专门针对 MLA 压缩 KV 缓存格式优化读取和注意力计算的 GPU 算子，采用类似虚拟内存的分页管理。
采用GQA（分组查询注意力）或MLA（多头潜在注意力）的模型能显著压缩KV Cache，是小显存跑长上下文的关键架构前提。
Max配置因采用MLA压缩KV缓存，能把更大的专家阵列塞进HBM3e内存，等效批处理规模相比同类模型可提升30%至40%。
部署V4.1 Flash 1017必须启用分页注意力（如vLLM），否则KV缓存内部碎片会抵消MLA架构带来的全部收益。
WordCraft 的引用功能支持目录、脚注、APA、MLA、Chicago 和 IEEE 格式的引文，以及索引和题注。
TokenSpeed 的 MLA 解码内核在典型投机解码工作负载下，延迟约为 TensorRT-LLM 的一半。
还有 15 条时间轴事件
全部知识事实 (20)
DeepSeek采用了混合专家架构（MoE）和多头潜在注意力机制（MLA）
80%已验证MLA可将KV Cache的显存占用降低至传统多头注意力的5%-13%
75%已验证Multi-Head Latent Attention（MLA）是DeepSeek-V2提出的注意力机制
75%已验证GQA（Grouped-Query Attention）和MQA（Multi-Query Attention）是MLA之前业界通过共享Key/Value头来缓解KV缓存问题的方案
75%已验证MLA将KV对压缩到低维潜在空间中进行缓存，推理时通过上投影矩阵恢复完整的Key和Value，将KV缓存压缩了数倍
75%已验证DeepSeek发布了DeepSeek-V4.1-Flash，该方法对KV缓存所需内存进行了大幅压缩
70%待验证MLA中RoPE只对部分维度施加旋转编码，采用分离式设计将一小部分维度专门用于承载RoPE位置编码，与压缩后的内容向量拼接使用
85%待验证DeepSeek V4系列采用了MLA、MoE路由优化以及NSA等创新架构技术
85%待验证量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用
70%待验证DeepSeek-V2提出MLA（Multi-head Latent Attention），通过低秩压缩将KV Cache压缩至MHA的5%左右
70%待验证DeepSeek的前缀缓存实现基于MLA（Multi-head Latent Attention）架构，MLA通过低秩压缩将KV Cache的存储需求降低了数十倍
60%待验证MLA技术由DeepSeek在V2中首次提出，核心是将KV缓存投影到低维潜在向量以压缩显存占用。
50%待验证Mistral Large 4采用DeepSeek发布的MLA（多头潜在注意力）和DSA（DeepSeek稀疏注意力）机制。
50%待验证业界常以 GQA、MLA 等架构手段压缩 KV cache。
50%待验证KV共享可以与内存高效的序列混合器（如多头潜在注意力MLA和Kimi delta attention）叠加使用，具有正交性。
50%待验证Flash MLA 是专门针对 MLA 压缩 KV 缓存格式优化读取和注意力计算的 GPU 算子，采用类似虚拟内存的分页管理。
50%待验证采用GQA（分组查询注意力）或MLA（多头潜在注意力）的模型能显著压缩KV Cache，是小显存跑长上下文的关键架构前提。
50%待验证部署V4.1 Flash 1017必须启用分页注意力（如vLLM），否则KV缓存内部碎片会抵消MLA架构带来的全部收益。
50%待验证Max配置因采用MLA压缩KV缓存，能把更大的专家阵列塞进HBM3e内存，等效批处理规模相比同类模型可提升30%至40%。
50%待验证WordCraft 的引用功能支持目录、脚注、APA、MLA、Chicago 和 IEEE 格式的引文，以及索引和题注。
50%