Latent Sparse Attention突破百万级上下文瓶颈

随着智能体工作流向长周期任务演进，模型对超长上下文的需求日益迫切。然而当上下文长度超过百万token时，全注意力机制的计算成本变得难以承受。稀疏注意力被视为有前景的解决方案——通过专用索引器为每个查询挑选部分键进行计算，从而降低开销。但现有索引方法要么在上下文规模上仍保持二次方成本，要么在超长上下文下损失精度。Latent Sparse Attention（LSA）正是为破解这一两难而提出的高效注意力方法。

稀疏注意力的精度与效率困局

稀疏注意力的核心在于索引器：它负责从海量键中筛选出与当前查询最相关的子集，让注意力计算只在这个子集上进行。理想情况下，索引器本身的计算量应远低于全注意力，同时筛选结果要足够准确，以免丢失关键信息。

现实是，当前主流索引方法在超长上下文场景下难以两全。一类方法虽然降低了注意力的计算量，但索引过程本身仍随上下文长度呈二次方增长，当上下文达到百万token级别时，这部分开销重新成为瓶颈。另一类方法虽然把索引成本压了下来，却在上下文拉长后出现明显的精度退化，模型对远距离信息的利用能力下降。LSA的作者将这一矛盾作为设计出发点，目标是在保持超长上下文精度的同时，让索引和注意力都走向次二次方复杂度。

全注意力与二次方复杂度：标准自注意力中每个查询都要与所有键计算相似度，计算量为 O(n²d)（n 为序列长度，d 为头维度）。当 n 从 128k 增至 1M 时，注意力矩阵元素数量增长约 64 倍，显存与算力开销随之爆炸式上升。稀疏注意力通过让每个查询只与 k 个键交互，把复杂度降为 O(nkd)，但额外引入了“如何选出这 k 个键”的索引成本——这正是 LSA 试图解决的核心问题。

预填充与解码的差异：预填充阶段一次性处理整段提示，是大规模矩阵乘，算力密集、并行度高；解码阶段逐 token 生成，每步只处理一个查询，但需反复读取 KV Cache，访存密集、对延迟敏感。两者瓶颈不同，因此同一索引方法在两个阶段的加速比往往差异显著，LSA 分别报告两组数据正源于此。

LSA如何用层次化聚类绕开逐键打分

LSA的核心思路是在学习得到的潜在空间中对键进行层次化聚类，查询不再逐一给每个键打分，而是对聚类形成的层次结构打分。这样一来，查询只需沿着层次树自上而下地评估少量聚类节点，就能定位到需要参与注意力计算的键子集，避免了对全部键的线性扫描。

这种设计的直接收益体现在三个环节：预填充（prefill）、解码（decode）和训练。在长上下文下，三者都能因索引成本的下降而加速。由于聚类结构是在潜在空间中学习得到的，索引器能够以较小的开销自适应数据分布，而不是依赖固定的启发式规则。论文强调，这使得LSA在超长上下文下仍能维持精度，而非以精度换速度。

潜在空间与层次化聚类：潜在空间指模型内部经过投影得到的低维表示空间。LSA 先将键映射到该空间，再用树状结构（类似层次 k-means 或可学习的路由树）逐层分组：根节点代表全部键，越往下划分越细。查询从根开始，每层只对少量候选聚类打分并选择若干分支下行，最终到达叶节点对应的键子集。这种“粗到细”的检索把打分次数从 O(n) 降到 O(log n) 量级，且树结构可预计算、随数据分布学习更新，避免了对全部键的线性扫描。

两种落地路径：蒸馏与原生训练

为了适配不同的模型使用场景，LSA给出了两个变体。Distilled-LSA（D-LSA）面向已经预训练好的模型，通过蒸馏方式将LSA能力注入现有模型，无需从头训练。这对于希望以较低成本升级长上下文能力的团队来说是一条务实路径。

Native-LSA（N-LSA）则是在仅使用下一token损失的条件下原生训练，不依赖蒸馏信号。这种方式更贴近从头设计长上下文模型的思路。实验显示，N-LSA在128k token上下文下达到与全注意力相当的精度，同时单层训练速度提升1.6倍。这一结果说明，层次化索引不仅是一种推理期优化，也可以成为训练期的原生结构。

知识蒸馏：蒸馏让一个已训练好的“教师”模型（此处为全注意力或更强模型）的输出分布指导“学生”模型（注入 LSA 结构的模型）学习。D-LSA 借助这一机制，在不改动原有预训练权重主体的前提下，用教师注意力行为校准新索引器，使存量模型低成本获得长上下文能力，无需重跑昂贵的预训练。

下一 token 损失：即标准的自回归语言建模目标，仅要求模型预测序列中下一个 token。N-LSA 只用该损失训练，意味着索引器与注意力结构完全从语言建模信号中端到端学得，不依赖额外的蒸馏监督，因而更接近从零设计长上下文模型的路径，也更能检验该结构本身的学习能力。

实测加速：预填充与解码的显著收益

论文在GLM-5.3-FLASH（QWEN-3.8-27B）上给出了10M token上下文下的对比数据。D-LSA相比其原有的稀疏注意力，单层预填充加速22.7倍，解码加速4.6倍；若与全注意力相比，预填充加速达72.4倍，解码加速达42.5倍。在取得这些加速的同时，模型在多种任务上的精度保持相近水平。

这组数据的分量在于上下文规模——10M token远超常规评测范围，正是全注意力成本最难以承受的区间。说个细节，加速倍数在两个对比基准上差异明显：相对稀疏注意力是数倍到数十倍，相对全注意力则是数十倍量级，这本身也反映出原有稀疏注意力在超长上下文下仍存在可观的索引开销，而LSA把这块成本进一步压缩了。

对超长上下文应用的意义

LSA的价值不只在于单层注意力提速。智能体工作流中的开放式科研、长文档理解、多轮工具调用等任务，都依赖模型在极长上下文中保持信息连贯。如果注意力层在百万级token下仍能高效运行，模型设计者就有更大空间把上下文窗口继续拉长，而不必在成本与精度之间反复妥协。

从方法层面看，LSA把索引问题转化为潜在空间中的层次化检索问题，这为后续研究提供了一个可延展的框架：聚类结构如何随任务自适应、蒸馏与原生训练如何互补、层次深度与精度之间如何权衡，都是值得继续探索的方向。论文给出的两个变体也说明，长上下文能力的升级可以分两条腿走路——既服务存量模型，也支持新模型的原生设计。