稀疏注意力：长上下文LLM降本之道与遗漏之殇

稀疏注意力已成为长上下文大语言模型降低计算成本的主流方案，但它并非没有代价。当同一段提示词经过不同稀疏策略时，模型实际"看到"的证据集可能截然不同——这种差异直接影响输出质量与可靠性。

三种稀疏策略，三种证据视角

当前主流的稀疏注意力实现大致可分为三类：全到达（full reach）、滑动窗口（sliding windows）以及学习型选择器（learned selectors）。三者的核心差异在于token之间的可见性规则。

全到达策略保留全局连接，但通过下采样或分块聚合降低计算量；滑动窗口仅允许每个token关注邻近区域，天然适合局部依赖强的任务；学习型选择器则通过轻量网络动态预测哪些token对当前查询最重要。

关键问题在于：同一个提示词喂给这三种策略，模型构建的"证据集"（evidence set）完全不同。全到达可能遗漏远处细节，滑动窗口对跨段落推理几乎失明，学习型选择器则受训练分布制约。

注意力复杂度 O(n²) 与 O(n) 的含义

标准自注意力中，每个 token 需要与序列中所有其他 token 计算相关性，因此注意力矩阵规模为 n×n，计算与显存开销随上下文长度 n 呈平方级增长（O(n²)）。当 n 从 4K 扩展到 128K 时，矩阵元素数量增加约 1000 倍，这正是长上下文模型的主要瓶颈。稀疏注意力通过限制每个 token 实际参与的连接数，使总连接量随 n 近似线性增长（O(n)）或 O(n log n)。理解这一量级差异，是判断某种稀疏策略是否"划算"的前提：它并非让每个 token 看到更少以外的信息，而是改变了信息可见性的拓扑结构。

成本下降的背后逻辑

稀疏注意力的降本效果来自注意力矩阵的稀疏化。标准自注意力计算复杂度为O(n²)，当上下文长度扩展到数万甚至数十万token时，显存和算力开销急剧攀升。稀疏方法将每个token的注意力范围限制在常数或亚线性级别，使复杂度降至O(n)或O(n log n)。

这种降本并非无损压缩。模型被迫在有限注意力预算内做取舍，哪些信息值得保留、哪些可以丢弃，成为设计核心。滑动窗口假设局部性优先，学习型选择器依赖数据驱动的重要性判断——两者都可能在高难度长距离依赖任务上失手。

什么是"学习型选择器"

学习型选择器（learned selector）通常是一个轻量级网络（如小型 MLP 或低秩投影），它接收当前查询向量与候选 token 的键向量，快速打分并选出 Top-k 个最相关的 token 参与真正的注意力计算。与固定规则的滑动窗口不同，选择器的"重要性"判断来自训练数据中的统计规律，因此它可能学到"哪种 token 通常在长距离上更有用"。但这也意味着它的行为高度依赖训练分布：一旦推理任务的证据模式与训练时不同，选择器可能给出系统性错误的打分。这类方法在实现上常与"路由"或"token 剪枝"结合，进一步压缩计算量。

遗漏了什么：三个被忽视的风险

跨段落证据链断裂。 当答案需要综合文档中相距较远的多个片段时，滑动窗口和保守的稀疏策略容易丢失关键连接。这在多跳问答、法律合同分析等场景中尤为致命。

选择器的分布外失效。 学习型选择器在训练分布内表现良好，但面对新领域或新任务格式时，其重要性预测可能系统性偏差，导致模型持续忽略真正相关的证据。

评估盲区。 多数长上下文基准侧重单点检索或局部理解，对"需要全局证据整合"的任务覆盖不足。这意味着稀疏模型的真实缺陷可能未被现有评测充分暴露。

实践中的权衡建议

选择稀疏策略时，不能只看吞吐量提升。若任务以局部模式匹配为主（如代码补全、日志分析），滑动窗口性价比极高；若涉及跨文档推理或长链因果分析，学习型选择器或混合策略更稳妥，但需在目标领域做充分验证。

更务实的做法是：将稀疏策略视为可调参数而非固定架构。根据任务类型动态切换注意力模式，或在关键层保留全注意力、在浅层使用稀疏化，可能是平衡成本与质量的折中路径。

长上下文的"长"不只是token数量，更是证据跨度的挑战。稀疏注意力让模型跑得更快，但跑得快不等于看得全——认清每种策略遗漏了什么，比盲目追求降本更重要。

混合策略与分层稀疏

混合策略指在同一模型的不同层或不同头配置不同的注意力模式。例如，浅层负责局部语法和词序，使用滑动窗口即可；深层负责语义整合和长距离推理，保留全注意力或使用学习型选择器。这种分层设计借鉴了"浅层局部、深层全局"的经验观察，能在不显著增加成本的前提下提升全局证据整合能力。实现上可通过为每层指定不同的稀疏配置来完成，也可让模型在推理时根据输入动态选择。其代价是工程复杂度上升，且需要针对具体任务做调优，因此更适合对质量敏感、且已有明确评估集的场景。

背景补充

分布外（OOD）失效的典型表现

分布外指推理时遇到的数据分布与训练分布不一致，例如训练语料以新闻和网页为主，而推理时面对代码仓库或医学病历。学习型选择器在这种场景下可能持续忽略关键证据，原因在于其重要性打分函数的参数被训练分布"锁死"，无法泛化到新领域。更隐蔽的是，这种失效往往不会表现为明显的崩溃，而是输出看似流畅却遗漏关键事实的答案，增加了排查难度。应对方式包括在目标领域做少量微调、引入规则兜底，或采用混合策略在关键层保留全注意力。