Zyphra推出ZHA：让冻结LLM实现亚二次注意力的新路径

从二次复杂度到树形稀疏：ZHA想解决什么问题

Transformer 的注意力机制自诞生起就带着一个结构性负担：序列长度增加时，计算量按二次方膨胀。这让长上下文场景——无论是超长文档推理还是大规模检索——在训练和部署成本上都变得昂贵。行业里围绕稀疏注意力、线性注意力、状态空间模型做了大量探索，但多数方案要么需要从头训练，要么在推理和检索精度上付出明显代价。

据 MarkTechPost 报道，Zyphra AI 提出的 Zyphra Hierarchical Attention（ZHA）走了一条不同的路：它是一种树索引的稀疏注意力方法，通过蒸馏让已经冻结的 LLM 获得稀疏注意力能力，而不需要重新训练基座模型。官方给出的关键结论是，该方法在推理任务和 256K 长度的检索基准上能够匹配稠密注意力。

二次复杂度指标准 Transformer 自注意力中，每个 token 需要与序列中所有其他 token 计算注意力权重，计算量与显存占用都随序列长度 n 以 O(n²) 增长。序列翻倍，注意力矩阵规模变为四倍，这使得 128K 以上的长上下文在训练与推理时成本急剧上升。

稀疏注意力的思路是只计算部分 token 对之间的注意力，把复杂度降到 O(n log n) 或 O(n)。常见形态包括局部窗口注意力、跨步/块稀疏模式，以及结合固定索引的检索式注意力。难点在于：稀疏模式若与模型训练时学到的表示不匹配，精度会明显下降，因此许多稀疏方案要求从头预训练。

蒸馏在此语境下指用稠密注意力模型（教师）的输出分布来训练或适配稀疏注意力模型（学生），使学生逼近教师的预测行为。ZHA 借助蒸馏让冻结的基座模型学会在新的稀疏注意力模式下工作，而不改动原参数。

ZHA 的核心设计：树索引 + 冻结模型改造

树形索引如何组织稀疏注意力

ZHA 的命名直接点明了它的技术取向：Hierarchical，即分层。它把注意力计算组织成一棵树状索引结构，让 token 之间的交互不再需要全量两两配对，而是沿层级路径进行选择性聚合。这正是"subquadratic"（亚二次）的由来——随序列增长，计算量的增长曲线低于二次方。

需要说明的是，原始报道并未披露树的具体构建方式、分支因子或层级深度的细节，因此这里只能确认其方法论定位，不宜对内部机制做过度推断。

用蒸馏而非重训来改造冻结模型

ZHA 更值得关注的一点是"retrofit"思路：基座模型的参数保持冻结，仅通过 4B tokens 的蒸馏让模型学会使用这种稀疏注意力模式。对企业与研究者而言，这意味着已有的模型资产不必推倒重来，改造门槛显著降低。相比从零预训练一个原生稀疏模型，这种后置适配在工程上更现实。

亚二次（subquadratic）复杂度是衡量长上下文方案的核心指标：当序列长度 n 增大时，计算量的增长速度严格慢于 n²。线性注意力、状态空间模型可达 O(n)，树形或层级稀疏通常介于 O(n log n) 与 O(n√n) 之间。判断一个方法是否“真亚二次”，不能只看论文声明的复杂度，还要看实际实现中索引构建、内存访问和 kernel 效率是否引入额外开销，这也是 ZHA 目前缺少效率数据、难以定论的原因。

两个关键验证：推理与 256K 检索

报道给出的评估集中在两类任务上。一是推理（reasoning），ZHA 声称与稠密注意力持平；二是 256K 长度的检索基准，同样匹配稠密注意力。这两项恰好对应稀疏注意力最容易露怯的场景——推理考验模型对远距离依赖的整合能力，超长检索则考验稀疏结构能否在巨大上下文中准确定位信息。

如果这两项结论在更广泛的评测中成立，ZHA 的意义在于说明：稀疏化不一定意味着精度妥协。不过目前公开信息仅覆盖这两个维度，缺少与其他稀疏方案的横向对比，也没有效率侧的具体数据，判断其"真亚二次"的成色还需要更完整的基准。

256K 检索基准通常指“大海捞针”（Needle-in-a-Haystack）一类测试：在极长上下文中埋入一条关键信息，要求模型准确检索并据此回答。它直接检验稀疏注意力能否在压缩计算的同时不丢失对远距离 token 的精确定位能力。检索任务对稀疏结构尤为苛刻，因为被检索的信息可能落在任何位置，任何稀疏模式都可能恰好跳过关键片段。ZHA 声称在该长度上匹配稠密注意力，但报道未说明具体基准名称、评测配置与基线模型，结论的可复现性有待技术报告确认。

这项工作的价值与待解疑问

从路线选择看，ZHA 切中了长上下文落地的一个真实痛点：不是所有团队都有资源重训基座模型，能够低成本给现有模型"加装"长上下文能力的方法，实用价值明显。树索引稀疏注意力本身也并非全新概念，ZHA 的贡献更可能在于把它与冻结模型蒸馏结合，形成一条可复用的改造管线。

同时，几个问题仍然开放：4B tokens 的蒸馏成本在不同规模模型上是否可控；树结构在训练分布之外的任务上是否稳健；以及在与稠密注意力"匹配"的背后，延迟和显存的实际收益有多大。这些都需要 Zyphra 后续放出更详细的技术报告来回答。

对关注长上下文与推理效率的团队来说，ZHA 值得放进观察列表——它代表的"后置稀疏化"思路，可能比又一个新架构更贴近工程现实。