Google新型线性注意力Muir：25MB状态容纳1000万token

线性注意力的「状态瓶颈」被重新审视

Transformer 的注意力机制虽然强大，但其显存占用随序列长度平方级增长的问题始终是长上下文场景的痛点。线性注意力（Linear Attention）试图用固定大小的状态来压缩历史信息，从而将复杂度降到线性。然而，固定状态意味着信息有损压缩，如何高效地“记住”长序列中的关键信息，一直是该方向的核心挑战。

Google Research 近期提出的 Muir 模型，正是在这一背景下给出了一种新解法。据 Reddit 社区 r/MachineLearning 的讨论帖，Muir 通过敏感度分配的门控机制（Sensitivity-Allocated Gating）与匹配滤波读出（Matched-Filter Readout），实现了用约 25MB 的状态存储 1000 万 token 的上下文。这一数据来自原论文摘要，在社区中引发了关于线性注意力是否迎来实用拐点的讨论。

线性注意力与 KV Cache：标准 Transformer 的自注意力需要为每个 token 保存 Key 和 Value 向量，形成随序列长度线性增长的 KV Cache，且注意力计算本身是序列长度的平方复杂度。线性注意力通过核函数近似或递推形式，把历史信息压缩进一个固定尺寸的循环状态矩阵，使每一步只需常数级计算与存储。代价是状态容量有限，长序列中早期信息会被不断覆盖。Mamba、RWKV 等状态空间模型走的是同一条“固定状态”路线，区别在于状态转移的参数化方式与是否支持并行训练。理解这一点，就能明白为何“状态里究竟保留了什么”成为该方向的核心问题。

两大核心机制：门控分配与匹配滤波

敏感度分配门控：让状态“知道”该记住什么

传统线性注意力通常使用固定的衰减或更新规则来维护状态矩阵。Muir 的改进在于引入了“敏感度”这一概念——根据输入内容对最终输出的影响程度，动态分配门控资源。换句话说，模型会评估每个 token 的信息对后续预测的重要性，并将有限的状态容量优先留给那些“敏感”的信息。

这种设计思路与人类记忆的选择性注意有相似之处：并非所有输入都同等重要，关键信息需要被强化保留。从工程角度看，敏感度分配意味着门控不再是静态超参数，而是与输入内容耦合的动态过程，这提升了状态表示的效率。

匹配滤波读出：从压缩状态中精准提取

如果说门控决定了“写什么”，那么读出机制决定了“怎么读”。Muir 采用了匹配滤波（Matched-Filter）式的读出策略。匹配滤波是信号处理中的经典概念，指用与信号特征相匹配的滤波器来最大化信噪比。在注意力场景下，这意味着查询向量与状态之间的交互不是简单的点积，而是经过一种与历史信息模式对齐的读出操作，从而更精确地还原被压缩的上下文。

这两大机制相辅相成：门控负责高效写入，匹配滤波负责精准读取，共同支撑起超长上下文下的信息保真度。

匹配滤波（Matched Filter）：源自雷达与通信信号处理，指在已知信号波形的前提下，设计滤波器使输出信噪比最大化，其最优解是信号模板的共轭相关。直观地说，就是用“与目标信号最相似的模板”去和接收信号做相关运算，从而在噪声中凸显目标。在注意力语境下借用这一概念，意味着读出阶段不是让查询向量对状态做无差别加权，而是让查询构造出与历史信息模式对齐的模板，再与压缩状态做相关，从而更有针对性地还原被压缩的内容。这一类比的价值在于把“读出”从经验性的点积设计，转化为有信噪比理论支撑的信号提取问题。

25MB 状态与 1000 万 token：意味着什么

1000 万 token 是什么量级？以英文文本粗略估算，这相当于数十本长篇小说的体量；在代码场景下，则可能覆盖一个中型项目的完整仓库。而承载这些信息的状态仅约 25MB，甚至小于许多单张图片的体积。

这一压缩比的意义在于部署可行性。传统全注意力在处理百万级 token 时，KV Cache 的显存开销会迅速成为瓶颈，而固定大小的状态使得显存占用与序列长度解耦。对于需要在边缘设备或有限显存 GPU 上运行长上下文应用的场景，这种特性具有实际吸引力。

说一下，固定状态必然存在信息损失，Muir 的价值在于通过更聪明的门控与读出设计，尽量缩小这种损失。社区讨论中也有观点提醒，压缩率与任务精度之间的权衡仍需在更多下游基准上验证。

压缩比与信息论视角：25MB 若以 bf16 存储，约合 1250 万个参数，即每个 token 平均只能分到约 1.25 个数值位的信息预算。这从信息论上说明固定状态必然是有损压缩，任何声称“无损记住全部上下文”的说法都不成立。因此评价此类模型的关键指标不是状态大小本身，而是在给定状态预算下，检索、复制、长程推理等任务上的精度保留率。这也解释了为何社区强调需要在更多下游基准上验证：压缩比固定时，不同门控与读出设计带来的精度差异，才是真正区分模型优劣的地方。

社区反响与待解问题

在 Reddit 的讨论中，关注点集中在几个方面。其一是与现有线性注意力变体（如 Mamba、RWKV 等状态空间模型路线）的对比——Muir 的敏感度门控是否带来了一致性的精度提升，还是仅在特定检索任务上有效。其二是训练稳定性与规模化表现，因为动态门控机制往往会引入额外的优化难度。

此外，25MB 状态和 1000 万 token 的指标出自论文自身报告，独立复现与第三方评测尚待出现。对于关注长上下文建模的研究者和工程师而言，Muir 提供了一个值得跟踪的新方向：在固定状态约束下，如何通过更精细的信息分配策略逼近全注意力的效果。

（本文基于 Reddit 社区公开讨论与论文摘要信息整理，具体实验细节请以原论文为准。）