#线性注意力

MERLIN：用二阶路由提升线性注意力长上下文能力

MERLIN提出一种面向多状态线性注意力的二阶矩路由方法，通过追踪键的均值和方差实现更内容感知的聚合，在Gated DeltaNet和Mamba-2上显著提升长上下文任务表现。