Gated DeltaNet
一种结合门控机制与Delta规则线性注意力层的循环模型架构，属于线性注意力混合设计，处理长上下文时显存和算力开销低。
时间轴 (近 90 天)
在 340M 和 1.3B 参数下训练的模型在语言建模困惑度和零样本准确率上匹配或超过 Gated DeltaNet 和 Mamba-2，并与同尺寸 Transformer 保持竞争力，且比线性循环具有更好的召回能力。
线性快速权重记忆（如 Gated DeltaNet、Mamba-2 中的状态矩阵）可写成矩阵递推，因而能分块并行。
开发者将完整RISC-V CPU架构编译进Qwen 3.5 4B的模型权重中，利用Gated DeltaNet层作为精确内存模型，仅凭前向传播即可无差错运行程序，算术基准从48%提升至满分100%。
在LongBench多个子任务上，MERLIN在Gated DeltaNet-1.3B上提升13.5%。
MERLIN在Gated DeltaNet-1.3B和Mamba-2-780M两个架构的多状态变体上进行了验证。
在RULER needle-in-a-haystack和长上下文问答任务上，MERLIN相比基线在Gated DeltaNet-1.3B上提升8.3%。
Gated DeltaNet基于delta规则更新记忆状态，属于线性注意力的一种现代化实现；Mamba-2是状态空间模型（SSM）的代表。
MERLIN能同时在Gated DeltaNet和Mamba-2上生效，验证了其架构无关的设计主张。
KronLSTM与现有线性注意力架构相比具有竞争力，且经常超越包括（Gated）DeltaNet家族在内的模型，尤其在长上下文基准上表现突出。
Mamba-2、Gated DeltaNet和KDA是三种新型状态更新机制，用于替代部分注意力层，以线性复杂度的递归结构实现高效状态记忆。
还有 2 条时间轴事件
全部知识事实 (12)
在 340M 和 1.3B 参数下训练的模型在语言建模困惑度和零样本准确率上匹配或超过 Gated DeltaNet 和 Mamba-2，并与同尺寸 Transformer 保持竞争力，且比线性循环具有更好的召回能力。
50%待验证线性快速权重记忆（如 Gated DeltaNet、Mamba-2 中的状态矩阵）可写成矩阵递推，因而能分块并行。
50%待验证开发者将完整RISC-V CPU架构编译进Qwen 3.5 4B的模型权重中，利用Gated DeltaNet层作为精确内存模型，仅凭前向传播即可无差错运行程序，算术基准从48%提升至满分100%。
50%待验证在LongBench多个子任务上，MERLIN在Gated DeltaNet-1.3B上提升13.5%。
50%待验证MERLIN在Gated DeltaNet-1.3B和Mamba-2-780M两个架构的多状态变体上进行了验证。
50%待验证在RULER needle-in-a-haystack和长上下文问答任务上，MERLIN相比基线在Gated DeltaNet-1.3B上提升8.3%。
50%待验证Gated DeltaNet基于delta规则更新记忆状态，属于线性注意力的一种现代化实现；Mamba-2是状态空间模型（SSM）的代表。
50%待验证MERLIN能同时在Gated DeltaNet和Mamba-2上生效，验证了其架构无关的设计主张。
50%待验证KronLSTM与现有线性注意力架构相比具有竞争力，且经常超越包括（Gated）DeltaNet家族在内的模型，尤其在长上下文基准上表现突出。
50%待验证Mamba-2、Gated DeltaNet和KDA是三种新型状态更新机制，用于替代部分注意力层，以线性复杂度的递归结构实现高效状态记忆。
50%待验证Gated DeltaNet从DeltaNet出发加入门控机制，动态决定何时保留历史信息、何时覆盖旧状态，在需要精确回忆的任务上表现更稳定。
50%待验证NoteBank 是一个稀疏的情节记忆模块，可直接挂到预训练的循环模型和混合语言模型上，如 Gated DeltaNet（GDN）和 Mamba-2，不改变骨干网络的权重或架构，也不需要外部嵌入模型、单独训练的检索器或独立的阅读器网络。
50%