GDN
一种基于线性注意力的循环状态模型架构，引入门控机制控制历史信息遗忘速率，并通过Delta规则使状态更新近似在线梯度步。
时间轴 (近 90 天)
ReWY对DeltaNet、GDN、KDA和GDN2四种算子均适用。
GDN与MLA组合是当前降低长上下文推理成本的热门探索方向：前者负责线性高效的全局状态，后者负责压缩注意力的精确检索。
混合GDN+MLA架构的细节若被证实，将为学术界提供宝贵参考，推动高效推理研究。
GDN中量化残差不仅作为噪声存在，还会通过门控和Delta更新被放大或持久化，进而扭曲后续所有读出，因此危害比普通累加器更大。
PW独立维护最近一段时间的纯写入内容，以FP8向量对形式保存并完整参与GDN状态转移，离开滑动窗口后才合并进低比特历史状态。
研究提出了全局梯度感知分配（GGA）和纯写滑动窗口（PW）两种方法，用于在存储预算内同时解决精度分配与近期信息维护难题。
GDN（Gated DeltaNet）在线性注意力基础上引入门控机制与Delta规则，门控控制历史信息遗忘速率，Delta规则让状态更新近似于在线学习中的梯度步。
在六个 RULER 大海捞针任务、一百万 token 的设置下，论文报告 GDN 的平均准确率从 1.7% 提升到 70.3%。
全部知识事实 (8)
ReWY对DeltaNet、GDN、KDA和GDN2四种算子均适用。
50%待验证GDN与MLA组合是当前降低长上下文推理成本的热门探索方向：前者负责线性高效的全局状态，后者负责压缩注意力的精确检索。
50%待验证混合GDN+MLA架构的细节若被证实，将为学术界提供宝贵参考，推动高效推理研究。
50%待验证GDN中量化残差不仅作为噪声存在，还会通过门控和Delta更新被放大或持久化，进而扭曲后续所有读出，因此危害比普通累加器更大。
50%待验证PW独立维护最近一段时间的纯写入内容，以FP8向量对形式保存并完整参与GDN状态转移，离开滑动窗口后才合并进低比特历史状态。
50%待验证研究提出了全局梯度感知分配（GGA）和纯写滑动窗口（PW）两种方法，用于在存储预算内同时解决精度分配与近期信息维护难题。
50%待验证GDN（Gated DeltaNet）在线性注意力基础上引入门控机制与Delta规则，门控控制历史信息遗忘速率，Delta规则让状态更新近似于在线学习中的梯度步。
50%待验证在六个 RULER 大海捞针任务、一百万 token 的设置下，论文报告 GDN 的平均准确率从 1.7% 提升到 70.3%。
50%