Gated Delta Net
一种线性注意力变体，用可更新的固定大小状态矩阵代替传统KV缓存，通过门控和写入强度压缩历史信息，支持长序列恒定内存。
核心事实
时间轴 (近 90 天)
Gated Delta Net是一种线性注意力变体，使用可更新的状态矩阵代替传统注意力中的键值缓存，在长序列上内存占用恒定，但压缩过程天然有损。
千问3.5的某个版本共32层，每四层中有三层使用Gated Delta Net结构。
将Gated Delta Net状态矩阵的门控设为1、写入强度设为1，并让每个键只对准一行，可实现每次写入整行替换、按行号精确读回数值。
在作者的小模型验证中，门控为0.9的状态矩阵经过9步后写入的数值4衰减至1.55；写入强度为0.5时数值7只写入一半；键不对准单行时出现大量噪声。
在8位CPU验证中，将寄存器状态矩阵的门控从1改为0.999，同一程序输出132；门控为0.99时输出61；门控为0.999时第31个Token开始出错。
全部知识事实 (7)
Qwen3.5采用混合注意力架构，将Gated Delta Net（线性注意力变体）和Gated Attention（常规注意力）混合使用
65%待验证Gated Delta Net将状态空间复杂度从标准注意力的O(N²)降到O(N)量级
90%待验证Gated Delta Net是一种线性注意力变体，使用可更新的状态矩阵代替传统注意力中的键值缓存，在长序列上内存占用恒定，但压缩过程天然有损。
50%待验证千问3.5的某个版本共32层，每四层中有三层使用Gated Delta Net结构。
50%待验证将Gated Delta Net状态矩阵的门控设为1、写入强度设为1，并让每个键只对准一行，可实现每次写入整行替换、按行号精确读回数值。
50%待验证在作者的小模型验证中，门控为0.9的状态矩阵经过9步后写入的数值4衰减至1.55；写入强度为0.5时数值7只写入一半；键不对准单行时出现大量噪声。
50%待验证在8位CPU验证中，将寄存器状态矩阵的门控从1改为0.999，同一程序输出132；门控为0.99时输出61；门控为0.999时第31个Token开始出错。
50%