ReWY

一种针对Delta-rule线性注意力系列算子反向传播的代数重构优化方法，通过消去逆伴随、压缩WY矩阵相关矩阵乘法次数来加速梯度计算，适用于DeltaNet、GDN、KDA和GDN2等模型。