模型
xLSTM
基于LSTM改进的序列建模架构,引入指数门控和矩阵记忆(mLSTM)增强长程建模能力
时间轴 (近 90 天)
10月20日
克罗内克Delta规则扩展了xLSTM家族的记忆修订机制。
待验证50%
10月14日
多数 SSM 和线性注意力模型在底层都使用了线性注意力机制,Mamba-2 通过 SSD 结构实现,xLSTM 通过协方差更新实现。
待验证50%
基于LSTM改进的序列建模架构,引入指数门控和矩阵记忆(mLSTM)增强长程建模能力
克罗内克Delta规则扩展了xLSTM家族的记忆修订机制。
多数 SSM 和线性注意力模型在底层都使用了线性注意力机制,Mamba-2 通过 SSD 结构实现,xLSTM 通过协方差更新实现。