模型Structured State Space
S4
结构化状态空间序列模型,早期代表性SSM架构,通过HiPPO初始化对矩阵A施加特殊结构,实现对长程依赖的高效捕获,是Mamba等后续工作的基础
时间轴 (近 90 天)
10月28日
实验聚焦于S4等离散群与稀疏图,向更大规模、连续群与稠密图的扩展尚未展开。
待验证50%
10月14日
多数 SSM 和线性注意力模型在底层都使用了线性注意力机制,Mamba-2 通过 SSD 结构实现,xLSTM 通过协方差更新实现。
待验证50%
10月12日
状态空间模型典型代表包括 S4、Mamba 等,通过将递归写成连续微分方程或离散线性递推,并借助卷积或选择性扫描实现高效并行训练。
待验证50%
10月6日
早期SSM如S4通过对矩阵A施加HiPPO初始化来高效捕获长程依赖,同时保持线性递推的推理效率
待验证50%
8月25日
Gu等人在2021年的HiPPO和S4工作中将状态空间模型引入深度学习,开创了结构化状态空间模型研究方向
待验证50%