[控场AI]
模型Structured State Space

S4

结构化状态空间序列模型,早期代表性SSM架构,通过HiPPO初始化对矩阵A施加特殊结构,实现对长程依赖的高效捕获,是Mamba等后续工作的基础

时间轴 (近 90 天)

10月28日

实验聚焦于S4等离散群与稀疏图,向更大规模、连续群与稠密图的扩展尚未展开。

待验证50%
10月14日

多数 SSM 和线性注意力模型在底层都使用了线性注意力机制,Mamba-2 通过 SSD 结构实现,xLSTM 通过协方差更新实现。

待验证50%
10月12日

状态空间模型典型代表包括 S4、Mamba 等,通过将递归写成连续微分方程或离散线性递推,并借助卷积或选择性扫描实现高效并行训练。

待验证50%
10月6日

早期SSM如S4通过对矩阵A施加HiPPO初始化来高效捕获长程依赖,同时保持线性递推的推理效率

待验证50%
8月25日

Gu等人在2021年的HiPPO和S4工作中将状态空间模型引入深度学习,开创了结构化状态空间模型研究方向

待验证50%

全部知识事实 (5)

来源文章