状态空间模型
一类以线性复杂度实现序列建模的深度学习架构,代表模型包括Mamba,相比Transformer更适合实时推理场景
核心事实
时间轴 (近 90 天)
亚二次方循环替代方案(如RNN、SSM)的计算量随序列长度线性增长(O(n·d)),但状态容量有限可能损失长程检索质量。
早期的 SSM 在语言任务上表现有限,主要受限于状态更新方式与输入无关,难以像注意力那样灵活地选择性关注信息。
线性注意力或SSM层能以接近线性的复杂度处理长序列,但在精确召回与复杂推理上往往弱于全注意力。
该论文提出的基于状态空间模型的多尺度分类器在PANDA数据集上采用5折交叉验证达到macro F1 0.894和Gleason 5 F1 0.802。
SSM 的状态递推本质上是仿射变换的复合,而仿射变换的复合满足结合律,因此可以套用扫描算法。
MoE 和状态空间模型等架构的算子模式与传统 Transformer 差异明显,对编译器算子覆盖和动态形状支持提出更高要求,是专用加速器适配时最容易暴露短板的地方。
Mamba2架构具有线性时间复杂度和恒定大小的状态表示,其状态表示不随序列长度增长。
状态空间模型(SSM)如 Mamba 系列遵循同样的递推范式:固定状态无法无损保留所有历史细节,早期信息会被后续更新覆写。
要在千万级上下文下保持可用效率,通常需要引入稀疏注意力、分块检索、状态空间模型或混合架构等优化。
状态空间模型典型代表包括 S4、Mamba 等,通过将递归写成连续微分方程或离散线性递推,并借助卷积或选择性扫描实现高效并行训练。
还有 10 条时间轴事件
全部知识事实 (20)
SSM 是一类以线性递推方式处理序列的架构,代表如 Mamba、Mamba-2 等。
75%已验证以 Mamba 为代表的状态空间模型通过维护固定大小的隐状态压缩历史信息,推理时的时间和空间复杂度均为 O(1)
75%已验证Mamba 等基于状态空间模型(SSM)的架构以线性复杂度实现序列建模,更适合实时推理
65%已验证Mamba等状态空间模型(SSM)抛弃注意力机制,用循环结构实现线性时间复杂度的序列建模
65%待验证亚二次方循环替代方案(如RNN、SSM)的计算量随序列长度线性增长(O(n·d)),但状态容量有限可能损失长程检索质量。
50%待验证早期的 SSM 在语言任务上表现有限,主要受限于状态更新方式与输入无关,难以像注意力那样灵活地选择性关注信息。
50%待验证线性注意力或SSM层能以接近线性的复杂度处理长序列,但在精确召回与复杂推理上往往弱于全注意力。
50%待验证该论文提出的基于状态空间模型的多尺度分类器在PANDA数据集上采用5折交叉验证达到macro F1 0.894和Gleason 5 F1 0.802。
50%待验证SSM 的状态递推本质上是仿射变换的复合,而仿射变换的复合满足结合律,因此可以套用扫描算法。
50%待验证MoE 和状态空间模型等架构的算子模式与传统 Transformer 差异明显,对编译器算子覆盖和动态形状支持提出更高要求,是专用加速器适配时最容易暴露短板的地方。
50%待验证Mamba2架构具有线性时间复杂度和恒定大小的状态表示,其状态表示不随序列长度增长。
50%待验证状态空间模型(SSM)如 Mamba 系列遵循同样的递推范式:固定状态无法无损保留所有历史细节,早期信息会被后续更新覆写。
50%待验证要在千万级上下文下保持可用效率,通常需要引入稀疏注意力、分块检索、状态空间模型或混合架构等优化。
50%待验证状态空间模型典型代表包括 S4、Mamba 等,通过将递归写成连续微分方程或离散线性递推,并借助卷积或选择性扫描实现高效并行训练。
50%待验证Priming面临的第一个质疑是:跨架构的权重映射不是总能找到合理对应关系,如果目标架构引入了全新计算模块(如状态空间模型层),预训练权重就没有现成组件可以填进去。
50%待验证研究发现Transformer、状态空间模型和循环神经网络的输出几何对齐程度远高于激活几何
50%待验证Mamba等状态空间模型(SSM)彻底放弃注意力矩阵,用递推隐状态实现O(N)复杂度,但在需要精确键值检索的任务上仍有差距
50%待验证论文进行了理论匹配实验,覆盖收缩型状态空间模型、门控循环模型和注意力模型三类架构,实验结果复现了理论预测的状态与稳定性规律
50%待验证状态空间模型(SSM)把方向拉回固定大小的循环记忆,但使用不同的状态结构和更新规则
50%待验证SSM的数学根源来自控制理论中的线性时不变系统,用矩阵A、B、C描述输入如何更新隐状态、隐状态如何映射到输出
50%