Mamba-2
Mamba 架构的改进版本，通过结构化状态空间对偶（SSD）进一步优化了状态空间模型的计算效率和硬件利用率。
核心事实
时间轴 (近 90 天)
在 340M 和 1.3B 参数下训练的模型在语言建模困惑度和零样本准确率上匹配或超过 Gated DeltaNet 和 Mamba-2，并与同尺寸 Transformer 保持竞争力，且比线性循环具有更好的召回能力。
线性快速权重记忆（如 Gated DeltaNet、Mamba-2 中的状态矩阵）可写成矩阵递推，因而能分块并行。
Gated DeltaNet基于delta规则更新记忆状态，属于线性注意力的一种现代化实现；Mamba-2是状态空间模型（SSM）的代表。
在LongBench多个子任务上，MERLIN在Mamba-2-780M上提升12.0%。
MERLIN能同时在Gated DeltaNet和Mamba-2上生效，验证了其架构无关的设计主张。
MERLIN在Gated DeltaNet-1.3B和Mamba-2-780M两个架构的多状态变体上进行了验证。
业界已有Mamba-2/Transformer混合、Jamba等混合骨干实践。
Mamba-2 的前向计算包含选择性扫描、状态递推以及若干逐元素的门控运算，既有沿序列维度的串行依赖，又有沿特征维度的并行空间。
NVIDIA 博客描述的 Mamba-2 前向核核心思路是把序列切分为若干块，每块内部并行计算局部贡献，块与块之间通过状态传递串联。
cuTile 的分块语义能表达“块内并行、块间递推”的结构，让扫描过程以 tile 为单位流水推进，同时把状态驻留在片上存储中，减少对全局显存的往返访问。
还有 14 条时间轴事件
全部知识事实 (20)
SSM 是一类以线性递推方式处理序列的架构，代表如 Mamba、Mamba-2 等。
75%待验证线性快速权重记忆（如 Gated DeltaNet、Mamba-2 中的状态矩阵）可写成矩阵递推，因而能分块并行。
50%待验证在 340M 和 1.3B 参数下训练的模型在语言建模困惑度和零样本准确率上匹配或超过 Gated DeltaNet 和 Mamba-2，并与同尺寸 Transformer 保持竞争力，且比线性循环具有更好的召回能力。
50%待验证在LongBench多个子任务上，MERLIN在Mamba-2-780M上提升12.0%。
50%待验证MERLIN能同时在Gated DeltaNet和Mamba-2上生效，验证了其架构无关的设计主张。
50%待验证Gated DeltaNet基于delta规则更新记忆状态，属于线性注意力的一种现代化实现；Mamba-2是状态空间模型（SSM）的代表。
50%待验证MERLIN在Gated DeltaNet-1.3B和Mamba-2-780M两个架构的多状态变体上进行了验证。
50%待验证业界已有Mamba-2/Transformer混合、Jamba等混合骨干实践。
50%待验证NVIDIA 博客描述的 Mamba-2 前向核核心思路是把序列切分为若干块，每块内部并行计算局部贡献，块与块之间通过状态传递串联。
50%待验证cuTile 的分块语义能表达“块内并行、块间递推”的结构，让扫描过程以 tile 为单位流水推进，同时把状态驻留在片上存储中，减少对全局显存的往返访问。
50%待验证Mamba-2 的前向计算包含选择性扫描、状态递推以及若干逐元素的门控运算，既有沿序列维度的串行依赖，又有沿特征维度的并行空间。
50%待验证Nemotron 3.5 Super VL 采用 Mamba-2/Transformer 混合 MoE 架构，每个 MoE 层有 512 个路由专家，视觉侧搭配 C-RADIO 编码器，支持文本、JPEG/PNG 图像及最长 2 分钟 MP4 视频，上下文上限 1M token，并原生支持多 token 预测。
50%待验证Mamba-2在选择性状态空间模型基础上引入更结构化的状态转移矩阵，将状态更新表达为矩阵乘法形式，从而在训练时获得更高吞吐量。
50%待验证Mamba-2、Gated DeltaNet和KDA是三种新型状态更新机制，用于替代部分注意力层，以线性复杂度的递归结构实现高效状态记忆。
50%待验证NoteBank 是一个稀疏的情节记忆模块，可直接挂到预训练的循环模型和混合语言模型上，如 Gated DeltaNet（GDN）和 Mamba-2，不改变骨干网络的权重或架构，也不需要外部嵌入模型、单独训练的检索器或独立的阅读器网络。
50%待验证Nemotron 3.5 Bolt 的架构采用 Mamba-2 与 Transformer 混合的 LatentMoE，视觉侧使用 C-RADIO v4-H 编码器。
50%待验证Nemotron 3.5 Lightning 采用 Mamba-2 与 MoE 层交织、再搭配少量注意力层的混合结构。
50%待验证Mamba-2 提出的 SSD（State Space Duality）框架揭示了带特定结构的 SSM 在数学上等价于一种掩码化的线性注意力，使训练可以用矩阵乘法并行化。
50%待验证Zamba2（Zyphra）的设计是 Mamba-2 骨干加每隔 N 层插入的共享权重注意力块。
50%待验证NVIDIA 的 Nemotron-H 几乎把所有注意力层都替换成了 Mamba-2 层。
50%