共 2 篇相关文章
从「记忆住在哪里」这一全新视角,对比RNN的循环隐藏状态、Transformer的KV缓存与SSM/Mamba的选择性状态,并探讨BDH等以网络为中心的架构,剖析AI模型记忆与计算的根本权衡。
vLLM 发布候选版本 v0.31.0rc2,核心修复了 Mamba 架构在稀疏采样场景下的 prefill 检查点保留问题。本文解读该版本变更及其对状态空间模型推理正确性的影响。