模型
Kimi Linear
Moonshot AI推出的混合架构模型,采用线性注意力与softmax注意力3:1比例的混合设计
时间轴 (近 90 天)
10月14日
Qwen3-Next 和 Kimi Linear 都采用 3:1 的线性注意力对 softmax 注意力比例。
待验证50%
10月4日
Kimi Linear是月之暗面(Moonshot AI)推出的混合线性注意力架构,核心是Kimi Delta Attention(KDA),大部分层使用KDA,每隔四层保留一个复用DeepSeek-V3 MLA的全注意力块
待验证50%
10月3日
在 Kimi Linear、8 卡 B200 并发 8 的测试中,cached-prefix 吞吐提升约 10.9 倍
待验证50%