KDA
一种线性注意力机制变体，由Kimi（Moonshot AI）提出，通过固定大小的循环隐状态替代逐步增长的KV缓存，将注意力计算复杂度从O(n²)降至O(n)，显著降低长序列推理的显存消耗
时间轴 (近 90 天)
Mamba-2、Gated DeltaNet和KDA是三种新型状态更新机制，用于替代部分注意力层，以线性复杂度的递归结构实现高效状态记忆。
KDA（Kernelized Delta Attention）将Delta规则核化，试图在递归状态和注意力之间找到更平滑的插值。
根据 vLLM 配置和 Z.ai 文档，GLM-5.3-Flash 的45层模型将 KDA 线性注意力层与 NoPE 稀疏 MLA 层交替堆叠。
模型层级构成为 54 层 KDA（Kimi Delta Attention）线性注意力、17 层 BCSA 压缩稀疏注意力、1 层全注意力（第72层）
KDA 是线性注意力机制变体，使用固定大小的循环状态，不保留 KV 缓存
Kimi Linear是月之暗面(Moonshot AI)推出的混合线性注意力架构，核心是Kimi Delta Attention(KDA)，大部分层使用KDA，每隔四层保留一个复用DeepSeek-V3 MLA的全注意力块
全部知识事实 (6)
Mamba-2、Gated DeltaNet和KDA是三种新型状态更新机制，用于替代部分注意力层，以线性复杂度的递归结构实现高效状态记忆。
50%待验证KDA（Kernelized Delta Attention）将Delta规则核化，试图在递归状态和注意力之间找到更平滑的插值。
50%待验证根据 vLLM 配置和 Z.ai 文档，GLM-5.3-Flash 的45层模型将 KDA 线性注意力层与 NoPE 稀疏 MLA 层交替堆叠。
50%待验证模型层级构成为 54 层 KDA（Kimi Delta Attention）线性注意力、17 层 BCSA 压缩稀疏注意力、1 层全注意力（第72层）
50%待验证KDA 是线性注意力机制变体，使用固定大小的循环状态，不保留 KV 缓存
50%待验证Kimi Linear是月之暗面(Moonshot AI)推出的混合线性注意力架构，核心是Kimi Delta Attention(KDA)，大部分层使用KDA，每隔四层保留一个复用DeepSeek-V3 MLA的全注意力块
50%