RWKV
一种结合RNN和Transformer优点的序列建模架构，作为Transformer替代方案之一
核心事实
时间轴 (近 90 天)
线性注意力模型（如Mamba、RWKV）在推理时只需维护固定大小的循环状态，而非缓存整个历史键值对，因此内存占用与序列长度无关。
线性时间循环层在推理时以O(1)每token状态更新复杂度运行，具有恒定内存占用和高吞吐量，但对长距离精确检索能力受限于状态容量。
RWKV 在时间维度上使用可并行化的 WKV 算子训练，推理时退化为逐 token 的递归形式，因此不需要 KV Cache，内存占用与序列长度无关。
线性注意力（如Performer、RWKV）通过核函数近似将复杂度压到O(N)，但精确召回能力通常明显弱于全注意力
RWKV是一种将注意力机制替换为线性递推公式的架构，推理时内存占用随序列长度恒定而非线性增长
RetNet、RWKV等将Transformer改造为循环形式以降低推理时的显存驻留需求
近年来Mamba、RWKV等状态空间模型和线性RNN兴起，试图规避Transformer在长上下文下的二次方复杂度瓶颈
混合模型通常指同时融合了不同注意力机制或架构组件的模型，例如结合传统 Transformer 注意力层与状态空间模型线性注意力层的架构
RWKV由Peng Bo于2023年提出，通过线性注意力加时间衰减的WKV算子实现类似效果，已扩展到14B参数规模
RWKV通过线性注意力加时间衰减的WKV算子实现线性递归架构效果
全部知识事实 (10)
混合模型通常指同时融合了不同注意力机制或架构组件的模型，例如结合传统 Transformer 注意力层与状态空间模型线性注意力层的架构
75%待验证线性注意力模型（如Mamba、RWKV）在推理时只需维护固定大小的循环状态，而非缓存整个历史键值对，因此内存占用与序列长度无关。
50%待验证线性时间循环层在推理时以O(1)每token状态更新复杂度运行，具有恒定内存占用和高吞吐量，但对长距离精确检索能力受限于状态容量。
50%待验证RWKV 在时间维度上使用可并行化的 WKV 算子训练，推理时退化为逐 token 的递归形式，因此不需要 KV Cache，内存占用与序列长度无关。
50%待验证线性注意力（如Performer、RWKV）通过核函数近似将复杂度压到O(N)，但精确召回能力通常明显弱于全注意力
50%待验证RWKV是一种将注意力机制替换为线性递推公式的架构，推理时内存占用随序列长度恒定而非线性增长
50%待验证RetNet、RWKV等将Transformer改造为循环形式以降低推理时的显存驻留需求
50%待验证近年来Mamba、RWKV等状态空间模型和线性RNN兴起，试图规避Transformer在长上下文下的二次方复杂度瓶颈
50%待验证RWKV由Peng Bo于2023年提出，通过线性注意力加时间衰减的WKV算子实现类似效果，已扩展到14B参数规模
50%待验证RWKV通过线性注意力加时间衰减的WKV算子实现线性递归架构效果
50%