概念动态波 / Dynamic Wave loop layer
Dynamic Wave
一种亚二次方循环层架构，通过输入依赖的指数阻尼和余弦相位调制实现序列建模，旨在以线性计算成本替代标准多头注意力
时间轴 (近 90 天)
10月30日
论文在TinyStories数据集上评估了三种参数量均为10.94M的配置：纯Transformer、纯波和混合波-注意力，上下文长度最高到4096个token。
待验证50%
10月30日
混合配置在留出集上取得了最好的困惑度5.95，纯Transformer为6.93，纯波为7.26。
待验证50%
10月30日
与未融合的注意力基线相比，纯波在4096 token上下文下峰值显存降低78.7%（1404.3 MB vs. 6601.6 MB）。
待验证50%
10月30日
训练模式下纯波比Transformer贵8.3%。
待验证50%
10月30日
循环外提优化使纯波与注意力的延迟差距从2.48倍缩小到1.12倍。
待验证50%
10月30日
论文结论认为，报告循环注意力替代方案的效率收益时，必须指明所对比的注意力后端和具体实现。
待验证50%
10月30日
动态波循环层的核心是输入依赖的指数阻尼和余弦相位调制。
待验证50%
全部知识事实 (7)
待验证
论文在TinyStories数据集上评估了三种参数量均为10.94M的配置：纯Transformer、纯波和混合波-注意力，上下文长度最高到4096个token。
50%待验证混合配置在留出集上取得了最好的困惑度5.95，纯Transformer为6.93，纯波为7.26。
50%待验证与未融合的注意力基线相比，纯波在4096 token上下文下峰值显存降低78.7%（1404.3 MB vs. 6601.6 MB）。
50%待验证训练模式下纯波比Transformer贵8.3%。
50%待验证循环外提优化使纯波与注意力的延迟差距从2.48倍缩小到1.12倍。
50%待验证论文结论认为，报告循环注意力替代方案的效率收益时，必须指明所对比的注意力后端和具体实现。
50%待验证动态波循环层的核心是输入依赖的指数阻尼和余弦相位调制。
50%