概念
Linear Attention
一类将softmax注意力替换为可分解核函数，从而将序列复杂度从O(n^2)降低到O(n)的注意力机制的统称。
时间轴 (近 90 天)
9月14日
学术界已有多项研究探索线性注意力、无Softmax注意力以及核方法近似，试图用线性复杂度替代标准注意力的二次复杂度
待验证50%
9月14日
静态或线性化的注意力替代方案在历史上常在长距离依赖建模和精细语义区分上有所妥协
待验证50%
9月6日
Flash Attention等硬件层面优化技术显著降低了实际内存开销，但二次方的本质瓶颈仍然存在
待验证50%
9月6日
DeltaNet属于线性注意力机制家族,旨在将注意力计算复杂度从O(n²)降低至O(n)
待验证50%
9月6日
线性注意力通常在长上下文任务中表现优异,但在某些需要精确全局依赖的任务中可能略逊于标准注意力
待验证50%