模型
BigBird
Google提出的基于稀疏注意力机制的Transformer模型，结合随机注意力、局部窗口注意力和全局注意力三种方式，将计算复杂度降至O(n)，适用于长序列文本处理任务
时间轴 (近 90 天)
10月10日
Longformer和BigBird采用固定的局部窗口加全局token稀疏模式，复杂度降至O(N)但牺牲了任意位置之间的直接连接
待验证50%
9月6日
BigBird采用随机注意力加窗口注意力的混合稀疏策略
待验证70%
8月31日
BigBird在理论上证明了稀疏注意力可以是图灵完备的
待验证50%