待验证50% 置信事实精确时间

DSA（DeepSeek稀疏注意力）通过稀疏化将注意力计算复杂度从平方级降至近似线性。

1

来源数

50%

置信度

长期有效

时效性

2026/10/31

首次发现

来源

Mistral Large 4开源：与DeepSeek架构差异全解析

bilibili小工蚁创始人2026/10/31

涉及实体

相关事实

待验证在线性注意力中，利用核函数将softmax注意力分解为可结合形式，使推理计算复杂度从序列长度的平方降为线性。79% 相似已验证Flash Attention和稀疏注意力等优化技术可将显存复杂度压缩至近似线性79% 相似已验证标准自注意力的计算复杂度为序列长度的平方，实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术75% 相似待验证标准Attention的显存消耗随序列长度平方增长，Flash Attention将其压缩到线性增长72% 相似待验证与手写注意力相比，SDPA避免显式物化中间注意力矩阵，从而降低显存占用并提升速度。72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1120234

API

curl https://kongchang.com/api/v1/knowledge/claims/1120234

MCP

get_claim(id=1120234)