待验证60% 置信事实精确时间
Deformable DETR用可变形注意力替代全局自注意力，每层每个头仅采样约4个参考点，将注意力计算复杂度从O(N²)降低到O(NK)
2
来源数
60%
置信度
长期有效
时效性
2026/8/13
首次发现
来源
相关事实
已验证Informer通过ProbSparse稀疏注意力将自注意力计算复杂度从O(n²)降至O(n log n)78% 相似待验证Set Transformer的诱导点注意力ISAB通过m个可学习诱导点将O(n²)注意力复杂度降至O(mn)75% 相似已验证Multi-Query Attention技术让多个注意力头共享同一组Key和Value投影矩阵，将KV缓存显存需求压缩至原来的1/H，代价是模型表达能力的轻微损失75% 相似待验证多头注意力机制要求隐藏维度必须能被注意力头数整除，1536 可被 12、16 或 24 个头均匀切分73% 相似待验证线性注意力（Linear Attention）用可结合的核函数或状态递推改写注意力计算，让历史信息压缩进一个固定大小的状态矩阵中，每步只需更新这个状态，计算复杂度从 O(n²) 降到 O(n)，显存则是常数级。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/740654API
curl https://kongchang.com/api/v1/knowledge/claims/740654MCP
get_claim(id=740654)