待验证60% 置信事实精确时间

Kimi K3采用Kimi Delta Attention混合线性注意力机制，通过核函数近似将注意力计算复杂度从O(N²)降到O(N)

2

来源数

60%

置信度

长期有效

时效性

2026/7/22

首次发现

来源

Kimi K3深度解析：2.8万亿参数开源大模型架构与实测全面解读

相关事实

待验证Kimi K3采用Attention Vigilance技术，为注意力路径构建贯穿全层的独立长叉通路，解决深度稀释问题77% 相似待验证K3将线性注意力层与标准注意力层混合使用，以在精度与效率之间寻求平衡74% 相似待验证Kimi K3用Attention Residuals替代传统的残差连接74% 相似已验证自注意力机制允许模型在处理每个Token时同时看到输入序列中所有其他Token的信息，注意力矩阵计算复杂度为O(n²)71% 相似待验证Set Transformer的诱导点注意力ISAB通过m个可学习诱导点将O(n²)注意力复杂度降至O(mn)68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/590093

API

curl https://kongchang.com/api/v1/knowledge/claims/590093

MCP

get_claim(id=590093)