待验证50% 置信事实精确时间

Transformer架构中的自注意力（Self-Attention）层通过Softmax函数对所有位置的相关性分数进行归一化，当序列长度从几千Token膨胀到数万Token时，每个位置分配到的注意力权重被大幅稀释

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

Claude Code四个实用指令，让AI编程效率翻倍

bilibiliopenclaw养成记2026/6/3

相关事实

已验证Transformer架构的自注意力机制核心计算公式为 Attention(Q,K,V) = softmax(QKᵀ/√d_k)V，softmax函数将所有位置的注意力分数归一化为总和为1的概率分布84% 相似待验证Transformer架构的注意力机制中，序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释，形成注意力沉没效应83% 相似待验证自注意力权重通过Softmax函数归一化，权重总和恒为177% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/52892

API

curl https://kongchang.com/api/v1/knowledge/claims/52892

MCP

get_claim(id=52892)