已验证65% 置信事实精确时间
Transformer架构的注意力机制中，序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释，形成注意力沉没效应
3
来源数
65%
置信度
长期有效
时效性
2026/7/24
首次发现
来源
Harness AI工程化编程：企业级项目实战方法论
bilibili图灵学院官方2026/7/12
相关事实
已验证由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因79% 相似待验证标准Softmax注意力在极长序列上存在注意力湮没（Attention Sink）问题，催生了Sliding Window Attention、RoPE外推、ALiBi等改进方案78% 相似待验证标准Attention的显存消耗随序列长度平方增长，Flash Attention将其压缩到线性增长78% 相似已验证上下文长度与计算量呈近似平方级增长关系，受注意力机制影响76% 相似已验证Lost in the Middle效应源于Transformer注意力机制中间位置token获得较低注意力权重的架构固有偏差，目前没有方案能在所有场景下完全消除75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/608339API
curl https://kongchang.com/api/v1/knowledge/claims/608339MCP
get_claim(id=608339)