待验证50% 置信事实精确时间
Transformer自注意力机制的计算成本随上下文长度呈平方级增长，且存在Lost in the Middle效应导致模型对窗口中部信息提取能力弱于头尾
1
来源数
50%
置信度
长期有效
时效性
2026/10/9
首次发现
来源
涉及实体
相关事实
已验证Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定79% 相似已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍78% 相似待验证Transformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同77% 相似待验证Transformer 模型存在'远端衰减'（Lost in the Middle）现象，对位于上下文中段、距离当前生成位置较远的内容关注度会系统性下降75% 相似已验证研究表明当上下文过长时，模型对中间部分信息的注意力会显著下降，即"Lost in the Middle"现象75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/991064API
curl https://kongchang.com/api/v1/knowledge/claims/991064MCP
get_claim(id=991064)