待验证50% 置信事实精确时间
当前主流的Transformer架构模型（如GPT系列、Claude、Gemini等）在处理长上下文时存在注意力衰减问题，对话越长对早期内容的记忆越不稳定
1
来源数
50%
置信度
长期有效
时效性
2026/10/3
首次发现
来源
涉及实体
相关事实
已验证Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定77% 相似待验证当前主流LLM采用Transformer架构，随着上下文长度增加会出现对早期信息的注意力衰减现象75% 相似待验证LLM在长序列生成中因注意力稀释而遗忘之前约束的现象被称为「长上下文遗忘（Lost in the Middle）」，是当前Transformer架构的固有局限73% 相似待验证当前最前沿模型在处理长程依赖时面临注意力衰减问题，随着上下文长度增加，维持早期设定一致性的能力显著下降73% 相似待验证当前大模型并没有真正的持久化记忆机制，随着对话轮次增加，早期需求描述在注意力机制中的权重会逐渐衰减72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/969436API
curl https://kongchang.com/api/v1/knowledge/claims/969436MCP
get_claim(id=969436)