已验证80% 置信事实时间未知
Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定
29
来源数
80%
置信度
长期有效
时效性
2026/5/31
首次发现
来源
一年做了7个AI项目全部失败，踩坑复盘与真实教训
bilibilidk的实践记录
涉及实体
相关事实
待验证‘中间遗忘’导致的性能下降呈U型曲线，并非线性衰减；其机制可能与Transformer的注意力分配和位置编码有关。79% 相似待验证当前主流LLM采用Transformer架构，随着上下文长度增加会出现对早期信息的注意力衰减现象79% 相似待验证Transformer自注意力机制的计算成本随上下文长度呈平方级增长，且存在Lost in the Middle效应导致模型对窗口中部信息提取能力弱于头尾79% 相似待验证当前大模型并没有真正的持久化记忆机制，随着对话轮次增加，早期需求描述在注意力机制中的权重会逐渐衰减78% 相似已验证即便拥有百万token上下文的模型，在处理大型代码库时也面临注意力稀释问题——上下文过长时模型对早期内容的关注度会显著下降78% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/7312API
curl https://kongchang.com/api/v1/knowledge/claims/7312MCP
get_claim(id=7312)