[控场AI]
概念Context Rot

上下文腐化

指随着输入上下文变长,大模型对中间位置信息的检索与推理准确率下降、易被陈旧或矛盾信息误导的现象,源于注意力权重被无关 token 稀释

时间轴 (近 90 天)

10月25日

研究者将‘窗口中的token越多,模型越难可靠地利用其中任何一种’的现象称为‘上下文腐化’。

待验证50%
10月17日

业界用「上下文腐化」(Context Rot)描述随着输入变长,模型对中间位置信息的检索与推理准确率下降的现象。

待验证50%
9月25日

按需加载机制能把不相关的指令挡在工作上下文之外,避免上下文腐化

待验证50%

全部知识事实 (3)

来源文章