上下文膨胀
AI Agent运行中因反复回放原始工具输出、日志、元数据等冗余内容导致的提示词膨胀问题,会引发延迟上升、成本增加、注意力稀释和模型不稳定
核心事实
时间轴 (近 90 天)
历史拼接方式在对话轮次增多时会导致上下文膨胀、关键信息被稀释。
长任务中工具输出持续追加到上下文会导致占用增长,接近窗口上限时框架通常采取截断或摘要策略,可能丢失早期关键信息。
业界应对上下文膨胀的一般策略包括:按需加载、摘要压缩历史、将长期记忆外置为可检索的存储、以及限制子代理的数量和职责范围。
Agent 的 SQL 起草循环中,每一轮修订都会把此前所有尝试的对话历史原样重发,导致 prompt token 随尝试次数增长,即上下文膨胀。
传统智能体开发中一次性注入全部工具或指令会导致上下文膨胀、决策干扰,引发工具选择漂移。
过多技能会导致上下文膨胀,消耗token配额并可能被误触发,更多技能并不等于更聪明的Agent
将冗余历史对话反复塞进上下文窗口会导致token成本上升和推理延迟增加
多轮对话的累计输入Token总量约为N²×K/2(N为轮次,K为每轮新增Token),呈二次函数增长,40轮会话累计消耗约为20轮的4倍
全部知识事实 (8)
将冗余历史对话反复塞进上下文窗口会导致token成本上升和推理延迟增加
65%待验证历史拼接方式在对话轮次增多时会导致上下文膨胀、关键信息被稀释。
50%待验证长任务中工具输出持续追加到上下文会导致占用增长,接近窗口上限时框架通常采取截断或摘要策略,可能丢失早期关键信息。
50%待验证业界应对上下文膨胀的一般策略包括:按需加载、摘要压缩历史、将长期记忆外置为可检索的存储、以及限制子代理的数量和职责范围。
50%待验证Agent 的 SQL 起草循环中,每一轮修订都会把此前所有尝试的对话历史原样重发,导致 prompt token 随尝试次数增长,即上下文膨胀。
50%待验证传统智能体开发中一次性注入全部工具或指令会导致上下文膨胀、决策干扰,引发工具选择漂移。
50%待验证过多技能会导致上下文膨胀,消耗token配额并可能被误触发,更多技能并不等于更聪明的Agent
50%待验证多轮对话的累计输入Token总量约为N²×K/2(N为轮次,K为每轮新增Token),呈二次函数增长,40轮会话累计消耗约为20轮的4倍
50%