上下文管理
上下文管理是指在信息处理或对话系统中,对相关背景信息(上下文)进行维护、存储与调度的机制和策略集合。其核心目标是确保系统在处理请求时能够访问必要的历史信息与状态数据,常见手段包括上下文缓存、压缩与摘要、历史记录维护及生命周期控制等,广泛应用于编程语言运行时、操作系统及AI对话系统等领域。
核心事实
时间轴 (近 90 天)
当前多数上下文管理方案聚焦于保留‘做了什么’,而cogit的实践表明‘没做什么’同样是高价值信息。
每个新任务开启新对话可以避免旧任务上下文干扰新任务。
上下文管理是Harness中最基础的能力,包括历史对话、文档内容、工具返回结果的组织与重新注入,以及摘要、裁剪、检索增强(RAG)等处理,决定多轮任务能否连贯完成。
成本降低源于对 Agent 上下文管理机制的重构,减少了每次会话所需的 token 数量,同时提升了提示缓存的复用率,而非调整计费费率。
FOCUS 将上下文管理与 rollout 分配解耦,使上下文压缩产生的片段边界可直接用于价值估计和信用分配。
常驻助理必须解决上下文管理问题,包括记什么、忘什么、何时检索。
AgentScope 提供多种上下文管理手段,包括历史消息摘要压缩、按重要性或时效性淘汰旧内容、把大体积结果转存到外部存储只保留引用、对工具返回做截断与结构化提取等,并做成可组合的模块。
上下文管理通过压缩和渐进式披露(progressive disclosure)等手段对抗循环中信息堆积,决定每轮喂给智能体的内容。
模型的输出质量高度依赖它能看到多少相关信息,把项目结构、关键接口约定、命名规范和数据模型明确告知,比反复描述“我想要一个好看的页面”更有效。
上下文管理是代理类 SDK 中最容易被低估的部分,完整保留历史工具调用会迅速耗尽上下文窗口并推高成本
还有 34 条时间轴事件
全部知识事实 (20)
上下文窗口指模型单次推理能容纳的输入token上限,系统提示、用户消息、工具结果和对话历史共享这一预算,超出后要么截断要么报错。
75%已验证支撑并行工作流的关键技术挑战在于上下文管理,AI需要同时维护多条任务线的状态、意图和进度
75%已验证Agent运行时间越长,工具结果和历史记录越多,若全部塞入上下文,最初的任务要求和操作限制可能在截断压缩时丢失,关键约束需在每一轮运行时都能被读取
75%已验证上下文管理可通过滑动窗口、摘要压缩或分层记忆策略控制Token消耗
65%已验证在线客服的上下文丢失往往源于多轮对话的Token窗口管理失当,当对话历史超出模型上下文窗口时若无记忆压缩或摘要机制,Agent就会失忆
65%已验证当模型本身缺乏对特定问题的理解能力时,再精巧的提示词也无法弥补这一缺陷
65%已验证常见的上下文裁剪策略包括滑动窗口(保留最近N条消息)、摘要压缩(将旧消息总结为摘要)、重要性过滤(优先保留工具调用结果)
65%待验证实践数据表明经过良好压缩的上下文能将token消耗降低50-80%,并能提升回答准确率
60%待验证当前多数上下文管理方案聚焦于保留‘做了什么’,而cogit的实践表明‘没做什么’同样是高价值信息。
50%待验证每个新任务开启新对话可以避免旧任务上下文干扰新任务。
50%待验证上下文管理是Harness中最基础的能力,包括历史对话、文档内容、工具返回结果的组织与重新注入,以及摘要、裁剪、检索增强(RAG)等处理,决定多轮任务能否连贯完成。
50%待验证成本降低源于对 Agent 上下文管理机制的重构,减少了每次会话所需的 token 数量,同时提升了提示缓存的复用率,而非调整计费费率。
50%待验证FOCUS 将上下文管理与 rollout 分配解耦,使上下文压缩产生的片段边界可直接用于价值估计和信用分配。
50%待验证常驻助理必须解决上下文管理问题,包括记什么、忘什么、何时检索。
50%待验证AgentScope 提供多种上下文管理手段,包括历史消息摘要压缩、按重要性或时效性淘汰旧内容、把大体积结果转存到外部存储只保留引用、对工具返回做截断与结构化提取等,并做成可组合的模块。
50%待验证上下文管理通过压缩和渐进式披露(progressive disclosure)等手段对抗循环中信息堆积,决定每轮喂给智能体的内容。
50%待验证模型的输出质量高度依赖它能看到多少相关信息,把项目结构、关键接口约定、命名规范和数据模型明确告知,比反复描述“我想要一个好看的页面”更有效。
50%待验证上下文管理是代理类 SDK 中最容易被低估的部分,完整保留历史工具调用会迅速耗尽上下文窗口并推高成本
50%待验证上下文工程本质上是在有限窗口内做信息调度:决定哪些内容保留、哪些压缩、哪些移出窗口并由外部存储(如向量数据库)按需召回。
50%待验证上下文管理策略的选择应以精度损失的位置为评判标准,而不仅仅是最终准确率。
50%