上下文窗口
大模型在单次推理中能够接收和处理的最大信息量限制,以Token数量衡量,决定了Agent可注入历史信息的上限,是影响长对话连贯性的核心约束。
核心事实
时间轴 (近 90 天)
在代理产品中,一次会话通常对应一段独立的上下文窗口,包含用户指令、工具调用记录与中间结果。
多智能体分工是缓解上下文窗口限制的工程手段:每个专用智能体只处理与本职责相关的片段,经理智能体汇总的是经过压缩的结论而非原始数据。
工业故障排查往往需要同时参考设备日志、工艺参数、维修手册和物料批次等多源长文本,很容易超出上下文窗口,导致关键信息被截断或模型“遗忘”早期内容。
17GB 的权重文件序列化为文本后,token 数量远超当前主流模型的上下文窗口上限(通常为 128K 到 1M token)。
上下文窗口是 Claude Code 的硬约束,窗口塞得越满,模型越容易丢失关键信息,这一现象被称为上下文腐烂(context rot)。
上下文窗口的大小通常以token为单位衡量,而不是字数或字符数。
当你开始工作后,每条消息、AI读取的每个文件、每条命令输出都会占用上下文窗口空间。
上下文窗口是有限资源,每多一条无关指令,模型分配给重要信息的注意力就被稀释。
三个技术硬约束:上下文长度受限、复杂多步骤任务不稳定、没有真正的长期记忆;这三个问题由技术底层决定,提示词无法根治。
上下文工程的核心约束是上下文窗口的硬性预算:系统提示、历史对话、检索片段与工具返回共同竞争同一窗口。
还有 40 条时间轴事件
全部知识事实 (20)
大语言模型的上下文窗口决定了模型在单次推理中能处理的信息量上限
90%已验证AI Agent 相比传统脚本具有不可预测性,存在幻觉、误解上下文、遭受 prompt 注入攻击等固有风险
80%已验证上下文长度与计算量呈近似平方级增长关系,受注意力机制影响
80%已验证研究表明当上下文过长时,模型对中间部分信息的注意力会显著下降,即"Lost in the Middle"现象
80%已验证长期记忆Agent通常基于RAG(检索增强生成)技术构建,通过向量数据库将信息转化为高维向量并持久化存储
80%已验证大语言模型在长时间对话中会因上下文窗口限制而丢失早期信息
80%已验证在大语言模型的对话架构中,System Prompt具有最高优先级,能够持续影响模型在整个会话中的行为边界
80%已验证当新信息与旧记忆冲突时,记忆层必须能够识别并更新,而非固守过时认知
80%已验证KV cache 占用的显存随上下文长度和对话轮次增长,是长上下文部署中显存与延迟的主要来源。
75%已验证上下文窗口指模型单次推理能够看到的 token 总量,包含输入与输出;注意力机制计算量随序列长度呈平方级增长。
75%已验证上下文窗口指模型单次推理能容纳的输入token上限,系统提示、用户消息、工具结果和对话历史共享这一预算,超出后要么截断要么报错。
75%已验证上下文窗口决定模型单次推理能看到的最大Token数量,当项目文件超出窗口后模型会遗忘早期内容,导致前后不一致的代码甚至报错
75%已验证上下文窗口指模型一次能读取的输入总量,输出窗口指模型一次能连续生成的文本上限
75%已验证大语言模型的计费单位通常以token计量,token是模型处理文本的基本单元
75%已验证主流技能包执行方式是将技能指令加载到智能体的上下文窗口中,依赖智能体自身理解并遵循这些指令
75%已验证上下文窗口扩展会带来计算成本的平方级增长,超长上下文存在'中间遗忘'问题
75%已验证在AI工具普及的时代,人类记忆作为信息存储介质的功能价值发生了根本性贬值
75%已验证In large language models, a Token is the smallest unit of text that a model processes
75%已验证过度的提前思考会带来延迟和计算成本的上升,在追求响应速度的场景中未必合算
75%已验证企业级Agent系统通常会引入外部记忆模块(如向量数据库)来存储长期记忆,以突破上下文窗口限制
75%