滑动窗口
一种稀疏注意力策略,每个token只能关注其邻近窗口内的token,适用于局部依赖较强的任务,但难以捕捉长距离依赖。
核心事实
时间轴 (近 90 天)
滑动窗口、会话窗口与滚动窗口是流式特征计算的三类基本算子;滑动窗口适合连续更新的指标,会话窗口贴合一次通话或一次充值行为的自然边界。
滑动窗口长度至少要不短于希望模型捕捉的季节周期;窗口要匹配周期,而不是匹配预测步长。
选择滑动窗口还是降采样取决于信号是否平稳:信号有重复模式时用滑动窗口(代价是丢失长期趋势),信号嘈杂或高频时用降采样(代价是丢失精细细节)。
短期记忆超出上下文窗口时,常见的处理方案有三种:滑动窗口、摘要压缩、外置卸载,工程实现并不复杂。
滑动窗口记忆如果每轮滑动一次,会导致历史开头token变化,使整段历史KV缓存全部失效;修复方法是批量淘汰(如从20涨到40再一次性砍回20),使两次裁剪之间缓存持续命中。
滑动窗口和保守的稀疏策略容易丢失跨段落证据链,这在多跳问答、法律合同分析等场景中尤为致命。
对于局部模式匹配为主的任务(如代码补全、日志分析),滑动窗口性价比极高;对于跨文档推理或长链因果分析,学习型选择器或混合策略更稳妥,但需在目标领域做充分验证。
滑动窗口方案直接丢弃超出窗口的最旧内容,实现简单但会造成不可逆的信息丢失
部分Agent框架通过摘要压缩(Summarization)或滑动窗口(Sliding Window)来截断历史,但会牺牲任务连贯性
滚动时间窗口是分布式系统中常用的限流算法,通过维护时间戳队列或环形缓冲区实现,可避免固定窗口的边界突刺问题
还有 3 条时间轴事件
全部知识事实 (14)
滑动窗口注意力让每个 token 只关注固定窗口内的上下文,复杂度降为 O(n·w),w 为窗口大小
75%已验证解决大语言模型上下文窗口有限的主流方案包括向量数据库检索增强生成(RAG)、摘要压缩以及外部记忆存储
65%待验证滑动窗口、会话窗口与滚动窗口是流式特征计算的三类基本算子;滑动窗口适合连续更新的指标,会话窗口贴合一次通话或一次充值行为的自然边界。
50%待验证滑动窗口长度至少要不短于希望模型捕捉的季节周期;窗口要匹配周期,而不是匹配预测步长。
50%待验证选择滑动窗口还是降采样取决于信号是否平稳:信号有重复模式时用滑动窗口(代价是丢失长期趋势),信号嘈杂或高频时用降采样(代价是丢失精细细节)。
50%待验证短期记忆超出上下文窗口时,常见的处理方案有三种:滑动窗口、摘要压缩、外置卸载,工程实现并不复杂。
50%待验证滑动窗口记忆如果每轮滑动一次,会导致历史开头token变化,使整段历史KV缓存全部失效;修复方法是批量淘汰(如从20涨到40再一次性砍回20),使两次裁剪之间缓存持续命中。
50%待验证对于局部模式匹配为主的任务(如代码补全、日志分析),滑动窗口性价比极高;对于跨文档推理或长链因果分析,学习型选择器或混合策略更稳妥,但需在目标领域做充分验证。
50%待验证滑动窗口和保守的稀疏策略容易丢失跨段落证据链,这在多跳问答、法律合同分析等场景中尤为致命。
50%待验证滑动窗口方案直接丢弃超出窗口的最旧内容,实现简单但会造成不可逆的信息丢失
50%待验证部分Agent框架通过摘要压缩(Summarization)或滑动窗口(Sliding Window)来截断历史,但会牺牲任务连贯性
50%待验证滚动时间窗口是分布式系统中常用的限流算法,通过维护时间戳队列或环形缓冲区实现,可避免固定窗口的边界突刺问题
50%待验证实验的Python程序采用滑动窗口机制,上下文只保留20条历史消息,新记录进入时最早的记录被永久删除
50%待验证滑动窗口是一种固定长度上下文缓冲区的数据管理策略,最早广泛应用于TCP网络协议流量控制和自然语言处理文本分析
50%