RangeSWA：免训练长度外推，破解扩散语言模型长文本生成难题

连续扩散语言模型在文本生成任务中展现出潜力，但一旦生成长度超过训练长度，就容易出现文本重复、语义漂移和生成质量下降等问题。针对这些挑战，研究者提出了一种名为 RangeSWA 的免训练长度外推方法，通过局部滑动窗口注意力、远程块摘要和动态内容检索的组合，在保留局部细节的同时支持长程上下文访问。

连续扩散语言模型的长度外推困境

连续扩散语言模型（Continuous Diffusion Language Models）在生成过程中逐步去噪，能够产生连贯的文本。然而，这类模型在训练时通常只见过固定长度范围的序列，当推理阶段需要生成更长文本时，模型的表现会明显退化。具体表现为：生成的文本开始重复之前的片段，语义逐渐偏离初始主题，整体质量随长度增加而下降。

这一问题的根源在于模型的位置编码和注意力机制在超出训练分布的长度上无法正确泛化。传统的解决方案往往需要重新训练或微调模型，成本高昂且可能破坏原有能力。RangeSWA 的提出正是为了在不更新任何模型参数的前提下解决这一矛盾。

位置编码与长度外推：Transformer 类模型依赖位置编码来区分序列中不同位置的 token。常见的位置编码（如正弦编码、可学习绝对位置编码、RoPE 等）在训练时只覆盖有限长度范围，推理时若序列超出该范围，位置表示会进入模型从未见过的数值区间，导致注意力分配失准。长度外推研究的目标就是让模型在超出训练长度时仍能保持合理行为，常见思路包括位置插值、位置重映射、相对位置编码改造以及注意力窗口约束等。RangeSWA 中的位置重映射正是这一思路的具体实现：不改变模型权重，仅将超长位置索引压缩或映射回训练分布内，从而避免位置编码“越界”。

RangeSWA 的核心机制：三重注意力与三重修正

RangeSWA 的设计思路可以拆解为“保留局部、访问远程、动态检索”三个层次。局部滑动窗口注意力确保模型在生成每个位置时能关注到邻近的上下文细节；远程块摘要则对较远的历史信息进行压缩表示，避免注意力被稀释；动态内容检索根据当前生成内容的需要，从历史上下文中提取相关片段。

仅有注意力机制的调整还不够。研究团队还引入了三项修正手段来缓解长度外推带来的生成退化：位置重映射（positional remapping）重新调整超出训练范围的位置编码，使其落在模型可处理的区间内；条件注意力修正（conditioning attention correction）校准注意力权重的分布；去噪阶段自适应窗口调度（denoising-stage-adaptive window scheduling）则根据扩散过程的不同阶段动态调整窗口大小。

据原始论文描述，这些组件协同工作，使模型在长文本生成时既能保持局部连贯性，又能维持全局语义的一致性。

滑动窗口注意力与块摘要：标准自注意力让每个位置关注全部历史，计算量随序列长度平方增长，且长距离上的注意力容易被大量无关 token 稀释。滑动窗口注意力（Sliding Window Attention）将每个位置的可见范围限制在邻近的固定窗口内，显著降低计算量并保持局部连贯性，但代价是丢失远距离信息。块摘要（Block Summary）则是对窗口之外的历史按块进行压缩编码，形成少量摘要 token 供后续位置访问，从而以较低成本保留长程信息。两者结合，形成“局部精细 + 远程粗粒度”的混合上下文访问模式，这也是 RangeSWA 能在长文本中兼顾细节与全局语义的关键。

实验验证：困惑度与重复率双降

研究者在多个连续扩散语言模型上进行了实验。结果显示，RangeSWA 能够有效降低长文本生成中的生成困惑度（generative perplexity）和文本重复率。这两个指标直接反映了生成质量：困惑度越低，说明模型对下一个词的预测越自信且合理；重复率越低，说明文本的多样性越好。

由于该方法是免训练的，它可以直接应用于已有的连续扩散语言模型，无需额外的训练数据或计算资源。这对于实际部署来说是一个显著优势——开发者可以在不改变模型权重的情况下，通过调整推理策略来扩展生成长度。

困惑度与重复率指标：困惑度（Perplexity）衡量模型对文本的预测不确定性，数值越低表示模型对真实 token 的预测概率越高、分布越集中，通常与生成流畅度正相关。但在长文本生成中，困惑度低并不总等于质量高——模型可能通过反复输出高频片段来降低困惑度，因此需要配合重复率指标一起观察。重复率通常统计生成文本中重复 n-gram 的比例或重复片段的覆盖率，用于衡量多样性。两者同时下降，才说明模型既保持了预测信心，又没有陷入退化循环。这也是该研究选择这两个指标作为核心评价依据的原因。

免训练外推的意义与局限

RangeSWA 代表了扩散语言模型推理优化的一条实用路径。与需要重新训练的外推方法相比，免训练方案降低了使用门槛，也避免了灾难性遗忘的风险。不过，原始素材中并未披露该方法在不同模型规模、不同生成长度下的具体表现细节，也未讨论其与自回归语言模型外推方法的对比。

另一个值得关注的问题是计算开销。滑动窗口、块摘要和动态检索都会增加推理时的计算量，虽然免去了训练成本，但在长序列场景下，这种开销是否可接受，还需要更多实际测试来验证。

从趋势上看，扩散语言模型正在从研究走向应用，而长度外推是绕不开的工程问题。RangeSWA 提供了一种无需改模型即可扩展生成窗口的思路，后续如果能在更多模型架构上验证其通用性，并优化推理效率，这类方法有望成为扩散语言模型部署工具箱中的标准组件。