#长度外推

RangeSWA：免训练长度外推，破解扩散语言模型长文本生成难题

RangeSWA 是一种免训练长度外推方法，通过局部滑动窗口注意力、远程块摘要和动态内容检索，解决连续扩散语言模型在长文本生成中的重复与语义漂移问题，实验显示可降低困惑度和重复率。