循环Transformer
一种Transformer变体架构，允许模型在相同权重层上进行多次迭代，通过权重共享的循环结构在不显著增加参数量的前提下提升模型推理能力和有效计算深度
核心事实
时间轴 (近 90 天)
CopyLoop的浅层筛选利用循环Transformer的 anytime 特性，在低深度上对复制候选打分，淘汰低概率候选，保留少数进入全深度验证。
在循环Transformer上，推测解码的验证过程需要全深度计算，且候选生成与验证之间存在严格的顺序依赖，导致并行优势被削弱。
CopyLoop是一种免训练的解码加速算法，通过结合低成本上下文复制提议、浅层筛选与连续循环调度来加速循环Transformer的解码。
循环Transformer通过参数复用支持灵活推理计算，但如何在多个预算下保持强劲性能仍是未解难题。
论文提出了非对称循环Transformer（AsymLoop），将单遍上下文编码与循环状态细化分离。
LoopAhead 是一个针对循环Transformer的推测解码框架，使用轻量级前瞻草稿器一次预测多个未来token，将解码速度最高提升至自回归解码的7.82倍。
LoopAhead 的草稿来源不是独立的小模型，而是循环Transformer自身的早期循环状态。
对于循环Transformer这类反复读取同一份权重的架构，访存带宽往往比算力更早成为瓶颈，减少串行步数带来的收益可能高于减少总计算量。
典型深度递归推理模型的实现包括循环Transformer、通用Transformer以及神经图灵机等变体。
循环Transformer通过重复使用相同的权重矩阵，可以在不大幅增加参数量的情况下实现更深层次的信息处理
还有 6 条时间轴事件
全部知识事实 (16)
循环Transformer通过重复使用相同的权重矩阵，可以在不大幅增加参数量的情况下实现更深层次的信息处理
65%已验证自回归模型每多生成一个token就多获得一次Transformer前向传播的计算机会，用序列长度换取计算深度
65%待验证CopyLoop的浅层筛选利用循环Transformer的 anytime 特性，在低深度上对复制候选打分，淘汰低概率候选，保留少数进入全深度验证。
50%待验证CopyLoop是一种免训练的解码加速算法，通过结合低成本上下文复制提议、浅层筛选与连续循环调度来加速循环Transformer的解码。
50%待验证在循环Transformer上，推测解码的验证过程需要全深度计算，且候选生成与验证之间存在严格的顺序依赖，导致并行优势被削弱。
50%待验证循环Transformer通过参数复用支持灵活推理计算，但如何在多个预算下保持强劲性能仍是未解难题。
50%待验证论文提出了非对称循环Transformer（AsymLoop），将单遍上下文编码与循环状态细化分离。
50%待验证LoopAhead 是一个针对循环Transformer的推测解码框架，使用轻量级前瞻草稿器一次预测多个未来token，将解码速度最高提升至自回归解码的7.82倍。
50%待验证LoopAhead 的草稿来源不是独立的小模型，而是循环Transformer自身的早期循环状态。
50%待验证对于循环Transformer这类反复读取同一份权重的架构，访存带宽往往比算力更早成为瓶颈，减少串行步数带来的收益可能高于减少总计算量。
50%待验证典型深度递归推理模型的实现包括循环Transformer、通用Transformer以及神经图灵机等变体。
50%待验证循环结构容易导致梯度消失或爆炸，训练稳定性是循环Transformer实现的首要问题
50%待验证动态计算分配可让模型根据问题复杂度自适应调整循环次数，实现计算资源的智能分配
50%待验证循环Transformer引入了循环深度（Recurrent Depth）的概念，允许模型在相同的层级结构中多次迭代处理信息
50%待验证循环架构特别适合处理需要多步推理的任务，如数学证明、逻辑推演和代码调试
50%待验证一些研究提出了基于置信度的自适应停止策略，让模型自主判断何时完成推理
50%