循环Transformer
一种Transformer变体架构，允许模型在相同权重层上进行多次迭代，通过权重共享的循环结构在不显著增加参数量的前提下提升模型推理能力和有效计算深度
核心事实
时间轴 (近 90 天)
循环Transformer存在三大限制：内存随循环次数增长、计算量只能整块调整、训练后难以改变循环次数。
循环模型的KV缓存沿循环轴存在高度冗余，且不同循环步骤对量化的敏感度差异很大。
循环Transformer每个循环步骤都需存储独立的KV缓存，导致KV缓存随循环步数线性增长。
UpLoop是一种利用upcycling训练循环Transformer的预训练方案，在最终参数数量、总训练token数和训练FLOPs上与标准密集基线完全匹配。
循环Transformer中，层共享权重，因此模型的总参数量不随循环次数增加。
在循环Transformer中，每多一次前向传播，训练浮点运算量（FLOPs）就会线性增加。
在循环Transformer上，推测解码的验证过程需要全深度计算，且候选生成与验证之间存在严格的顺序依赖，导致并行优势被削弱。
CopyLoop的浅层筛选利用循环Transformer的 anytime 特性，在低深度上对复制候选打分，淘汰低概率候选，保留少数进入全深度验证。
CopyLoop是一种免训练的解码加速算法，通过结合低成本上下文复制提议、浅层筛选与连续循环调度来加速循环Transformer的解码。
循环Transformer通过参数复用支持灵活推理计算，但如何在多个预算下保持强劲性能仍是未解难题。
还有 14 条时间轴事件
全部知识事实 (20)
循环Transformer通过重复使用相同的权重矩阵，可以在不大幅增加参数量的情况下实现更深层次的信息处理
65%已验证自回归模型每多生成一个token就多获得一次Transformer前向传播的计算机会，用序列长度换取计算深度
65%待验证循环Transformer引入了循环深度（Recurrent Depth）的概念，允许模型在相同的层级结构中多次迭代处理信息
60%待验证循环Transformer存在三大限制：内存随循环次数增长、计算量只能整块调整、训练后难以改变循环次数。
50%待验证循环模型的KV缓存沿循环轴存在高度冗余，且不同循环步骤对量化的敏感度差异很大。
50%待验证循环Transformer每个循环步骤都需存储独立的KV缓存，导致KV缓存随循环步数线性增长。
50%待验证循环Transformer中，层共享权重，因此模型的总参数量不随循环次数增加。
50%待验证UpLoop是一种利用upcycling训练循环Transformer的预训练方案，在最终参数数量、总训练token数和训练FLOPs上与标准密集基线完全匹配。
50%待验证在循环Transformer中，每多一次前向传播，训练浮点运算量（FLOPs）就会线性增加。
50%待验证CopyLoop的浅层筛选利用循环Transformer的 anytime 特性，在低深度上对复制候选打分，淘汰低概率候选，保留少数进入全深度验证。
50%待验证CopyLoop是一种免训练的解码加速算法，通过结合低成本上下文复制提议、浅层筛选与连续循环调度来加速循环Transformer的解码。
50%待验证在循环Transformer上，推测解码的验证过程需要全深度计算，且候选生成与验证之间存在严格的顺序依赖，导致并行优势被削弱。
50%待验证循环Transformer通过参数复用支持灵活推理计算，但如何在多个预算下保持强劲性能仍是未解难题。
50%待验证在标准Transformer中，每层只计算一次KV；而循环架构的同一组层会被执行多次，若循环4次则相当于存储4份KV缓存。
50%待验证循环UDLM通过递归复用早期Transformer层，在保持训练目标和采样器不变的前提下，将训练效率提升数倍。
50%待验证论文提出了非对称循环Transformer（AsymLoop），将单遍上下文编码与循环状态细化分离。
50%待验证LoopAhead 是一个针对循环Transformer的推测解码框架，使用轻量级前瞻草稿器一次预测多个未来token，将解码速度最高提升至自回归解码的7.82倍。
50%待验证对于循环Transformer这类反复读取同一份权重的架构，访存带宽往往比算力更早成为瓶颈，减少串行步数带来的收益可能高于减少总计算量。
50%待验证LoopAhead 的草稿来源不是独立的小模型，而是循环Transformer自身的早期循环状态。
50%待验证典型深度递归推理模型的实现包括循环Transformer、通用Transformer以及神经图灵机等变体。
50%