Universal Transformer
一种改进的Transformer架构，在深度维度上引入循环机制，允许模型对同一层反复应用，以实现自适应计算量和更强的推理能力
时间轴 (近 90 天)
循环架构的思想可追溯到 Universal Transformer 与 Deep Equilibrium Models，通过增加计算深度而不增加参数数量来提升推理能力。
ALBERT让所有层共享同一组参数，Universal Transformer在深度方向复用同一层，这些工作表明Transformer不同层学到的表示存在大量冗余。
循环语言模型的架构灵感来源于Universal Transformer和DEQ（Deep Equilibrium Model）等早期工作
Universal Transformer早已探索过跨层权重共享（参数共享）
Universal Transformer通过权重共享（weight tying）让所有循环步骤复用同一组参数，在不增加参数量的前提下增加计算深度
2019年Dehghani等人提出的Universal Transformer首次将Transformer层设计为可重复执行的循环单元，并引入自适应计算时间机制动态决定循环次数
全部知识事实 (6)
循环架构的思想可追溯到 Universal Transformer 与 Deep Equilibrium Models，通过增加计算深度而不增加参数数量来提升推理能力。
50%待验证ALBERT让所有层共享同一组参数，Universal Transformer在深度方向复用同一层，这些工作表明Transformer不同层学到的表示存在大量冗余。
50%待验证循环语言模型的架构灵感来源于Universal Transformer和DEQ（Deep Equilibrium Model）等早期工作
50%待验证Universal Transformer早已探索过跨层权重共享（参数共享）
50%待验证Universal Transformer通过权重共享（weight tying）让所有循环步骤复用同一组参数，在不增加参数量的前提下增加计算深度
50%待验证2019年Dehghani等人提出的Universal Transformer首次将Transformer层设计为可重复执行的循环单元，并引入自适应计算时间机制动态决定循环次数
50%