#循环Transformer

共 2 篇相关文章

LooM 提出循环不变内存方案，解决循环 Transformer 内存随循环增长、计算粒度粗、循环次数难改三大问题。只在 CED 解码器层循环，KV 缓存不随循环次数增长，支持每 token 3 到 21 次层执行的连续预算，单模型覆盖全部预算且无需路由器。

循环Transformer解码慢？CopyLoop提出免训练的上下文复制提议与浅层筛选方法，在多个模型家族上实现最高10.70倍解码加速，代码生成与数学推理任务表现优异。