ParaTTT
一种用于测试时训练（TTT）层的并行化方法，通过迭代精炼内循环梯度轨迹的估计，实现任意深度非线性记忆的并行化，保持精确在线梯度下降的收敛性。
时间轴 (近 90 天)
ParaTTT（PTTT）通过迭代精炼内循环梯度轨迹的估计，来并行化任意深度的非线性记忆。
ParaTTT 的每次精炼包含三个分块并行的过程：前向传播评估特征轨迹；精确的 gated-delta-rule 过程计算读出轨迹及其特征梯度；反向传播将这些梯度传播为新的估计。
精确的在线梯度下降循环是 ParaTTT 迭代的不动点，而解码不需要精炼迭代。
作者证明两层变体在充分收缩条件下具有几何收敛性。
实践中，两次迭代就足够。
在 4K 上下文下，两次精炼步骤的 PTTT 在匹配误差下评估内循环轨迹比使用分块近似的 TTT-MLP 快 32 倍。
完整的 340M 模型训练速度快 4.9 倍。
在 340M 和 1.3B 参数下训练的模型在语言建模困惑度和零样本准确率上匹配或超过 Gated DeltaNet 和 Mamba-2，并与同尺寸 Transformer 保持竞争力，且比线性循环具有更好的召回能力。
全部知识事实 (8)
ParaTTT（PTTT）通过迭代精炼内循环梯度轨迹的估计，来并行化任意深度的非线性记忆。
50%待验证ParaTTT 的每次精炼包含三个分块并行的过程：前向传播评估特征轨迹；精确的 gated-delta-rule 过程计算读出轨迹及其特征梯度；反向传播将这些梯度传播为新的估计。
50%待验证精确的在线梯度下降循环是 ParaTTT 迭代的不动点，而解码不需要精炼迭代。
50%待验证作者证明两层变体在充分收缩条件下具有几何收敛性。
50%待验证实践中，两次迭代就足够。
50%待验证在 4K 上下文下，两次精炼步骤的 PTTT 在匹配误差下评估内循环轨迹比使用分块近似的 TTT-MLP 快 32 倍。
50%待验证完整的 340M 模型训练速度快 4.9 倍。
50%待验证在 340M 和 1.3B 参数下训练的模型在语言建模困惑度和零样本准确率上匹配或超过 Gated DeltaNet 和 Mamba-2，并与同尺寸 Transformer 保持竞争力，且比线性循环具有更好的召回能力。
50%