指数残差流

最近一篇论文提出了指数残差流（ERFs），为离散扩散模型提供了确定性ODE采样形式，并证明了其保持原扩散模型的边缘分布。

ERFs的核心创新在于为每个token和位置引入一个连续的残差变量，将离散状态嵌入到连续空间中；残差按照分段定义的ODE确定性演化，当残差触及零时对应离散状态发生跳跃。

ERFs的向量场由离散扩散模型的前向和反向速率矩阵共同决定，残差的连续演化速率取决于当前离散状态对应的速率矩阵行。

实验结果表明，与之前的离散扩散采样方法相比，ERFs在代码生成和文本生成基准上取得了经验性的生成质量改进。

由于确定性轨迹支持一致性蒸馏，ERFs可以训练少步采样器，在保持生成质量的同时显著减少采样步数。

论文未披露ERFs的具体量化指标，作者声称“在多种基准上优于先前方法”。