[控场AI]
论文

SpecCTMC

一种针对扩散语言模型的无需训练的精确推测采样器,通过复用模型自身预测作为提议并应用接受-校正程序,在保持原始CTMC联合分布的同时减少顺序模型评估次数。

时间轴 (近 90 天)

11月6日

SpecCTMC 是一种无需训练的推测采样器,用于减少扩散语言模型精确连续时间采样中的顺序模型评估瓶颈。

待验证50%
11月6日

SpecCTMC 利用模型先前步骤已计算的预测分布来连续提议多个令牌更新,并并行评估中间状态。

待验证50%
11月6日

SpecCTMC 采用精确的接受-校正程序,确保最终采样结果严格服从原始连续时间马尔可夫链的联合分布。

待验证50%
11月6日

SpecCTMC 不同于传统推测解码,不需要单独的草稿模型,而是直接复用主扩散模型自身的预测分布作为提议分布。

待验证50%
11月6日

与直接连续时间采样相比,SpecCTMC 将顺序模型评估次数减少了 1.73 至 4.38 倍,同时保持了参考采样分布。

待验证50%
11月6日

SpecCTMC 的接受-校正程序类似 Metropolis-Hastings 的接受准则,将单令牌准则推广到连续时间、多令牌并行的场景。

待验证50%
11月6日

SpecCTMC 依赖于模型预测的质量来生成高接受率的提议;如果模型预测不确定,接受率可能下降,加速效果也会减弱。

待验证50%
11月6日

SpecCTMC 的实验仅在两个模型和五个基准上验证,更广泛的模型架构和任务类型上的表现仍有待探索。

待验证50%

全部知识事实 (8)

来源文章