SpecCTMC
一种针对扩散语言模型的无需训练的精确推测采样器,通过复用模型自身预测作为提议并应用接受-校正程序,在保持原始CTMC联合分布的同时减少顺序模型评估次数。
时间轴 (近 90 天)
SpecCTMC 是一种无需训练的推测采样器,用于减少扩散语言模型精确连续时间采样中的顺序模型评估瓶颈。
SpecCTMC 利用模型先前步骤已计算的预测分布来连续提议多个令牌更新,并并行评估中间状态。
SpecCTMC 采用精确的接受-校正程序,确保最终采样结果严格服从原始连续时间马尔可夫链的联合分布。
SpecCTMC 不同于传统推测解码,不需要单独的草稿模型,而是直接复用主扩散模型自身的预测分布作为提议分布。
与直接连续时间采样相比,SpecCTMC 将顺序模型评估次数减少了 1.73 至 4.38 倍,同时保持了参考采样分布。
SpecCTMC 的接受-校正程序类似 Metropolis-Hastings 的接受准则,将单令牌准则推广到连续时间、多令牌并行的场景。
SpecCTMC 依赖于模型预测的质量来生成高接受率的提议;如果模型预测不确定,接受率可能下降,加速效果也会减弱。
SpecCTMC 的实验仅在两个模型和五个基准上验证,更广泛的模型架构和任务类型上的表现仍有待探索。
全部知识事实 (8)
SpecCTMC 是一种无需训练的推测采样器,用于减少扩散语言模型精确连续时间采样中的顺序模型评估瓶颈。
50%待验证SpecCTMC 利用模型先前步骤已计算的预测分布来连续提议多个令牌更新,并并行评估中间状态。
50%待验证SpecCTMC 采用精确的接受-校正程序,确保最终采样结果严格服从原始连续时间马尔可夫链的联合分布。
50%待验证SpecCTMC 不同于传统推测解码,不需要单独的草稿模型,而是直接复用主扩散模型自身的预测分布作为提议分布。
50%待验证与直接连续时间采样相比,SpecCTMC 将顺序模型评估次数减少了 1.73 至 4.38 倍,同时保持了参考采样分布。
50%待验证SpecCTMC 的接受-校正程序类似 Metropolis-Hastings 的接受准则,将单令牌准则推广到连续时间、多令牌并行的场景。
50%待验证SpecCTMC 依赖于模型预测的质量来生成高接受率的提议;如果模型预测不确定,接受率可能下降,加速效果也会减弱。
50%待验证SpecCTMC 的实验仅在两个模型和五个基准上验证,更广泛的模型架构和任务类型上的表现仍有待探索。
50%