拒绝采样
一种蒙特卡洛采样方法,通过从提议分布采样并以一定概率接受或拒绝样本来逼近目标分布,常用于修正采样偏差。
时间轴 (近 90 天)
投机解码的无损性依赖一种修正的拒绝采样机制:对草稿模型提出的每个 token,目标模型计算其概率并据此决定接受或拒绝;一旦拒绝,就从目标模型与草稿模型分布的差值(归一化后)中重新采样。
拒绝采样修复取模偏差的方法:找到随机范围内n的最大倍数作为上限,若随机数大于等于该上限则丢弃重抽,保留的每个值映射到完全相同数量的结果。
Anari 等人(2026)提出利用拒绝采样修正掩码扩散模型并行解码中的分布偏差,将对数接受概率分解为 token 级项之和。
方差降低带来裁剪(clipping)减少,因为拒绝采样中接受概率估计波动过大会需要更激进的裁剪来保证数值稳定,而裁剪会引入额外的分布偏差。
推测性解码基于拒绝采样方案,在数学上严格等价于原始解码,不改变最终采样分布
传统推测解码采用基于拒绝采样的严格验证规则,只有草稿token与目标模型采样结果完全一致时才被接受
全部知识事实 (6)
投机解码的无损性依赖一种修正的拒绝采样机制:对草稿模型提出的每个 token,目标模型计算其概率并据此决定接受或拒绝;一旦拒绝,就从目标模型与草稿模型分布的差值(归一化后)中重新采样。
50%待验证拒绝采样修复取模偏差的方法:找到随机范围内n的最大倍数作为上限,若随机数大于等于该上限则丢弃重抽,保留的每个值映射到完全相同数量的结果。
50%待验证Anari 等人(2026)提出利用拒绝采样修正掩码扩散模型并行解码中的分布偏差,将对数接受概率分解为 token 级项之和。
50%待验证方差降低带来裁剪(clipping)减少,因为拒绝采样中接受概率估计波动过大会需要更激进的裁剪来保证数值稳定,而裁剪会引入额外的分布偏差。
50%待验证推测性解码基于拒绝采样方案,在数学上严格等价于原始解码,不改变最终采样分布
50%待验证传统推测解码采用基于拒绝采样的严格验证规则,只有草稿token与目标模型采样结果完全一致时才被接受
50%