概念acceptance length
接受长度
推测解码的核心评价指标,指目标模型在一次验证中连续接受草稿模型所生成候选token的平均数量,该值越大表示加速比越显著。
核心事实
时间轴 (近 90 天)
11月3日
TV距离存在两个问题:一是对覆盖不足的token梯度消失,二是接受长度目标中的前缀乘积会抑制后续位置的贡献。
待验证50%
11月3日
接受长度与接受率并非简单线性关系:它依赖于前缀token被逐一接受的概率乘积。
待验证50%
推测解码的核心评价指标,指目标模型在一次验证中连续接受草稿模型所生成候选token的平均数量,该值越大表示加速比越显著。
TV距离存在两个问题:一是对覆盖不足的token梯度消失,二是接受长度目标中的前缀乘积会抑制后续位置的贡献。
接受长度与接受率并非简单线性关系:它依赖于前缀token被逐一接受的概率乘积。