模型block drafter / DFlash2块草稿器
块状草稿器
一种用于投机解码的草稿模型,以块为单位并行生成多个候选token,供主模型验证。常见实现包括DFlash2等。
时间轴 (近 90 天)
10月25日
在代码生成任务上,块状草稿器(block drafter)每步平均接受约7个token,而在开放域散文上接受率降至约2.5个。
待验证50%
9月22日
块状草稿器用一次前向传播并行吐出多个位置的token,代价是草稿质量略低于自回归草稿器
待验证50%
一种用于投机解码的草稿模型,以块为单位并行生成多个候选token,供主模型验证。常见实现包括DFlash2等。
在代码生成任务上,块状草稿器(block drafter)每步平均接受约7个token,而在开放域散文上接受率降至约2.5个。
块状草稿器用一次前向传播并行吐出多个位置的token,代价是草稿质量略低于自回归草稿器