Medusa
投机解码变体方案,在目标模型顶层并行添加多个解码头,是投机解码的一种实现方式
核心事实
时间轴 (近 90 天)
FlashMap 与 Medusa 式的多头预测、EAGLE 式的特征级草稿在目标上一致,差异在于草稿的生成机制。
业界已有Medusa、Lookahead等投机推理方案。
在Llama-3.1-8B-Instruct搭配Medusa头、Meta的MTP模型以及Qwen3-4B-Inst-2507-MTP构建的五组草拟-目标配对中,AMTP相比标准解码最高加速4.1倍。
Medusa通过在目标模型上附加多个解码头实现自草稿(self-drafting)
推测性解码存在多种变体,包括Medusa、EAGLE/EAGLE-2、Lookahead Decoding和SpecInfer,在接受率、复杂度、显存开销和架构侵入性上各有取舍
投机解码衍生出Medusa(多头预测)、EAGLE(利用主模型早期层隐藏状态生成草稿)、DFlash(混合布局优化)等多种变体
Medusa、Eagle等推测解码变体进一步降低了对独立草稿模型的依赖
Medusa在模型顶层添加多个预测头预测未来不同位置的Token并通过树状验证确认,无需额外草稿模型,可将推理速度提升2-3倍
全部知识事实 (9)
Medusa在模型顶层添加多个预测头预测未来不同位置的Token并通过树状验证确认,无需额外草稿模型,可将推理速度提升2-3倍
75%待验证推测性解码存在多种变体,包括Medusa、EAGLE/EAGLE-2、Lookahead Decoding和SpecInfer,在接受率、复杂度、显存开销和架构侵入性上各有取舍
70%待验证推测解码通过小模型生成草稿、大模型批量验证,在数学上通过拒绝采样保证输出与大模型完全一致,是无损加速
70%待验证FlashMap 与 Medusa 式的多头预测、EAGLE 式的特征级草稿在目标上一致,差异在于草稿的生成机制。
50%待验证业界已有Medusa、Lookahead等投机推理方案。
50%待验证在Llama-3.1-8B-Instruct搭配Medusa头、Meta的MTP模型以及Qwen3-4B-Inst-2507-MTP构建的五组草拟-目标配对中,AMTP相比标准解码最高加速4.1倍。
50%待验证Medusa通过在目标模型上附加多个解码头实现自草稿(self-drafting)
50%待验证投机解码衍生出Medusa(多头预测)、EAGLE(利用主模型早期层隐藏状态生成草稿)、DFlash(混合布局优化)等多种变体
50%待验证Medusa、Eagle等推测解码变体进一步降低了对独立草稿模型的依赖
50%