[控场AI]
模型

Medusa

投机解码变体方案,在目标模型顶层并行添加多个解码头,是投机解码的一种实现方式

核心事实

时间轴 (近 90 天)

10月28日

FlashMap 与 Medusa 式的多头预测、EAGLE 式的特征级草稿在目标上一致,差异在于草稿的生成机制。

待验证50%
10月23日

业界已有Medusa、Lookahead等投机推理方案。

待验证50%
10月21日

在Llama-3.1-8B-Instruct搭配Medusa头、Meta的MTP模型以及Qwen3-4B-Inst-2507-MTP构建的五组草拟-目标配对中,AMTP相比标准解码最高加速4.1倍。

待验证50%
9月11日

Medusa通过在目标模型上附加多个解码头实现自草稿(self-drafting)

待验证50%
9月10日

推测性解码存在多种变体,包括Medusa、EAGLE/EAGLE-2、Lookahead Decoding和SpecInfer,在接受率、复杂度、显存开销和架构侵入性上各有取舍

待验证70%
9月6日

投机解码衍生出Medusa(多头预测)、EAGLE(利用主模型早期层隐藏状态生成草稿)、DFlash(混合布局优化)等多种变体

待验证50%
9月1日

Medusa、Eagle等推测解码变体进一步降低了对独立草稿模型的依赖

待验证50%
8月8日

Medusa在模型顶层添加多个预测头预测未来不同位置的Token并通过树状验证确认,无需额外草稿模型,可将推理速度提升2-3倍

已验证75%

全部知识事实 (9)

来源文章