草稿模型
投机解码中使用的小型辅助模型，负责快速自回归生成候选token序列，供目标大模型并行验证，其与目标模型的分布对齐程度直接决定接受率和加速效果。
时间轴 (近 90 天)
通过将幂参数从零退火到一，TVP在三种草稿模型架构和三种目标模型上取得了最高或并列最高的接受长度。
现有草稿模型多采用交叉熵（CE）或KL散度训练。
传统软标签蒸馏要求草稿模型在每一个位置上都逼近目标模型的完整概率分布，包括高熵区域，这与推理时最大化接受长度的目标不一致。
投机解码的核心思想是：用一个较小的草稿模型快速生成多个候选 token，然后让目标大模型一次性并行验证这些 token 是否可接受。
蒸馏模型通过让草稿模型拟合目标模型的输出分布来进一步提升对齐度，从而抬高接受率。
同系列小模型（如大模型的 1/10 参数量版本）因训练数据与架构相近，输出分布与目标模型较为接近，是草稿模型的常见选择。
现有草稿模型在智能体场景下的接受长度最多下降80%。
推测解码实现需要在草稿模型的推理速度和预测准确率之间找到平衡点
草稿模型通常一次生成3到8个候选token
协同设计从一开始就将草稿模型与目标模型作为一个整体系统来设计和训练，以提升token接受率
还有 3 条时间轴事件
全部知识事实 (13)
通过将幂参数从零退火到一，TVP在三种草稿模型架构和三种目标模型上取得了最高或并列最高的接受长度。
50%待验证现有草稿模型多采用交叉熵（CE）或KL散度训练。
50%待验证传统软标签蒸馏要求草稿模型在每一个位置上都逼近目标模型的完整概率分布，包括高熵区域，这与推理时最大化接受长度的目标不一致。
50%待验证投机解码的核心思想是：用一个较小的草稿模型快速生成多个候选 token，然后让目标大模型一次性并行验证这些 token 是否可接受。
50%待验证蒸馏模型通过让草稿模型拟合目标模型的输出分布来进一步提升对齐度，从而抬高接受率。
50%待验证同系列小模型（如大模型的 1/10 参数量版本）因训练数据与架构相近，输出分布与目标模型较为接近，是草稿模型的常见选择。
50%待验证现有草稿模型在智能体场景下的接受长度最多下降80%。
50%待验证推测解码实现需要在草稿模型的推理速度和预测准确率之间找到平衡点
50%待验证草稿模型通常一次生成3到8个候选token
50%待验证协同设计从一开始就将草稿模型与目标模型作为一个整体系统来设计和训练，以提升token接受率
50%待验证传统草稿模型针对单一目标模型在狭窄分布上训练，工作负载变化时接受率会急剧下降，且每更换一个目标模型就必须重新完成整个预训练过程
50%待验证传统草稿模型训练方案需要消费目标模型的隐藏状态并在目标模型logits上进行蒸馏，产生对目标模型的强绑定依赖
50%待验证投机解码的草稿模型推理成本通常仅为主模型的1/5-1/10
50%