概念MTP / Multi-Token Prediction / 推测解码
MTP推测解码
MTP推测解码（Multi-Token Prediction Speculative Decoding）是一种用于加速大语言模型推理的技术方法。其核心机制是利用轻量级草稿模型一次性预测多个连续Token，再由主模型对这些候选Token进行批量并行验证，从而减少主模型的自回归迭代次数，在保持输出质量不变的前提下显著提升解码效率。该技术常用于降低大模型推理延迟、提高吞吐量。
MTP推测解码（Multi-Token Prediction Speculative Decoding）是一种用于加速大语言模型推理的技术方法。其核心机制是利用轻量级草稿模型一次性预测多个连续Token，再由主模型对这些候选Token进行批量并行验证，从而减少主模型的自回归迭代次数，在保持输出质量不变的前提下显著提升解码效率。该技术常用于降低大模型推理延迟、提高吞吐量。