概念decode

解码阶段

解码阶段（decode）是大模型推理的第二个阶段，模型逐个生成输出token，每个token都需要一次前向计算，其速度取决于算力和模型规模。

核心事实

在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感

10月18日

大模型推理的 prefill 阶段是计算密集型（矩阵乘矩阵），受算力限制；解码阶段是内存密集型（矩阵乘向量），受内存带宽限制。

待验证50%

10月16日

Transformer推理分为两个阶段：并行的计算密集型预填充阶段和顺序的内存带宽密集型解码阶段。

待验证50%

9月11日

在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感

已验证75%

在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感

大模型推理的 prefill 阶段是计算密集型（矩阵乘矩阵），受算力限制；解码阶段是内存密集型（矩阵乘向量），受内存带宽限制。

Transformer推理分为两个阶段：并行的计算密集型预填充阶段和顺序的内存带宽密集型解码阶段。