概念prefill

预填充阶段

预填充阶段（prefill）是大模型推理的第一个阶段，模型将输入的全部上下文一次性读入并计算注意力，其计算量与上下文长度近似成正比，直接影响首字延迟。

核心事实

在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感

10月26日

预填充阶段是模型在处理用户输入时，为所有输入token构建键值缓存（KV Cache）的过程。

待验证50%

10月16日

Transformer推理分为两个阶段：并行的计算密集型预填充阶段和顺序的内存带宽密集型解码阶段。

待验证50%

9月11日

在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感

已验证75%

在推理流程中，Prefill 阶段计算密集且耗时较长，Decode 阶段逐 token 自回归生成且对延迟敏感

预填充阶段是模型在处理用户输入时，为所有输入token构建键值缓存（KV Cache）的过程。

Transformer推理分为两个阶段：并行的计算密集型预填充阶段和顺序的内存带宽密集型解码阶段。