Prefill

Prefill阶段是计算密集型操作，Decode阶段是显存带宽密集型操作

Prefill阶段是大语言模型推理的第一步，模型对输入的所有token并行进行完整的前向计算，生成每一层的KV Cache

P/D 分离（Prefill/Decode Disaggregation）将 Prefill 和 Decode 两阶段部署在不同节点，以针对各自计算特性独立扩容，同时优化吞吐量和首 token 延迟（TTFT）

预填充（Prefill）阶段是计算密集型任务，对算力要求高；解码（Decode）阶段是访存密集型任务，对显存带宽敏感

大模型推理分为Prefill和Decode两个阶段，Prefill是首Token延迟(TTFT)的重要组成部分，Decode对应每Token生成时间(TPOT)

Transformer 推理的 prefill 阶段主要受计算能力（FLOPS）瓶颈制约，而 decode 阶段主要受内存带宽瓶颈制约

TTFT由Prefill阶段决定受算力约束，TPOT对应Decode阶段受内存带宽约束

LLM推理的prefill阶段并行处理输入所有token并生成初始KV Cache，是计算密集型操作，是TTFT的直接决定因素

传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈

LLM 推理分为预填充阶段（Prefill，计算密集型）和解码阶段（Decode，内存带宽密集型）两个阶段

在分布式推理架构中，跨组件接口必须显式传递所有状态（包括拒绝状态），否则未检查的隐含假设可能导致数据串流。

在跨机器交接时，Decode只询问任务是否完成，未检查任务是否被拒绝，导致在Prefill拒绝超长提示词并替换为占位符后，Decode仍按原计划预留并读取了超出实际发送量的页面。

该推理框架采用读写分离架构：Prefill阶段用普通8卡机器，Decode阶段用64或128卡的大机器，最小适配为64张读、64张写共128张卡，读写可部署在不同机房并通过光纤连接。

Prefill阶段对整段输入做一次前向计算，产生所有位置的KV缓存，属于计算密集型（compute-bound）；Decode阶段逐Token自回归生成，属于内存带宽密集型（memory-bound）。

Transformer 推理分为 prefill 和 decode 两个阶段：prefill 一次性并行处理整段输入提示，主要受算力限制；decode 逐个生成输出 token，主要受显存带宽限制。

Prefill阶段将整个输入prompt一次性送入模型，注意力计算可完全并行，属于计算密集型负载，GPU利用率接近饱和但延迟与输入长度近似线性。

Prefill 阶段处理完整输入上下文，为所有输入 token 计算注意力并生成 KV 缓存，属于计算密集型操作，耗时与输入长度强相关。

预填充(prefill)阶段指模型一次性处理输入prompt的过程，计算量与输入长度成正比，长文档场景下首个token等待时间(TTFT)会显著拉长

分离式推理将计算密集的预填充阶段与内存带宽密集的解码阶段解耦，分配到各自最适合的硬件资源池独立扩缩容

Prefill阶段高度并行、吞吐量大但耗时随上下文长度增长，Decode阶段逐token自回归生成且速度受限于显存带宽