Decode

Prefill阶段是计算密集型操作，Decode阶段是显存带宽密集型操作

P/D 分离（Prefill/Decode Disaggregation）将 Prefill 和 Decode 两阶段部署在不同节点，以针对各自计算特性独立扩容，同时优化吞吐量和首 token 延迟（TTFT）

预填充（Prefill）阶段是计算密集型任务，对算力要求高；解码（Decode）阶段是访存密集型任务，对显存带宽敏感

自回归解码阶段每生成一个新token都需读取完整KV Cache，使解码阶段几乎总是受限于内存带宽而非计算能力

大模型推理分为Prefill和Decode两个阶段，Prefill是首Token延迟(TTFT)的重要组成部分，Decode对应每Token生成时间(TPOT)

Transformer 推理的 prefill 阶段主要受计算能力（FLOPS）瓶颈制约，而 decode 阶段主要受内存带宽瓶颈制约

TTFT由Prefill阶段决定受算力约束，TPOT对应Decode阶段受内存带宽约束

LLM推理的Prefill阶段为计算密集型且GPU利用率接近100%，Decode阶段为内存带宽密集型，瓶颈在于HBM显存带宽

传统混合部署中Prefill阶段的大批量计算会阻塞Decode阶段的token生成，导致TTFT波动剧烈

LLM 推理在 decode 阶段通常是内存带宽受限而非计算受限，因为逐 token 生成需加载整个模型权重但算术强度极低

LLM 推理分为预填充阶段（Prefill，计算密集型）和解码阶段（Decode，内存带宽密集型）两个阶段

大模型Decode阶段由于每步依赖上一步结果只能串行执行，硬件利用率通常不足10%

本地AI推理分为Pre-Fill（读取提示词）和Decode（生成新Token）两个阶段，Decode速度由LM Studio或Ollama显示的每秒Token数衡量，而Pre-Fill阶段可能比Decode慢得多。

在分布式推理架构中，跨组件接口必须显式传递所有状态（包括拒绝状态），否则未检查的隐含假设可能导致数据串流。

在跨机器交接时，Decode只询问任务是否完成，未检查任务是否被拒绝，导致在Prefill拒绝超长提示词并替换为占位符后，Decode仍按原计划预留并读取了超出实际发送量的页面。

该推理框架采用读写分离架构：Prefill阶段用普通8卡机器，Decode阶段用64或128卡的大机器，最小适配为64张读、64张写共128张卡，读写可部署在不同机房并通过光纤连接。

Decode阶段是访存带宽密集型的，每步需从HBM重新加载模型权重和KV cache，决定inter-token延迟（ITL）

Prefill阶段对整段输入做一次前向计算，产生所有位置的KV缓存，属于计算密集型（compute-bound）；Decode阶段逐Token自回归生成，属于内存带宽密集型（memory-bound）。

分离式推理将计算密集的预填充阶段与内存带宽密集的解码阶段解耦，分配到各自最适合的硬件资源池独立扩缩容

Prefill阶段高度并行、吞吐量大但耗时随上下文长度增长，Decode阶段逐token自回归生成且速度受限于显存带宽