概念Prefill-Decode disaggregation / 预填充解码分离

PD分离

LLM推理系统中将预填充（Prefill）阶段与解码（Decode）阶段分离部署的架构策略，通过独立扩展两个阶段的算力资源来优化整体推理吞吐量和延迟

来源文章