共 1 篇相关文章
解析LLM推理中prefill与decode分离(PD disaggregation)的技术原理与生产实践:从Splitwise到Prime Inference的GB200调优数据,同GPU数量承载75%更多请求,KV传输开销降至3-4% TTFT。