已验证75% 置信事实精确时间
传统推理将 Prefill 阶段和 Decode 阶段放在同一组 GPU 上串行执行，导致两类工作负载互相干扰，GPU 利用率难以最优化
3
来源数
75%
置信度
长期有效
时效性
2026/9/18
首次发现
来源
涉及实体
相关事实
待验证prefill 与 decode 对算力和带宽的偏好不同，混用异构 GPU 机型虽然可行，但会让容量规划变得复杂。80% 相似已验证CPU+GPU混合推理采用层级卸载机制，通过n_gpu_layers参数控制卸载层数，主要瓶颈是PCIe带宽延迟，通常使生成速度降至纯GPU推理的1/3到1/277% 相似已验证GPU全栈范式将环境状态、动力学仿真、策略网络前向传播及梯度计算全部留在显存中完成，消除CPU与GPU的数据传输瓶颈77% 相似待验证Colocate 调度将 rollout 和 training 放在同一组 GPU 上交替执行，会互相争抢显存与算力且必须严格串行。76% 相似待验证GPU采用隐藏延迟的策略，通过同时调度成千上万个线程，在一批线程因等待内存阻塞时切换到就绪线程76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/933351API
curl https://kongchang.com/api/v1/knowledge/claims/933351MCP
get_claim(id=933351)