待验证50% 置信事实精确时间
CUDA graphs将内核启动序列录制为图并一次性提交，可减少CPU启动开销，尤其有利于小batch低延迟场景。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
已验证CUDA Graph 是 NVIDIA 在 CUDA 10 引入的性能优化技术，通过录制-回放机制降低 CPU-GPU 同步延迟77% 相似待验证dlmrt推理引擎的核心思路是将整个去噪循环捕获进一张CUDA graph，直接在GPU上执行，避免每步从CPU发起并同步。77% 相似待验证prefill阶段因为要处理变长输入，往往需要为多种序列长度分别捕获CUDA graph，录制时间会被进一步放大。72% 相似待验证vLLM在启动时通常只对解码阶段做CUDA graph捕获，且对捕获的batch size集合有更激进的裁剪策略，因此其冷启动图捕获阶段往往比SGLang短。72% 相似待验证cuda-checkpoint能将GPU上运行进程的完整状态（包括显存数据、CUDA上下文、设备句柄）序列化保存至磁盘并快速还原至GPU继续运行71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1061239API
curl https://kongchang.com/api/v1/knowledge/claims/1061239MCP
get_claim(id=1061239)