概念CUDA Graph
CUDA graphs
NVIDIA CUDA的一项技术，将内核启动序列录制为图并一次性提交，减少CPU启动开销，提升小批量低延迟场景的性能。
时间轴 (近 90 天)
10月18日
CUDA graphs将内核启动序列录制为图并一次性提交，可减少CPU启动开销，尤其有利于小batch低延迟场景。
待验证50%
10月1日
Laya 决策模型针对短请求实现了最高 4.1 倍的加速，提速主要来自 marker-only head 与 CUDA graphs 的引入
待验证50%