待验证50% 置信事实精确时间
Betelgeuse使用流内CUDA内核在设备上以约2µs解析专家命中，仅当专家缺失时才通过门铃通知主机，使整个解码过程作为单次CUDA Graph重放运行，避免了每token约360ms的cudaStreamSynchronize开销。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/31
首次发现
有效期至：2027/1/29
来源
12GB显卡跑68GB大模型：Betelgeuse引擎实测22 tok/s
redditr/LocalLLaMA2026/10/31
涉及实体
相关事实
待验证cudaStreamSynchronize 会阻塞 CPU 线程直到指定 stream 中所有操作完成，从 GPU 显存到 CPU 内存的数据拷贝在默认模式下也会隐式触发同步72% 相似待验证dlmrt推理引擎的核心思路是将整个去噪循环捕获进一张CUDA graph，直接在GPU上执行，避免每步从CPU发起并同步。70% 相似待验证可变形注意力的稀疏采样操作涉及不规则内存访问和自定义CUDA算子，无法被cuBLAS、cuDNN等标准矩阵乘法库高效处理70% 相似待验证推理栈若深度依赖CUDA方言，迁移到其他硬件或异构集群需重写底层内核、重新调优与验证，工程量以人年计。68% 相似已验证Unsloth 针对主流 GPU 架构手写了定制化的 CUDA/Triton 计算内核并重写了反向传播算法68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1120767API
curl https://kongchang.com/api/v1/knowledge/claims/1120767MCP
get_claim(id=1120767)