产品GB300
GB300 NVL72
NVIDIA面向大规模AI推理的机架级系统,通过高速互连将数十块GPU整合为单一逻辑计算资源,支持超大参数模型的低延迟推理
时间轴 (近 90 天)
10月19日
英伟达 CentML 工程师 Benjamin 通过上游 vLLM 优化,让 2.8 万亿参数的 Kimi K3 在 GB300 NVL72 上实现 423 tok/s/user 的推理速度,性能提升 1.68 倍。
已过期50%
10月15日
NVIDIA 宣布 Muse Spark Open 已在 GB300 NVL72 平台上完成适配与性能验证。
待验证50%
10月15日
GB300 NVL72 是面向大规模 AI 推理的机架级系统,其设计目标是在单一集群内支持超大参数模型的低延迟推理。
待验证50%
10月8日
Beam预训练使用6144块英伟达GB300 NVL72,用时不到4周,消耗23.8万亿个token
待验证50%