[控场AI]
产品GB300

GB300 NVL72

NVIDIA面向大规模AI推理的机架级系统,通过高速互连将数十块GPU整合为单一逻辑计算资源,支持超大参数模型的低延迟推理

时间轴 (近 90 天)

10月19日

英伟达 CentML 工程师 Benjamin 通过上游 vLLM 优化,让 2.8 万亿参数的 Kimi K3 在 GB300 NVL72 上实现 423 tok/s/user 的推理速度,性能提升 1.68 倍。

已过期50%
10月15日

NVIDIA 宣布 Muse Spark Open 已在 GB300 NVL72 平台上完成适配与性能验证。

待验证50%
10月15日

GB300 NVL72 是面向大规模 AI 推理的机架级系统,其设计目标是在单一集群内支持超大参数模型的低延迟推理。

待验证50%
10月8日

Beam预训练使用6144块英伟达GB300 NVL72,用时不到4周,消耗23.8万亿个token

待验证50%

全部知识事实 (3)

来源文章