GB200
NVIDIA Blackwell架构的Grace Blackwell超级芯片,面向数据中心推理场景的旗舰产品,集成NVLink-C2C互联的Grace CPU与B200 GPU
核心事实
时间轴 (近 90 天)
推理优化在 GB200 上达到每 GPU 最高 4,856 输出 token/s,同时维持每用户至少 50 token/s 的体验下限。
SM100对应英伟达Blackwell架构中计算能力10.0的GPU,如B200、GB200等,它是一个架构标识而非具体显卡型号。
Megatron-Bridge 接收到该模型的预训练、SFT 与 PEFT 完整配方,面向搭载 H100 与 GB200 的服务器。
GB200 是 NVIDIA 面向大规模 AI 推理与训练的下一代 GPU 平台,具备更高显存带宽和更密集的计算单元。
JetSpec++ 在 NVIDIA GB200 上针对单次请求可达最高 1,361 tokens/秒的生成速度。
根据CoreWeave的对比图,Rubin在慢速端相比GB200优势约为3倍,在快速端攀升至7倍以上
CoreWeave公开的旧款GB200价格为每GPU每小时10.5美元
在NVIDIA GB200平台上,密集SiLU任务完整训练步吞吐提升2.7%,tanh软封顶注意力提升2.9%
在NVIDIA GB200平台上,路由专家SwiGLU任务完整训练步吞吐提升8.0%,为四个任务中收益最高
sigmoid注意力的注意力前向过程提升7.4%,但完整GPU步仅提升0.3%
还有 10 条时间轴事件
全部知识事实 (18)
GB200中的'G'代表Grace CPU,'B'代表Blackwell GPU
75%待验证在 gpt-oss 120B 测试中,Jalapeño 峰值每瓦吞吐约 85,448,对标 GB200 的 44,960,约 1.9 倍;端到端延迟从 1.80 秒压到 1.03 秒;最低 TBT 从 1.87 毫秒降到 0.69 毫秒
60%待验证推理优化在 GB200 上达到每 GPU 最高 4,856 输出 token/s,同时维持每用户至少 50 token/s 的体验下限。
50%待验证SM100对应英伟达Blackwell架构中计算能力10.0的GPU,如B200、GB200等,它是一个架构标识而非具体显卡型号。
50%待验证Megatron-Bridge 接收到该模型的预训练、SFT 与 PEFT 完整配方,面向搭载 H100 与 GB200 的服务器。
50%待验证GB200 是 NVIDIA 面向大规模 AI 推理与训练的下一代 GPU 平台,具备更高显存带宽和更密集的计算单元。
50%待验证JetSpec++ 在 NVIDIA GB200 上针对单次请求可达最高 1,361 tokens/秒的生成速度。
50%待验证根据CoreWeave的对比图,Rubin在慢速端相比GB200优势约为3倍,在快速端攀升至7倍以上
50%待验证在NVIDIA GB200平台上,密集SiLU任务完整训练步吞吐提升2.7%,tanh软封顶注意力提升2.9%
50%待验证在NVIDIA GB200平台上,路由专家SwiGLU任务完整训练步吞吐提升8.0%,为四个任务中收益最高
50%待验证sigmoid注意力的注意力前向过程提升7.4%,但完整GPU步仅提升0.3%
50%待验证Jalapeño额定功耗700W,实测持续功耗未超过550W;对照GB200额定1200W,GB300额定1400W
50%待验证GB300是NVIDIA Grace Blackwell架构的最新迭代,前一代为GB200
50%待验证英伟达推出DGX系统以及基于GB200的机架级方案,销售完整的AI计算基础设施而非单一芯片
50%待验证GB200相比H100在AI推理任务上能效提升30倍,延迟降低25倍
50%待验证Blackwell架构的B200/GB200拥有2080亿个晶体管,采用双芯片封装设计,片间互联带宽达10 TB/s
50%待验证2024年发布的Blackwell架构(代表产品B200/GB200)晶体管数量达到2080亿,采用双芯片封装设计,通过10 TB/s片间互联合并为一个逻辑GPU
50%待验证英伟达2024年发布的Blackwell架构(代表产品B200/GB200)晶体管数量达2080亿,采用第二代Transformer引擎和NVLink 5.0互联技术
50%