NVIDIA B300
基于NVIDIA Blackwell架构的数据中心GPU加速器,支持FP4精度与第二代Transformer引擎,具备强化版显存容量与带宽配置,专为高吞吐企业级推理场景设计
时间轴 (近 90 天)
Scaleway在哥本哈根部署NVIDIA B300集群,规模达数千块GPU。
MI355X此次在真实agentic负载中追平甚至反超B300,说明AMD的短板正在从“硬件不行”转向“软件待完善”。
LFM2.5-24B-A2B 在单张 NVIDIA B300 私有云加速器上吞吐超过 21,000 tokens/秒。
LiquidAI 的 LFM2.5-24B-A2B 用稀疏 MoE 实现 24B 总参数中每 token 仅激活 2B,上下文从 32K 扩展到 131K,在 Apple M5 Max 上跑出 184 tok/s,在单张 NVIDIA B300 上聚合吞吐高达 21K tok/s。
在 8 块 NVIDIA B300 GPU 上,一个 470 亿参数的 MoE 模型在 Olmo-core 3 新框架上达到每 GPU 每秒约 52,000 tokens,而旧实现只有约 19,400,吞吐量提升约 2.7 倍;Ai2 将此标注为“初步结果”。
Together AI 宣布与 IBM Cloud 和 NVIDIA 达成合作,推出一套基于 NVIDIA B300 的专用推理集群
B300 变体强化了显存容量与带宽配置,适合运行参数规模在 700B 级别的超大模型
该专用推理集群由 Together AI 构建、部署在 IBM Cloud 上、基于 NVIDIA B300
全部知识事实 (6)
MI355X此次在真实agentic负载中追平甚至反超B300,说明AMD的短板正在从“硬件不行”转向“软件待完善”。
50%待验证LiquidAI 的 LFM2.5-24B-A2B 用稀疏 MoE 实现 24B 总参数中每 token 仅激活 2B,上下文从 32K 扩展到 131K,在 Apple M5 Max 上跑出 184 tok/s,在单张 NVIDIA B300 上聚合吞吐高达 21K tok/s。
50%待验证该专用推理集群由 Together AI 构建、部署在 IBM Cloud 上、基于 NVIDIA B300
50%待验证B300 变体强化了显存容量与带宽配置,适合运行参数规模在 700B 级别的超大模型
50%待验证Scaleway在哥本哈根部署NVIDIA B300集群,规模达数千块GPU。
50%待验证Together AI 宣布与 IBM Cloud 和 NVIDIA 达成合作,推出一套基于 NVIDIA B300 的专用推理集群
50%