Maia 300
微软自研的第三代AI推理芯片,面向云端AI工作负载,重点优化推理模型和Agentic任务,旨在降低对英伟达GPU的依赖并改善推理成本与效率。
时间轴 (近 90 天)
微软声称Maia 300相比领先的GPU系统应能提供40%更多每兆瓦token,在96加速器配置下达到Maia 200机架级token吞吐的7倍。
Maia 300采用多chiplet设计:计算chiplet基于台积电N2P工艺,内存控制器和I/O功能放在单独裸片上。
Maia 300加速器可以750GB/s的速度连接到超级Pod中的远端对等体。
Maia 300的scale-up网络在以太网上运行定制AI传输,拓扑分两层:机架内半交换架构电气连接全部96颗加速器,第二层光交换将最多128个机架连成一个超级Pod(12,288颗加速器)。
液冷承担Maia 300机架80%以上的热负载,设计可连接设施水或通过热交换器单元适配风冷机房。
SiliconANGLE解读认为,Maia 300的288GB容量与NVIDIA Rubin加速器持平,但内存带宽低约20%。
Maia 300配置8个HBM4堆栈,提供288GB容量和18TB/s带宽,是Maia 200的2.5倍内存带宽、33%更多容量。
40%的每兆瓦token提升目前仍是微软自己给出的数据,尚未经过独立验证。
Maia 300宣称将支撑Azure多吉瓦级别的推理部署,并成为微软自家产品的主要推理系统。
Maia 300配备8组HBM4显存堆栈,采用台积电N2P制程的计算芯粒,部署形态为96加速器机架。
还有 18 条时间轴事件
全部知识事实 (20)
Maia 300采用多chiplet设计:计算chiplet基于台积电N2P工艺,内存控制器和I/O功能放在单独裸片上。
50%待验证微软声称Maia 300相比领先的GPU系统应能提供40%更多每兆瓦token,在96加速器配置下达到Maia 200机架级token吞吐的7倍。
50%待验证Maia 300加速器可以750GB/s的速度连接到超级Pod中的远端对等体。
50%待验证Maia 300的scale-up网络在以太网上运行定制AI传输,拓扑分两层:机架内半交换架构电气连接全部96颗加速器,第二层光交换将最多128个机架连成一个超级Pod(12,288颗加速器)。
50%待验证液冷承担Maia 300机架80%以上的热负载,设计可连接设施水或通过热交换器单元适配风冷机房。
50%待验证SiliconANGLE解读认为,Maia 300的288GB容量与NVIDIA Rubin加速器持平,但内存带宽低约20%。
50%待验证Maia 300配置8个HBM4堆栈,提供288GB容量和18TB/s带宽,是Maia 200的2.5倍内存带宽、33%更多容量。
50%待验证Maia 300宣称将支撑Azure多吉瓦级别的推理部署,并成为微软自家产品的主要推理系统。
50%待验证Maia 300配备8组HBM4显存堆栈,采用台积电N2P制程的计算芯粒,部署形态为96加速器机架。
50%待验证微软给出的关键指标是Maia 300相比上一代每兆瓦功耗下token吞吐量提升40%。
50%待验证微软在采购英伟达GPU的同时推进Maia,本质上是在通用性与专用效率之间进行组合配置,而非彻底替代。
50%待验证微软通过自研Maia 300旨在优化大语言模型及复杂推理模型的执行效率,并减少对第三方GPU供应商的依赖。
50%待验证Maia 300从设计之初就针对Azure云环境进行调优。
50%待验证能效比提升40%是官方基于特定基准测试得出的,实际表现受模型结构、批处理大小、内存带宽、互联带宽等因素影响,应被看作理想工况下的对比值。
50%待验证Maia 300属于ASIC(专用集成电路)范畴,与英伟达GPU的通用可编程架构形成对照。
50%待验证Maia 300是Maia系列的迭代产品,命名上跳过了Maia 200,官方尚未给出明确说明。
50%待验证Maia 300的关键升级之一是更有能力处理最新的推理模型和agentic任务。
50%待验证Maia 300的目标之一是降低微软对英伟达GPU的依赖,同时提升云端AI工作负载的成本与效率。
50%待验证Maia 300的生产将在2027年启动。
50%待验证微软计划让Maia 300逐步替代微软内部推理负载所依赖的第三方芯片。
50%