AMD MI355X
AMD MI355X是AMD Instinct系列面向数据中心的高端AI加速GPU,专为大规模人工智能推理与训练工作负载设计。该产品基于AMD先进GPU架构,配备大容量高带宽内存(HBM),支持高性能矩阵运算,适用于大语言模型推理、科学计算及云端AI部署场景,是AMD面向企业级AI基础设施的旗舰计算加速产品之一。
时间轴 (近 90 天)
对采购方而言,每美元token数接近翻倍的差距足以改变TCO测算;对开发者而言,ROCm与vLLM的组合开始具备生产可用性。
在同一基准测试条件下,8卡AMD MI355X的每GPU吞吐量比HGX B300的6,083 tok/s/GPU高出24.4%。
按每美元可处理的token数计算,8卡AMD MI355X的优势扩大到87.4%。
此次性能提升主要归功于vLLM层面的调度与内存管理优化、针对AMD架构定制的kernel实现以及硬件层面的细节调优三类工作。
MI355X此次在真实agentic负载中追平甚至反超B300,说明AMD的短板正在从“硬件不行”转向“软件待完善”。
在SemiAnalysis的AgentX基准测试中,8卡AMD MI355X在50 tok/s/user的交互延迟下,于Kimi K3模型服务中实现了每GPU 7,567 tok/s的吞吐量。
Meta 为推测解码提供了两个专用草稿模型:DFlash V2 为 SGLang 设计,在 AMD MI355X 硬件上据称实现 3.7 倍吞吐提升,每步平均接受 6.4 个草稿 token;DSpark 为 vLLM 设计,每次传递最多提议七个 token。
GLM-5.3-Flash 已能在 AMD MI355X 上运行,并支持 FP8/MXFP4 MoE 与 MTP 投机解码
在MI355X上通过移除不必要的专家填充,DeepSeek-V4的FP4 MoE模型权重从159.07 GB降至112.36 GB
Kimi K3在AMD MI355X上采用分组头MLA验证内核,在并发2-32时实现1.37-1.77倍吞吐量提升和1.45-2.42倍ITL改善
全部知识事实 (10)
对采购方而言,每美元token数接近翻倍的差距足以改变TCO测算;对开发者而言,ROCm与vLLM的组合开始具备生产可用性。
50%待验证在同一基准测试条件下,8卡AMD MI355X的每GPU吞吐量比HGX B300的6,083 tok/s/GPU高出24.4%。
50%待验证按每美元可处理的token数计算,8卡AMD MI355X的优势扩大到87.4%。
50%待验证此次性能提升主要归功于vLLM层面的调度与内存管理优化、针对AMD架构定制的kernel实现以及硬件层面的细节调优三类工作。
50%待验证MI355X此次在真实agentic负载中追平甚至反超B300,说明AMD的短板正在从“硬件不行”转向“软件待完善”。
50%待验证在SemiAnalysis的AgentX基准测试中,8卡AMD MI355X在50 tok/s/user的交互延迟下,于Kimi K3模型服务中实现了每GPU 7,567 tok/s的吞吐量。
50%待验证Meta 为推测解码提供了两个专用草稿模型:DFlash V2 为 SGLang 设计,在 AMD MI355X 硬件上据称实现 3.7 倍吞吐提升,每步平均接受 6.4 个草稿 token;DSpark 为 vLLM 设计,每次传递最多提议七个 token。
50%待验证GLM-5.3-Flash 已能在 AMD MI355X 上运行,并支持 FP8/MXFP4 MoE 与 MTP 投机解码
50%待验证在MI355X上通过移除不必要的专家填充,DeepSeek-V4的FP4 MoE模型权重从159.07 GB降至112.36 GB
50%待验证Kimi K3在AMD MI355X上采用分组头MLA验证内核,在并发2-32时实现1.37-1.77倍吞吐量提升和1.45-2.42倍ITL改善
50%