H200
NVIDIA 推出的 Hopper 架构 GPU,配备 HBM3e 内存,面向高性能计算和 AI 训练/推理
核心事实
时间轴 (近 90 天)
官方建议使用Mistral Large 4的NVFP4版本时至少需要8块H100或H200 GPU。
超大规模数据中心的供电和散热容量是稀缺资源,腾出300个机架空间用于部署H100/H200集群的经济回报远高于保留A100。
实验选取Claude Opus、Claude Sonnet、Codex和Gemini CLI四个前沿编码Agent,每个分配八张H200 GPU和12小时运行时间。
团队最初尝试在T4 GPU上跑完整训练流程,但每次都被显存不足错误击溃,最终转向H100、H200和TPU。
SM90 是 NVIDIA Hopper 架构(H100、H200 等 GPU)的流多处理器代号。
H系列GPU指NVIDIA的Hopper架构数据中心GPU,主要包括H100和H200;H100配备80GB HBM3显存,H200将显存提升至141GB并采用HBM3e。
在2.8万亿参数的KimiK3上,GB300-NVL72的每兆瓦吞吐量约为H200的80倍,同时将交互性推至约215 token/秒/用户。
Moonshot Kimi K2.5总参数量1.04T(32B活跃,384专家),即使采用QAT-INT4量化仍需8×H200才能容纳权重。
数据中心级H100/H200的定价动辄数万美元且采购渠道受限,消费级旗舰卡在单位显存成本上优势明显。
GPU Index 的价格数据快照中,H100 最低价为 $1.37/hr(Vast.ai,竞价实例),H200 为 $2.62/hr(CoreWeave,竞价),A100 为 $1.15/hr(Paperspace,三年合约),L40S 为 $0.79/hr(RunPod,社区云),B200 为 $4.26/hr(CoreWeave,竞价)。
还有 30 条时间轴事件
全部知识事实 (20)
英伟达H100/H200 GPU单卡售价高达3-4万美元
90%已验证英伟达H100/H200系列GPU在AI训练和推理市场占据超过80%的份额
90%已验证英伟达H100/H200、AMD MI300X均集成了HBM
75%待验证OpenAI、Google DeepMind、Anthropic等头部公司同时争夺有限的H100/H200 GPU供应
80%待验证英伟达H100/H200系列GPU长期处于供不应求状态
70%待验证GPU代际从A100到H100再到H200演进,每一代新GPU都在推动推理效率前沿向外扩展
60%待验证Composer 2.5的高速推理依赖推测性解码(Speculative Decoding)、KV Cache优化以及专用推理硬件(如H100/H200 GPU集群)的协同加速
60%待验证官方建议使用Mistral Large 4的NVFP4版本时至少需要8块H100或H200 GPU。
50%待验证超大规模数据中心的供电和散热容量是稀缺资源,腾出300个机架空间用于部署H100/H200集群的经济回报远高于保留A100。
50%待验证实验选取Claude Opus、Claude Sonnet、Codex和Gemini CLI四个前沿编码Agent,每个分配八张H200 GPU和12小时运行时间。
50%待验证SM90 是 NVIDIA Hopper 架构(H100、H200 等 GPU)的流多处理器代号。
50%待验证H系列GPU指NVIDIA的Hopper架构数据中心GPU,主要包括H100和H200;H100配备80GB HBM3显存,H200将显存提升至141GB并采用HBM3e。
50%待验证数据中心级H100/H200的定价动辄数万美元且采购渠道受限,消费级旗舰卡在单位显存成本上优势明显。
50%待验证这些优化在 H200 GPU 上带来了最高 10% 的吞吐量提升和最高 9% 的首 token 延迟(TTFT)改善。
50%待验证JetBrains 自报数据:Mellum2.1 在单张 H200 上达到 7,969 tokens/s,Qwen3.5-9B 为 4,347 tokens/s。
50%待验证英伟达H100等高端AI加速器集成了HBM3
50%待验证NVIDIA 的产能和分销资源在 AI 热潮下优先倾斜给了 H100、H200 等高端型号
50%待验证甲骨文在英伟达H100/H200 GPU集群的大规模采购和裸金属实例供给上投入巨大
50%待验证英伟达的高端GPU包括H100、H200以及Blackwell系列
50%待验证AI公司为抢占稀缺GPU资源(尤其是英伟达H100/H200集群)不得不接受严苛的长期合约条款
50%