NVIDIA H100
NVIDIA推出的企业级数据中心GPU，采用Hopper架构，广泛用于AI训练与推理，支持SXM5形态与InfiniBand互联
核心事实
时间轴 (近 90 天)
自建数据中心需一次性投入数亿至数十亿美元购置GPU（如NVIDIA H100）、建设机房和配套系统。
Nathan Lambert认为中国在AI人才上绝不逊色于美国，真正的短板是算力；他举例称OpenAI普通研究员可随时调用约5000张H100的算力。
GPU（如NVIDIA H100/H200）单价高达数万美元，且供应紧张、迭代迅速，硬件折旧周期短。
一块按需H100按$3.99/小时全月运行约2913美元，相当于约83.2万次中端批量评审调用或1660万次小型批量调用。
NVIDIA H100/H200依赖CoWoS将GPU裸片与HBM内存堆叠封装在一起
实验环境为单张NVIDIA H100，通过vLLM服务，测试模型为Gemma 4 12B和Gemma 4 31B，输入数据为5000万token的真实公开文本
H200相比上一代H100的核心升级在于显存容量和带宽
M5 Ultra的80核GPU是Apple Silicon消费级最高配置，但与NVIDIA H100/H200等数据中心级GPU相比浮点算力仍有数量级差距
AWS Trainium2是亚马逊自研的第二代机器学习训练芯片，基于NeuronCore-v3架构，被定位为NVIDIA H100的性价比竞争替代方案
英伟达H100/H200系列芯片长期供不应求
还有 27 条时间轴事件
全部知识事实 (20)
NVIDIA H100单卡FP64双精度浮点性能达到约34 TFLOPS
90%已验证FP8 是 8 位浮点格式，NVIDIA H100 等较新架构原生支持，相较于 FP16/BF16 可将数据量压缩一半
75%已验证2022年10月，拜登政府首次出台针对先进计算芯片的出口管制，限制NVIDIA A100、H100等高端GPU对华出口
75%已验证The NVIDIA H100 comes with 80GB of HBM3 memory
65%待验证传统GPU如NVIDIA A100/H100在推理阶段面临内存带宽瓶颈，模型权重需要在每次生成Token时从显存反复读取
90%待验证NVIDIA H100的峰值计算吞吐量与显存带宽之间存在巨大差距，大多数GPU程序的瓶颈在于数据搬运而非计算本身
90%待验证NVIDIA B200 GPU基于Blackwell架构，相比H100在训练性能上提升约2.5倍，推理性能提升可达5倍
85%待验证xAI于2024年9月在孟菲斯建成首期COLOSSUS集群，仅用约122天完成10万块NVIDIA H100 GPU的部署
85%待验证2023 年至 2024 年间 NVIDIA H100 的交付周期一度长达 36-52 周，到 2025 年下半年随着台积电 CoWoS 先进封装产能扩张，GPU 可获取性大幅改善
60%待验证DeepSeek-V3.2完整部署通常需要多张高端GPU（如NVIDIA A100/H100）组成的集群
60%待验证NVIDIA H100单卡售价高达3-4万美元，且受台积电先进制程产能限制，全球年供应量有限
60%待验证自建数据中心需一次性投入数亿至数十亿美元购置GPU（如NVIDIA H100）、建设机房和配套系统。
50%待验证Nathan Lambert认为中国在AI人才上绝不逊色于美国，真正的短板是算力；他举例称OpenAI普通研究员可随时调用约5000张H100的算力。
50%待验证GPU（如NVIDIA H100/H200）单价高达数万美元，且供应紧张、迭代迅速，硬件折旧周期短。
50%待验证NVIDIA H100/H200依赖CoWoS将GPU裸片与HBM内存堆叠封装在一起
50%待验证实验环境为单张NVIDIA H100，通过vLLM服务，测试模型为Gemma 4 12B和Gemma 4 31B，输入数据为5000万token的真实公开文本
50%待验证H200相比上一代H100的核心升级在于显存容量和带宽
50%待验证M5 Ultra的80核GPU是Apple Silicon消费级最高配置，但与NVIDIA H100/H200等数据中心级GPU相比浮点算力仍有数量级差距
50%待验证AWS Trainium2是亚马逊自研的第二代机器学习训练芯片，基于NeuronCore-v3架构，被定位为NVIDIA H100的性价比竞争替代方案
50%待验证MI355X显存容量超过NVIDIA H100（80GB）和H200（141GB）
50%