H100
核心事实
时间轴 (近 90 天)
2022年10月及2023年10月的两轮出口管制更新，逐步将英伟达A100、H100及后续特供型号纳入限制范围。
英伟达的AI芯片（如H100、A100等）自2022年起被美国商务部工业与安全局（BIS）纳入出口管制清单，依据是《出口管理条例》（EAR）。
超大规模数据中心的供电和散热容量是稀缺资源，腾出300个机架空间用于部署H100/H200集群的经济回报远高于保留A100。
H100和B200这类产品单价通常在数万美元量级，且受产能与出口管制影响，交货周期长、渠道加价严重。
当大模型训练和推理的需求持续膨胀，而专业级加速卡（如H100、B200系列）产能有限、价格高昂时，采购方会把目光投向消费级旗舰卡。
H100基于Hopper架构，配备80GB HBM3显存。
作者表示，如果有人愿意捐赠8x H100算力，他将尝试用KS3冲击nanogpt训练速度的世界纪录，并声称在代理硬件上已经找到了能击败现有纪录的配置。
CADRE 在单张 H100 上即可运行，不需要多卡并行或集群。
据 MarkTechPost 报道，基于 CADRE 构建的世界模型在单张 H100 上可以跑到 20 fps。
不同 GPU 架构的 SM 数量、Tensor Core 代际、显存带宽与 L2 缓存规模各不相同，同一个 tactic 在 A100 与 H100 上的相对优劣可能完全相反。
还有 40 条时间轴事件
全部知识事实 (20)
NVIDIA A100的HBM2e容量为80GB，H100为80GB HBM3，H200为141GB
90%已验证英伟达H100采用的HBM3内存带宽高达3.35TB/s
90%已验证美国自2022年起对中国实施先进半导体出口管制，限制高端AI训练芯片如NVIDIA A100/H100及其后续产品的出口
90%已验证xAI建设了名为Colossus的超级计算集群，据报道配备了超过10万块NVIDIA H100 GPU
90%已验证大语言模型的预训练过程需要数千块高端GPU并行运算数月，耗资通常在数千万到数亿美元之间
90%已验证训练一次GPT-4级别的模型需要数万块A100/H100 GPU协同工作数月
90%已验证英伟达H100/H200 GPU单卡售价高达3-4万美元
90%已验证英伟达H100/H200系列GPU在AI训练和推理市场占据超过80%的份额
90%已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存
80%已验证Cerebras最新一代WSE-3芯片面积达到约46,225平方毫米，集成了4万亿个晶体管和90万个AI优化核心，是英伟达H100 GPU面积的50倍以上
80%已验证NVIDIA的MIG技术可在A100/H100等高端GPU上实现硬件级别的资源隔离
80%已验证Blackwell架构核心创新包括第二代Transformer引擎（支持FP4精度）、NVLink Switch系统（支持576块GPU互联）、20 petaFLOPS的FP4算力和192GB HBM3e显存（带宽达8TB/s）
80%已验证英伟达H100/H200、AMD MI300X均集成了HBM
75%已验证Blackwell的第二代Transformer Engine新增FP4精度支持，理论上可将Transformer模型的训练吞吐量相比H100提升2-4倍
75%已验证35B模型在FP16精度下需要约70GB显存，远超RTX 5090的32GB容量，因此单卡部署需量化
75%已验证HBM是英伟达A100、H100、H200等AI训练芯片的核心组成部分
75%已验证70B级别的模型即便经过量化，往往也需要40GB以上显存或多卡配置
75%已验证主流NVMe SSD的顺序读取速度可达3500-7000MB/s
75%已验证支持128K上下文的70B参数模型的KV Cache满负荷时可能需要数百GB显存，超过单张H100的80GB显存容量
70%已验证NVLink 4.0（用于H100）单向带宽可达900 GB/s
70%