HBM
高带宽内存（High Bandwidth Memory，HBM）是一种基于三维堆叠技术的高性能内存标准，通过将多层DRAM芯片垂直堆叠并以硅通孔（TSV）互联，实现极高的数据传输带宽和能效比。HBM主要用于对内存带宽要求极高的场景，包括人工智能训练、高性能计算及图形处理等领域，是现代GPU和AI加速芯片的重要组成部分。
核心事实
时间轴 (近 90 天)
当AI数据中心大量采购HBM时，晶圆厂会将产能向高利润的HBM倾斜，间接挤压消费级内存供给。
在大模型推理中，GPU的浮点算力每两年翻倍，而HBM/DRAM带宽的增速明显滞后。
现代AI芯片（如GPU、NPU）在设计时高度强调高带宽内存（HBM）的集成。
本地推理常用的统一内存架构（如苹果 Silicon）与数据中心 HBM 并非同一市场，两者的稀缺程度和替代关系并不完全对等。
UMA的内存带宽在移动端领先，但与数据中心级GPU的HBM带宽仍有差距，这在高并发推理或训练场景中会成为瓶颈。
AI服务器对HBM的需求增长会直接挤占DRAM产线的通用产能，进而推高整体存储芯片的供给紧张程度。
GPU显存带宽的增长长期落后于算力增长，导致注意力这类操作的实际耗时往往由数据在HBM与片上SRAM之间的搬运决定，而非纯计算量。
HBM存在shoreline带宽限制、功耗和散热问题；三到五层堆叠可能是甜点，16层堆叠在良率上几乎不可能。
内存原厂将产能向高利润的服务器和HBM产品倾斜，导致消费级DRAM供给持续收紧。
HBM单位晶圆消耗的产能远高于普通DDR颗粒，且毛利率显著更高。
还有 40 条时间轴事件
全部知识事实 (20)
英伟达H100采用的HBM3内存带宽高达3.35TB/s
90%已验证HBM是通过硅通孔（TSV）技术将多层DRAM芯片垂直堆叠，再通过硅中介层与GPU集成的封装技术
90%已验证FlashAttention的核心创新是通过控制GPU的SRAM与HBM之间的数据搬运模式，将标准注意力计算的显存访问复杂度从O(N²)降至近线性
85%已验证A100 GPU的HBM带宽约2TB/s，而片上SRAM带宽可达19TB/s，相差近10倍
85%已验证英伟达H100/H200、AMD MI300X均集成了HBM
75%已验证相比上一代V4 Flash，V4.1 Flash对高速显存（HBM）的需求降到四分之一，对SSD持久化存储的需求降到八分之一
75%已验证HBM通过垂直堆叠多层DRAM芯片并以硅通孔（TSV）技术实现层间高密度互联，相比传统GDDR6显存内存带宽可高出3-5倍，同时功耗更低、封装面积更小
75%已验证GB300 集成 HBM3e 高带宽内存，单卡容量高达288GB，内存带宽超过10TB/s
75%已验证HBM是英伟达A100、H100、H200等AI训练芯片的核心组成部分
75%已验证大模型训练主要消耗来自数以万计的高端GPU（如NVIDIA A100/H100）的算力
75%已验证主流NVMe SSD的顺序读取速度可达3500-7000MB/s
75%已验证HBM 的生产工艺复杂、良率爬坡困难，导致供给长期偏紧
65%已验证本地运行大模型时GPU显存往往比算力更关键，选择硬件时应优先关注显存容量而非性能跑分
65%已验证LLM推理的Prefill阶段为计算密集型且GPU利用率接近100%，Decode阶段为内存带宽密集型，瓶颈在于HBM显存带宽
65%已验证相比传统GDDR6显存，HBM的内存带宽可高出3-5倍，同时功耗更低、封装面积更小
65%待验证Traditional GPU memory relies primarily on HBM, which achieves high bandwidth through 3D stacking and ultra-wide buses but has limited capacity, high expense, and significant power consumption
90%待验证Storage-class memory exhibits notable disadvantages in access latency and bandwidth compared to HBM's multi-terabyte-per-second bandwidth
85%待验证内存行业的晶圆产能需要在DDR、LPDDR和HBM三种主要内存类型之间分配
85%待验证在AI浪潮到来之前，HBM仅占晶圆分配的2%
85%待验证每生产1GB的HBM所消耗的晶圆产能是生产1GB DDR或LPDDR的三倍以上
80%