DRAM
一种常见的半导体存储器类型,广泛用于计算机、手机、服务器等设备的主内存,以高密度、低成本为核心竞争要素,市场长期由三星、SK海力士、美光三家寡头主导
核心事实
时间轴 (近 90 天)
对于云端服务商,专用 DRAM 可以通过多租户调度提高利用率;但对于个人用户,为偶尔的推理任务配置大容量内存,存在资源利用不充分的问题。
在本地运行大语言模型时,模型权重通常需要加载到显存(VRAM)或内存中,而模型规模动辄数十 GB,对 DRAM 容量提出很高要求。
DRAM(动态随机存取存储器)是计算机的主内存,用于临时存放 CPU 或 GPU 正在处理的数据。
Sam Altman 的原意是:将 DRAM 用于本地 AI 模型推理是‘糟糕的资源分配’,因为这些内存大部分时间处于闲置状态。
在大模型推理中,GPU的浮点算力每两年翻倍,而HBM/DRAM带宽的增速明显滞后。
DRAM浪费的常见形式包括过度分配、缓存失控(KV Cache无分级或淘汰策略)、数据搬运冗余和框架默认值未调优。
当前 AI 算力的瓶颈不仅在 GPU,也在 DRAM 等内存核心组件。
Altman 认为,从全球资源分配角度看,让每个人把有限的 DRAM 供应囤在个人电脑里却只使用 5% 的时间是糟糕的选择。
AI服务器对HBM的需求增长会直接挤占DRAM产线的通用产能,进而推高整体存储芯片的供给紧张程度。
美光在台湾的主力布局集中在DRAM制造。
还有 40 条时间轴事件
全部知识事实 (20)
HBM是通过硅通孔(TSV)技术将多层DRAM芯片垂直堆叠,再通过硅中介层与GPU集成的封装技术
90%已验证HBM通过垂直堆叠多层DRAM芯片并以硅通孔(TSV)技术实现层间高密度互联,相比传统GDDR6显存内存带宽可高出3-5倍,同时功耗更低、封装面积更小
75%已验证4F²是DRAM存储芯片的面积效率衡量标准,意味着每个存储单元仅占4倍最小特征尺寸的面积,是理论上的存储密度极限,现有主流DRAM通常在6F²至8F²之间
65%已验证HBM 的生产工艺复杂、良率爬坡困难,导致供给长期偏紧
65%待验证Flash chips provide far greater storage density per unit area than DRAM at a much lower cost
90%待验证分层内存架构将HBM、DRAM和CXL扩展内存池组织成层级结构,其中HBM作为高速缓存层、DRAM作为主内存层、CXL提供大容量可共享内存资源
60%待验证HBM采用TSV技术在极薄的DRAM晶圆上钻出数千个微米级通孔,每层DRAM die需要研磨至约30-40微米厚度
60%待验证存储价格在2023年下半年开始强劲反弹,并在2024年持续走高
60%待验证对于云端服务商,专用 DRAM 可以通过多租户调度提高利用率;但对于个人用户,为偶尔的推理任务配置大容量内存,存在资源利用不充分的问题。
50%待验证DRAM(动态随机存取存储器)是计算机的主内存,用于临时存放 CPU 或 GPU 正在处理的数据。
50%待验证Sam Altman 的原意是:将 DRAM 用于本地 AI 模型推理是‘糟糕的资源分配’,因为这些内存大部分时间处于闲置状态。
50%待验证在本地运行大语言模型时,模型权重通常需要加载到显存(VRAM)或内存中,而模型规模动辄数十 GB,对 DRAM 容量提出很高要求。
50%待验证DRAM浪费的常见形式包括过度分配、缓存失控(KV Cache无分级或淘汰策略)、数据搬运冗余和框架默认值未调优。
50%待验证在大模型推理中,GPU的浮点算力每两年翻倍,而HBM/DRAM带宽的增速明显滞后。
50%待验证Altman 认为,从全球资源分配角度看,让每个人把有限的 DRAM 供应囤在个人电脑里却只使用 5% 的时间是糟糕的选择。
50%待验证当前 AI 算力的瓶颈不仅在 GPU,也在 DRAM 等内存核心组件。
50%待验证美光在台湾的主力布局集中在DRAM制造。
50%待验证AI服务器对HBM的需求增长会直接挤占DRAM产线的通用产能,进而推高整体存储芯片的供给紧张程度。
50%待验证过去30年除了DRAM、SRAM、闪存之外,没有出现成功的新内存架构。
50%待验证内存市场具有周期性,源于供需错配:DRAM和NAND属于标准化大宗产品,厂商扩产周期长(2-3年),而需求端波动大。
50%