[控场AI]
概念动态随机存取存储器 / Dynamic Random Access Memory

DRAM

一种常见的半导体存储器类型,广泛用于计算机、手机、服务器等设备的主内存,以高密度、低成本为核心竞争要素,市场长期由三星、SK海力士、美光三家寡头主导

核心事实

时间轴 (近 90 天)

10月31日

对于云端服务商,专用 DRAM 可以通过多租户调度提高利用率;但对于个人用户,为偶尔的推理任务配置大容量内存,存在资源利用不充分的问题。

待验证50%
10月31日

在本地运行大语言模型时,模型权重通常需要加载到显存(VRAM)或内存中,而模型规模动辄数十 GB,对 DRAM 容量提出很高要求。

待验证50%
10月31日

DRAM(动态随机存取存储器)是计算机的主内存,用于临时存放 CPU 或 GPU 正在处理的数据。

待验证50%
10月31日

Sam Altman 的原意是:将 DRAM 用于本地 AI 模型推理是‘糟糕的资源分配’,因为这些内存大部分时间处于闲置状态。

待验证50%
10月30日

在大模型推理中,GPU的浮点算力每两年翻倍,而HBM/DRAM带宽的增速明显滞后。

待验证50%
10月30日

DRAM浪费的常见形式包括过度分配、缓存失控(KV Cache无分级或淘汰策略)、数据搬运冗余和框架默认值未调优。

待验证50%
10月30日

当前 AI 算力的瓶颈不仅在 GPU,也在 DRAM 等内存核心组件。

待验证50%
10月30日

Altman 认为,从全球资源分配角度看,让每个人把有限的 DRAM 供应囤在个人电脑里却只使用 5% 的时间是糟糕的选择。

待验证50%
10月27日

AI服务器对HBM的需求增长会直接挤占DRAM产线的通用产能,进而推高整体存储芯片的供给紧张程度。

待验证50%
10月27日

美光在台湾的主力布局集中在DRAM制造。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

HBM是通过硅通孔(TSV)技术将多层DRAM芯片垂直堆叠,再通过硅中介层与GPU集成的封装技术

90%
已验证

HBM通过垂直堆叠多层DRAM芯片并以硅通孔(TSV)技术实现层间高密度互联,相比传统GDDR6显存内存带宽可高出3-5倍,同时功耗更低、封装面积更小

75%
已验证

4F²是DRAM存储芯片的面积效率衡量标准,意味着每个存储单元仅占4倍最小特征尺寸的面积,是理论上的存储密度极限,现有主流DRAM通常在6F²至8F²之间

65%
已验证

HBM 的生产工艺复杂、良率爬坡困难,导致供给长期偏紧

65%
待验证

Flash chips provide far greater storage density per unit area than DRAM at a much lower cost

90%
待验证

分层内存架构将HBM、DRAM和CXL扩展内存池组织成层级结构,其中HBM作为高速缓存层、DRAM作为主内存层、CXL提供大容量可共享内存资源

60%
待验证

HBM采用TSV技术在极薄的DRAM晶圆上钻出数千个微米级通孔,每层DRAM die需要研磨至约30-40微米厚度

60%
待验证

存储价格在2023年下半年开始强劲反弹,并在2024年持续走高

60%
待验证

对于云端服务商,专用 DRAM 可以通过多租户调度提高利用率;但对于个人用户,为偶尔的推理任务配置大容量内存,存在资源利用不充分的问题。

50%
待验证

DRAM(动态随机存取存储器)是计算机的主内存,用于临时存放 CPU 或 GPU 正在处理的数据。

50%
待验证

Sam Altman 的原意是:将 DRAM 用于本地 AI 模型推理是‘糟糕的资源分配’,因为这些内存大部分时间处于闲置状态。

50%
待验证

在本地运行大语言模型时,模型权重通常需要加载到显存(VRAM)或内存中,而模型规模动辄数十 GB,对 DRAM 容量提出很高要求。

50%
待验证

DRAM浪费的常见形式包括过度分配、缓存失控(KV Cache无分级或淘汰策略)、数据搬运冗余和框架默认值未调优。

50%
待验证

在大模型推理中,GPU的浮点算力每两年翻倍,而HBM/DRAM带宽的增速明显滞后。

50%
待验证

Altman 认为,从全球资源分配角度看,让每个人把有限的 DRAM 供应囤在个人电脑里却只使用 5% 的时间是糟糕的选择。

50%
待验证

当前 AI 算力的瓶颈不仅在 GPU,也在 DRAM 等内存核心组件。

50%
待验证

美光在台湾的主力布局集中在DRAM制造。

50%
待验证

AI服务器对HBM的需求增长会直接挤占DRAM产线的通用产能,进而推高整体存储芯片的供给紧张程度。

50%
待验证

过去30年除了DRAM、SRAM、闪存之外,没有出现成功的新内存架构。

50%
待验证

内存市场具有周期性,源于供需错配:DRAM和NAND属于标准化大宗产品,厂商扩产周期长(2-3年),而需求端波动大。

50%

来源文章