统一内存
苹果M系列芯片中CPU、GPU和Neural Engine共享同一物理内存池的架构设计,消除传统架构中系统内存与显存之间的数据拷贝开销,提升内存利用效率
核心事实
时间轴 (近 90 天)
一台192GB统一内存的迷你主机价格约为显卡路线的零头,每GB成本不到显卡路线的四分之一。
迷你主机通常采用统一内存架构,集成GPU与CPU共享物理内存,显存分法(划给GPU的比例)会影响大模型推理速度。
统一内存的访问延迟并不一致:数据位于显存时快,位于主机内存时需经PCIe/NVLink传输,形成性能波动。
两台256GB Mac Studio通过Thunderbolt或以太网连接时,机器间带宽(数十Gbps量级)远低于单机内部统一内存带宽(数百GB/s量级)。
统一内存的共享内存带宽通常低于高端独立显卡的 GDDR6X/HBM 显存,且 CPU 与 GPU 争用同一总线时会进一步降低有效带宽。
苹果 M 系列芯片的统一内存带宽优势使其在相同价位段常能跑出不错的解码速度。
在移动工作站上跑AI负载,常见的基准包括Token生成速度(tokens/s)、首Token延迟以及特定模型下的内存占用;不同架构(x86+独立GPU vs ARM统一内存)在能效比和峰值性能上各有侧重。
2 位量化的 DeepSeek 763B 模型大约占用 175GB 内存,可在 256GB 机器上运行并为 KV 缓存留出空间。
统一内存架构需要推理框架针对性优化,硬件发布初期的软件成熟度通常需要一段时间打磨。
模型必须完整放入GPU可直接访问的内存(显卡VRAM或统一内存)才能真正可用,不能放在SSD或普通系统内存
还有 5 条时间轴事件
全部知识事实 (18)
自M1芯片起,苹果采用统一内存架构(Unified Memory Architecture),CPU、GPU和神经网络引擎共享同一内存池
80%已验证本地跑大模型的瓶颈在于显存容量与带宽,CPU不是关键
65%已验证稠密模型在本地部署场景中推理逻辑更简单、硬件兼容性更好,而MoE模型虽然推理时激活参数少但总权重仍需加载到内存中,对硬件要求反而更高
65%已验证相比传统GDDR6显存,HBM的内存带宽可高出3-5倍,同时功耗更低、封装面积更小
65%待验证Apple Silicon M-series unified memory architecture allows CPU and GPU to share the same physical memory, eliminating data copy overhead beneficial for LLM inference
90%部分验证统一内存架构使CPU、GPU与NPU共享同一块内存池,避免数据在处理单元间反复搬运的开销
65%待验证一台192GB统一内存的迷你主机价格约为显卡路线的零头,每GB成本不到显卡路线的四分之一。
50%待验证迷你主机通常采用统一内存架构,集成GPU与CPU共享物理内存,显存分法(划给GPU的比例)会影响大模型推理速度。
50%待验证统一内存的访问延迟并不一致:数据位于显存时快,位于主机内存时需经PCIe/NVLink传输,形成性能波动。
50%待验证两台256GB Mac Studio通过Thunderbolt或以太网连接时,机器间带宽(数十Gbps量级)远低于单机内部统一内存带宽(数百GB/s量级)。
50%待验证统一内存的共享内存带宽通常低于高端独立显卡的 GDDR6X/HBM 显存,且 CPU 与 GPU 争用同一总线时会进一步降低有效带宽。
50%待验证苹果 M 系列芯片的统一内存带宽优势使其在相同价位段常能跑出不错的解码速度。
50%待验证在移动工作站上跑AI负载,常见的基准包括Token生成速度(tokens/s)、首Token延迟以及特定模型下的内存占用;不同架构(x86+独立GPU vs ARM统一内存)在能效比和峰值性能上各有侧重。
50%待验证2 位量化的 DeepSeek 763B 模型大约占用 175GB 内存,可在 256GB 机器上运行并为 KV 缓存留出空间。
50%待验证统一内存架构需要推理框架针对性优化,硬件发布初期的软件成熟度通常需要一段时间打磨。
50%待验证模型必须完整放入GPU可直接访问的内存(显卡VRAM或统一内存)才能真正可用,不能放在SSD或普通系统内存
50%待验证使用统一内存(Unified Memory)让操作系统自动搬运数据,在长上下文下会因频繁换页拖垮推理效率
50%待验证统一内存的读写带宽通常低于专用 GDDR 显存,因此生成速度可能更慢
50%