产品Apple M2 Max

M2 Max

Apple推出的高性能系统级芯片（SoC），具有统一内存架构，常用于MacBook Pro和Mac Studio

时间轴 (近 90 天)

10月17日

在M2 Max上，使用Llama-3.1-8B-Instruct（Q4_K_M量化），Magnitude的吞吐量为38.7 tok/s，Ollama为18.2 tok/s。

待验证50%

10月14日

llama.cpp 0.3.0 通过 --n-gpu-layers 参数利用统一内存特性，在 M2 Max 上 7B 模型可以卸载35层。

待验证50%

9月11日

Mac Studio搭载M系列芯片，如M2 Max、M2 Ultra及后续更新版本

待验证60%

Mac Studio搭载M系列芯片，如M2 Max、M2 Ultra及后续更新版本

在M2 Max上，使用Llama-3.1-8B-Instruct（Q4_K_M量化），Magnitude的吞吐量为38.7 tok/s，Ollama为18.2 tok/s。

llama.cpp 0.3.0 通过 --n-gpu-layers 参数利用统一内存特性，在 M2 Max 上 7B 模型可以卸载35层。