[控场AI]
产品MLX框架

MLX

苹果自研的机器学习框架,专为Apple Silicon芯片优化,支持在Mac本地高效运行大型语言模型

核心事实

时间轴 (近 90 天)

10月31日

TensorFold构建在80核M5 Ultra芯片上跑混合2/3-bit模型,写入70-105 tokens/s;MLX路线在64核上写入26-29 tokens/s。

待验证50%
10月30日

Unsloth v0.1.913-beta 中,在 MLX 上向 LFM3-Audio 或 LFM3-Omni 发送语音片段后,可以同时看到文字回答和语音回答

待验证50%
10月30日

Unsloth v0.1.913-beta 中,Mac 端 Claude Code、Codex 和 OpenCode 的请求可以共享一个 MLX batch,官方测试中四个并发请求完成速度最高提升 2.3 倍

待验证50%
10月30日

LM Studio 新增 MLX 引擎,搭载 Apple Silicon 的 Mac 用户可直接在应用中加载和使用已有的 MLX 模型,新引擎大小约为 309 兆。

待验证50%
10月28日

大量开源模型和算子默认针对CUDA优化,迁移到MPS/MLX需要额外适配,部分算子甚至缺乏原生支持。

待验证50%
10月28日

作者在 36GB 内存的 MacBook Pro 上运行 Gemma 4 的 26B 版本(MLX 版本)进行本地 AI 推理。

待验证50%
10月27日

苹果在macOS与iOS中提供Core ML、Metal以及近年推出的MLX框架,用于本地模型部署。

待验证50%
10月27日

Ollama 将 MLX 作为独立于 llama.cpp 的一条推理后端。

待验证50%
10月27日

MLX 同时提供 Python、Swift、C++ 等多种语言绑定。

待验证50%
10月27日

目前没有公开的基准数据能说明 LFM3 和 d1 在 MLX 上的表现。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

MLX 是 Apple 机器学习研究团队推出的开源数组计算与深度学习框架,专为 Apple Silicon 的统一内存架构设计,提供 Python、C++(MLX-C)及 Swift 接口。

90%
已验证

MLX针对Apple Silicon的统一内存架构进行专项优化

85%
已验证

MLX是Apple专为Apple Silicon芯片设计的机器学习框架,能充分利用M系列芯片统一内存架构(UMA)的优势

80%
已验证

MLX 支持懒惰计算和函数变换,其 API 风格兼顾了 NumPy 与 PyTorch

75%
已验证

AMD的ROCm和Intel的oneAPI在生态完整度、社区支持和性能调优工具方面与CUDA仍存在显著差距

75%
已验证

M1的统一内存架构使CPU和GPU物理共享同一块内存,无需显式数据拷贝,只需传递指针或虚拟地址

75%
已验证

苹果于2023年底开源MLX框架,专为Apple Silicon设计

75%
已验证

Apple Silicon的Neural Engine与CPU、GPU共享统一内存架构(Unified Memory Architecture),消除了传统异构计算中数据在不同内存池之间搬运的瓶颈

75%
已验证

常见的本地推理框架包括Ollama、llama.cpp、vLLM

70%
已验证

Apple MLX框架是苹果2023年底专为M系列芯片设计的机器学习框架,利用统一内存架构消除内存拷贝开销,在M2 Ultra(最高192GB统一内存)上可运行700亿参数模型

65%
已验证

Ollama v0.40.0在Apple Silicon芯片上默认启用MLX运行时来执行模型推理

75%
待验证

Apple Silicon M-series unified memory architecture allows CPU and GPU to share the same physical memory, eliminating data copy overhead beneficial for LLM inference

90%
待验证

npcpy深度适配Apple Silicon,在MLX架构下运行LoRA,rank拉到128,配合Flash Attention 2.0

80%
待验证

v0.40.10-rc0 为 Gemma 4 暴露了 hidden-state taps 和 raw logits,以支持推测解码。

70%
待验证

MLX 支持懒执行(lazy evaluation)计算图,只在真正需要结果时才触发运算

70%
待验证

量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用

70%
待验证

MLX是Apple机器学习研究团队于2023年底开源的深度学习框架,专为Apple Silicon设计,采用惰性计算策略并原生支持统一内存模型

70%
部分验证

Muse Spark Open可以在两台搭载M5 Ultra芯片的Mac Studio上运行,配合最新MLX框架。

65%
部分验证

统一内存架构使CPU、GPU与NPU共享同一块内存池,避免数据在处理单元间反复搬运的开销

65%
待验证

Muse Spark Open支持SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp和Unsloth等运行时。

60%

来源文章