MLX
苹果自研的机器学习框架,专为Apple Silicon芯片优化,支持在Mac本地高效运行大型语言模型
核心事实
时间轴 (近 90 天)
TensorFold构建在80核M5 Ultra芯片上跑混合2/3-bit模型,写入70-105 tokens/s;MLX路线在64核上写入26-29 tokens/s。
Unsloth v0.1.913-beta 中,在 MLX 上向 LFM3-Audio 或 LFM3-Omni 发送语音片段后,可以同时看到文字回答和语音回答
Unsloth v0.1.913-beta 中,Mac 端 Claude Code、Codex 和 OpenCode 的请求可以共享一个 MLX batch,官方测试中四个并发请求完成速度最高提升 2.3 倍
LM Studio 新增 MLX 引擎,搭载 Apple Silicon 的 Mac 用户可直接在应用中加载和使用已有的 MLX 模型,新引擎大小约为 309 兆。
大量开源模型和算子默认针对CUDA优化,迁移到MPS/MLX需要额外适配,部分算子甚至缺乏原生支持。
作者在 36GB 内存的 MacBook Pro 上运行 Gemma 4 的 26B 版本(MLX 版本)进行本地 AI 推理。
苹果在macOS与iOS中提供Core ML、Metal以及近年推出的MLX框架,用于本地模型部署。
Ollama 将 MLX 作为独立于 llama.cpp 的一条推理后端。
MLX 同时提供 Python、Swift、C++ 等多种语言绑定。
目前没有公开的基准数据能说明 LFM3 和 d1 在 MLX 上的表现。
还有 40 条时间轴事件
全部知识事实 (20)
MLX 是 Apple 机器学习研究团队推出的开源数组计算与深度学习框架,专为 Apple Silicon 的统一内存架构设计,提供 Python、C++(MLX-C)及 Swift 接口。
90%已验证MLX针对Apple Silicon的统一内存架构进行专项优化
85%已验证MLX是Apple专为Apple Silicon芯片设计的机器学习框架,能充分利用M系列芯片统一内存架构(UMA)的优势
80%已验证MLX 支持懒惰计算和函数变换,其 API 风格兼顾了 NumPy 与 PyTorch
75%已验证AMD的ROCm和Intel的oneAPI在生态完整度、社区支持和性能调优工具方面与CUDA仍存在显著差距
75%已验证M1的统一内存架构使CPU和GPU物理共享同一块内存,无需显式数据拷贝,只需传递指针或虚拟地址
75%已验证苹果于2023年底开源MLX框架,专为Apple Silicon设计
75%已验证Apple Silicon的Neural Engine与CPU、GPU共享统一内存架构(Unified Memory Architecture),消除了传统异构计算中数据在不同内存池之间搬运的瓶颈
75%已验证常见的本地推理框架包括Ollama、llama.cpp、vLLM
70%已验证Apple MLX框架是苹果2023年底专为M系列芯片设计的机器学习框架,利用统一内存架构消除内存拷贝开销,在M2 Ultra(最高192GB统一内存)上可运行700亿参数模型
65%已验证Ollama v0.40.0在Apple Silicon芯片上默认启用MLX运行时来执行模型推理
75%待验证Apple Silicon M-series unified memory architecture allows CPU and GPU to share the same physical memory, eliminating data copy overhead beneficial for LLM inference
90%待验证npcpy深度适配Apple Silicon,在MLX架构下运行LoRA,rank拉到128,配合Flash Attention 2.0
80%待验证v0.40.10-rc0 为 Gemma 4 暴露了 hidden-state taps 和 raw logits,以支持推测解码。
70%待验证MLX 支持懒执行(lazy evaluation)计算图,只在真正需要结果时才触发运算
70%待验证量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用
70%待验证MLX是Apple机器学习研究团队于2023年底开源的深度学习框架,专为Apple Silicon设计,采用惰性计算策略并原生支持统一内存模型
70%部分验证Muse Spark Open可以在两台搭载M5 Ultra芯片的Mac Studio上运行,配合最新MLX框架。
65%部分验证统一内存架构使CPU、GPU与NPU共享同一块内存池,避免数据在处理单元间反复搬运的开销
65%待验证Muse Spark Open支持SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp和Unsloth等运行时。
60%