Qwen 3.8编程击败Opus，你的Mac能跑吗？

一个免费模型，为何让Mac用户集体兴奋？

最近，一个名为Qwen 3.8的开源模型在技术社区引发了不小的震动。据YouTube科技频道分析，这个模型在硬核编程测试中击败了付费的Opus 4.6，而且它只有18GB大小，上个月下载量高达800万次。更关键的是，你不需要数据中心——一台售价1300美元的Mac mini就能流畅运行它。

但问题来了：市面上大多数Mac配置指南都忽略了一个关键数字——你的Mac并不会把所有内存都交给AI。一位测试者在24GB的MacBook Pro上实测发现，系统只允许AI使用约17.8GB，大约是总内存的四分之三。记住这个数字，因为它决定了后面的一切。

为什么八月发布的模型突然火了？

阿里巴巴在八月发布了Qwen 3.8，采用Apache 2许可证，意味着任何人都可以下载、修改甚至商业化使用。本周，三篇关于它的帖子冲上了Hacker News首页，其中热度最高的一篇获得了近3000票。

那篇帖子讲的是一个叫Astra的AI，手动编辑了一个小型Qwen模型的权重，使其数学成绩从约8%跃升到48%。不过第二天，一位知名研究员指出该帖子具有误导性，因为Astra同时还编写并运行了代码。

真正让社区沸腾的，是Simon Willison在自己笔记本上的测试。他的评价被广泛引用：这个模型“感觉接近去年领先的付费模型”。他给模型一个微型游戏网络的原始数字，问它学会了哪个游戏——在没有工具辅助的情况下，四题答对三题。不过速度不快，其中一个回答花了46分钟的思考时间。

第三篇帖子来自一个叫Memdor的项目，它把五个模型副本组成一个编程团队。在十道硬核编程题上，团队平均得分9.8，而Fable 5单次提问平均只有8分。十道题的测试样本很小，作者也承认模型可能见过这些题目。但免费模型追上前沿模型这件事本身，确实是新的。每次运行在云主机上仅花费39美分。

模型量化（4位/3位精度）是什么

原文反复提到的“4位”“3位”“8位”指的是模型量化（Quantization）技术。深度学习模型的权重默认通常以16位浮点数（FP16/BF16）存储，一个560亿参数的模型因此需要约112GB显存。量化把每个权重压缩成更少的比特：8位约需56GB，4位约需28GB，3位约需21GB。压缩的代价是数值精度下降，模型输出可能变得不那么准确、更易出现重复或逻辑错误。Qwen 3.8的完整56GB版本应该是较高精度版本，压缩到4位后约18GB（原文数字，可能对应不同的参数规模或压缩方案），而3位、2位版本进一步缩小，但质量损失明显。这就是为什么文章强调24GB Mac只能跑3位版本——它“能用”，但损失了你追求的质量。

Apache 2.0许可证意味着什么

Apache 2.0是宽松的开源许可证，允许任何人免费使用、修改、分发软件，包括用于商业目的，且不要求衍生作品同样开源（与GPL不同）。它要求保留版权声明和许可证文本，并提供专利授权。对Qwen 3.8而言，这意味着公司可以把它集成进产品、开发者可以微调后闭源发布，这也是社区热度高的重要原因之一——模型不仅免费，商用也没有法律障碍。

它真的比付费模型强吗？

在阿里巴巴自己的测试中，Qwen 3.8在三项测试上击败了Opus 4.6，最大差距在修复真实代码上，61.7对53.4。但Opus在硬科学、终端任务和最难的考试上仍然领先。所以它是一个出色的编程助手，而非全能天才。需要提醒的是，这些是阿里巴巴自己的数据，并非独立测试。而且Opus 4.6已不是Anthropic的最新模型，与当今最强模型的差距更大。

Qwen 3.8还能一次性读取约26万token，相当于几本小说的文本量。在我看来，编程方面的优势才是真正重要的，因为写代码和修代码才是大多数人在家运行它的主要用途。

该取消20美元的订阅吗？

我建议再等等。付费应用仍然能搜索网页、记住你的偏好、即时回复，而这个模型需要先“思考”一会儿。不过，一个如此接近付费模型的东西，能在家里免费运行，这本身就是最大的故事。

你的Mac到底需要多少内存？

完整模型是56GB，压缩到4位精度后约18GB——这是大多数人应该运行的版本。但正如前面所说，你的Mac会保留一部分内存给系统和应用。规则很简单：把你的内存乘以四分之三，模型必须能塞进这个空间，还要留一点余量给对话。

实际对话加载后，4位模型需要19.6GB，超过了24GB Mac的可用上限，测试者的Mac崩溃了三次。论坛建议用终端命令提高限制，他试了，结果崩溃更严重。

各档Mac的实际表现

8GB Mac：直接出局。即使是最极端的压缩版本也需要7-8GB。

16GB：只能算实验。一位测试者在2位版本上跑到每秒7个token，4位版本根本跑不起来。

24GB：能用，但只能用3位版本，速度约每秒12.5个token。每秒12个token大致相当于你的阅读速度，可用，但3位精度损失了你本来追求的质量。

32GB：甜点区。AI可用约24GB，完整的4位模型能装下，还有空间进行长对话。在新Mac mini上，升级到32GB只需多付200美元。注意笔记本电脑——苹果新的M6 MacBook Pro起步只有16GB，下单时就得加内存。省下那200美元，你得到的将是容易崩溃的配置。

64GB：可以运行更锐利的8位版本。搭载M5 Pro的Mac mini不到3000美元就能达到。

128GB：如满配Mac Studio，可以运行完整的56GB模型，无需任何压缩。

如果今天让我买，我会选32GB的Mac mini然后停在那里，因为大多数人不太会注意到4位以上的差异。

统一内存架构与MLX

Mac能运行大模型的关键在于苹果的统一内存架构（Unified Memory Architecture）。传统PC中，CPU和GPU各有独立内存，模型必须塞进显存才能用GPU加速；而苹果的M系列芯片让CPU、GPU和神经网络引擎共享同一块内存池，因此18GB的模型可以直接驻留在系统内存中并由GPU访问，无需独立显卡。代价是这块内存要与操作系统和所有应用共享——这正是文章所说“系统只允许AI使用约四分之三内存”的根源。

MLX是苹果专为自家芯片开发的开源机器学习框架，针对统一内存做了深度优化，能更高效地调度GPU和CPU协同计算。文章提到在M5 Pro上切换到MLX格式让测试快了约40%，就是因为MLX减少了内存拷贝开销并更好地利用了苹果的GPU架构。相比之下，Ollama等工具底层可能使用llama.cpp的Metal后端，效率略低但兼容性更广。

实际速度如何？

速度取决于芯片。M4 Pro的Mac mini约每秒15个token，M5 Max笔记本约每秒33个。应用也很重要——在M5 Pro上，切换到苹果自家的MLX格式让一项测试快了约40%，这是你本来会白白丢弃的速度。

在我看来，每秒约15个token是聊天开始感到舒适的门槛，所以任何32GB配Pro芯片或更好的Mac都够用。

有一个体验比数字更慢的地方：它是思考型模型，可能在答案开始前推理一分多钟。还有一个叫推测解码的技巧，让一个小助手提前猜词，在M4 Max上某项测试快了约5倍——不过那是数字密集的提示，容易猜，普通聊天增益会小一些。但看看Llama的页面，一个专为Mac构建的该模型草稿版本几天前刚出现，应该能让日常聊天明显更流畅。

Token速度与推测解码

“每秒token数”是大模型推理速度的标准指标。一个token大致对应一个英文单词的一部分或一个汉字，每秒15个token约等于每分钟900词，接近人的阅读速度，因此文章把它视为聊天舒适的门槛。低于每秒10个token时，等待感会很明显。

推测解码（Speculative Decoding）是一种加速技术：用一个更小、更快的“草稿模型”先快速猜出若干后续token，再由大模型一次性并行验证这些猜测。如果猜对了，就省去了大模型逐token生成的时间；猜错了则回退重来。因此它在“容易猜”的文本（如数字密集、格式固定的内容）上收益最大，文章提到M4 Max上某测试快了约5倍；而开放式聊天中草稿模型更难猜准，增益会小得多。Llama页面出现的“草稿版本”正是为Qwen 3.8配套的小模型，用于启用推测解码。

如何上手？

最简单的方式是Llama。安装免费应用，打开终端，输入一行命令，它就会下载18GB的模型并开始对话。首次下载需要一段时间，因为18GB相当于几部高清电影。之后启动只需几秒，即使没有网络。一切都在你的Mac上运行，你输入的内容不会离开设备，也没有月费。

如果你更喜欢点击操作，可以用LM Studio，Simon就是这么做的。先把上下文窗口调大，默认的8000对他失败了。在24GB Mac上，选择3位下载而非默认版本，否则会撞上那些崩溃。

跑起来之后，把你的代码或长文档喂给它，因为那是它最擅长的领域，也是付费应用开始向你多收费的地方。

最终建议

如果你只记住一件事：32GB是让这个模型好用的起点。如果你已经拥有24GB的Mac，不必慌张，3位版本仍然是一个有能力的助手，只是稍微不那么锐利。

至于那个在编程上击败Opus的免费模型——你的Mac能跑吗？32GB可以，比入门配置多花200美元。