每日AI新鲜事·08月02日午间版：本地跑大模型的瓶颈与突破

今天AI圈的消息挺有意思，好几条都跟本地部署有关，感觉社区对本地跑模型这事儿的热情完全没降温。

确实，而且不是那种纯玩票的热情，是真有人在认真测量、认真优化的那种。

对，先说第一条。Reddit的mlops版有人花了一整个月，专门测本地agent在消费级硬件上为什么会崩溃。

这个帖子含金量挺高的。他用的数据集是四千多个真实的Claude Code和Codex会话，不是合成数据，是实际的编程agent工作流。

所以他是拿云端agent的会话记录，去本地模型上复现，看哪儿会断？

对，思路就是这样。消费级硬件跑agent最大的问题不是单次推理慢，而是长上下文多轮交互的时候，各种资源瓶颈叠加在一起。内存、显存、KV cache膨胀，哪个先撑不住都会崩。

这对想在本地搞AI编程助手的人来说是很实际的参考。好，下一条也跟本地部署相关。

DeepSeek V4-Flash-0731又有新的量化方案出来了。这次是expert-only的IQ3重量化，说KLD比UD-IQ3_S更好，而且在CPU溢出配置下解码速度快了1.4倍。

等等，expert-only是什么意思？只量化MoE里的专家层？

对，核心思路就是MoE模型里专家参数占大头，但每次推理只激活一小部分。把专家层激进量化到IQ3，注意力层和其他共享参数保持更高精度，这样整体质量损失小但体积降得很多。

聪明，这几天V4-Flash的各种本地方案真是井喷。再说一条，Hacker News上有篇论文叫Persistent State Machines，用INT4的存内计算单元做LLM注意力。

这个方向偏硬件了，存内计算一直被认为是解决大模型推理能耗的潜在路线。不过目前讨论度不高，刚三个点赞零评论，学术味比较浓。

还有一个挺有意思的，Reddit上有人问：为什么现在新出的benchmark和排行榜几乎全是编程方向的？

这问题问到点子上了。因为代码任务最容易自动化验证——跑通就是跑通，测试过了就是过了。写作、推理这些软能力，评估成本高太多。

所以不是模型只擅长编程，是我们只会给编程打分。

可以这么说，这也导致了一个偏差：模型优化方向被benchmark牵着走，代码能力提升最快，其他领域相对被冷落。

好了新闻就先聊到这儿，接下来咱们深入聊聊最近本地部署这个话题，因为今天有个很硬核的案例。

你说的是那个用三张MI50跑DeepSeek V4-Flash的帖子吧？

对！有人在LocalLLaMA发帖说，用三张MI50 32GB显卡，本地跑V4-Flash-0731，生成速度大概15 token每秒。

这个配置很有代表性。MI50是AMD的上一代数据中心卡，二手市场价格已经很低了，三张加起来96GB显存，刚好能塞下量化后的V4-Flash。

15 token每秒够用吗？我感觉对编程场景来说可能有点慢？

看怎么用。如果是交互式对话，15 t/s其实还行，阅读速度差不多就是这个量级。但如果跑agent那种长输出，确实会觉得等。

结合前面那条新闻，本地跑agent的瓶颈不只是速度，还有稳定性。

没错，这是两个层面的问题。速度决定体验，稳定性决定能不能用。一个agent任务可能需要几十轮调用，中间任何一次OOM或者KV cache爆了，整个任务就废了。

那为什么社区这么执着于本地跑呢？API又不贵，尤其V4-Flash在InferX上都免费了。

几个原因吧。一是隐私，代码里可能有公司机密。二是延迟可控，不受网络波动影响。三是纯粹的极客精神——能自己搞为什么要依赖别人。

还有一个我觉得很现实的考量：API服务可能随时改价格、改限制，自己的硬件就是自己的。

对，这也是为什么Koboldcpp这类本地推理工具一直在迭代。刚好今天1.118版也发了。

Koboldcpp我知道，是一个专门做本地LLM推理的工具，跨平台支持做得很好。这次更新有什么重点吗？

Koboldcpp的核心卖点是对各种量化格式的兼容性特别好，而且CPU加GPU混合推理的优化一直在做。每次大模型出新的量化方案，它都会很快跟进。

所以整个生态是这样的：模型出来，量化方案跟上，推理工具再适配，形成一条完整链路。

而且这条链路的迭代速度越来越快。V4-Flash-0731才出几天，expert-only量化就来了，MI50的适配方案也有了。社区效率真的很恐怖。

不过说实话，我还是觉得本地部署目前更适合折腾型用户。对大部分人来说，门槛还是太高了。

这我同意。但方向是对的。你看两年前本地跑7B模型都费劲，现在消费级硬件能跑六百多B参数的MoE模型了，进步是实打实的。

确实，尤其是MoE架构对本地部署太友好了，激活参数少意味着推理时实际计算量没那么大。

关键就在这儿。V4-Flash虽然总参数量大，但激活参数可能只有几十B，所以在有限显存里塞量化权重、推理时只算活跃专家，速度就上来了。

那你觉得按这个趋势，大概什么时候普通人能无痛本地跑前沿模型？

如果说无痛的标准是装个软件点一下就能用，不用折腾显卡驱动和量化参数的话……我觉得还得一两年。但如果说愿意花半小时配置环境的技术用户，现在就已经可以了。

半小时配置环境对程序员来说不算事，但对普通用户来说就是劝退。

所以才需要Koboldcpp这类工具继续打磨易用性嘛。技术栈成熟之后，产品化是自然而然的事。

好，另外顺便提一下，B站上有条微软的消息也挺有意思。微软发了个网络安全专用模型MAI-Cyber。

对，微软自研模型在安全领域发力。这也说明垂直领域的专用模型越来越被重视了，不是所有场景都需要通用大模型。

通用模型负责广度，专用模型负责深度，这搭配挺合理的。

而且从部署成本看，专用小模型反而更适合企业场景。不需要几百B参数，针对特定任务fine-tune一个精准的就够了。

行，今天聊的内容基本都围绕一个主题：怎么让大模型更高效地跑起来，不管是本地还是云端。

对，从量化到推理工具到硬件适配，整个社区都在往同一个方向使劲。这个生态的活力是真让人佩服。

好了，那今天就先聊到这儿。大家晚上见。

晚上见。