AI热点风向标·07月08日早间版：桌面Agent平民化与开源本地模型

最近AI圈有几个话题特别火，今天的内容我觉得蛮有意思的，既有面向小白的桌面Agent教程在B站爆火，也有开源社区那边一堆技术动作，李博你最近有没有注意到这些？

都关注了。说实话今天这几个话题放在一起，我觉得有个特别明显的主线——就是AI的"平民化"在加速。不管是小白教程还是开源模型的涌现，都是同一件事的不同切面。

那我们就从最接地气的那个开始聊。B站上有个视频，讲的是"从零开始让桌面Agent帮你干活"，互动分拿到了222118，这个数字对一个技术类教程来说已经相当夸张了。

这个数字能爆，背后逻辑很清晰。大家之前用AI，基本就是对话框里聊天。但Agent是什么感觉？是AI直接帮你操作电脑、打开软件、填表单、发邮件——那个"哇原来可以这样"的冲击感是完全不一样的。

对，从"帮我想"变成了"帮我做"，这个跨越对普通用户来说是很大的心理门槛。我觉得这个视频火的另一个原因是切入点，它说"小白教程"，等于把一个本来很技术的东西拉到了所有人都能进门的位置。

但我稍微泼一点冷水——桌面Agent现阶段的稳定性其实还挺参差的。你让它帮你干活，它干对了是惊喜，干错了你还得去收拾烂摊子，这个风险对小白来说不是小事。

你说的这个痛点，B站评论区也有人在提，说"演示看起来很酷，实际自己跑起来各种报错"。但我觉得这恰恰说明这个教程有价值啊，帮大家先建立概念，踩坑是下一步的事。

行吧，这个角度我接受。建立认知本身就是价值，不一定要上来就完美可用。而且说真的，Agent工具链这一两年迭代速度非常快，现在教一遍，半年后可能流程就顺多了。

好，那咱们说下一个。这个话题来自RSS，是"Using llama.cpp with pi"——就是用树莓派跑llama.cpp，在HackerNews上引发了不少讨论。

这个话题在技术极客圈子里有种特殊的浪漫感。树莓派你知道吧，就那个巴掌大的小电脑，几十块钱，功耗极低。大家现在研究的是能不能在上面跑本地语言模型，哪怕很慢。

这个"哪怕很慢"是多慢？

可能每秒就出几个token，对话响应要等好几秒甚至更久。但你不需要联网，不需要API key，不需要付钱，数据完全在本地。对于某些场景来说，这种self-hosted的价值是压倒一切的。

HackerNews那边程序员们讨论的侧重点是什么？是可行性，还是意义的问题？

两个都有。可行性那边在争用什么型号的Pi、配多大内存、跑几B参数的模型合适。意义那边有人觉得这就是个极客玩具，有人觉得这是边缘计算的雏形——比如工厂的传感器、离线的嵌入式设备。

我倾向于后者这个判断。边缘推理这个方向其实大厂也在做，但大厂做的是高端边缘设备。用树莓派这种极低成本硬件跑推理，其实是在探索另一个极端。

说得对。而且llama.cpp这个项目本身就是为了极致的效率优化设计的，它支持量化、支持CPU推理，跟树莓派的组合其实是天然的。这不是异想天开，是有扎实工程基础的探索。

好，下一个话题，我觉得是今天含金量最高的技术新闻——longcat 2.0开源了，1.6T总参数、大约48B激活参数，用的是MIT协议。

这个发布我觉得非常值得说道说道。先把数字掰清楚——1.6T是总参数，但因为它是MoE架构，Mixture of Experts，实际推理时激活的只有约48B。所以你用的计算量大概是48B这个级别，但模型的"知识容量"是1.6T这个量级的。

用大白话解释就是，它像一个有很多专家的团队，每次只叫其中几个专家出来干活，但整个团队的知识储备是很庞大的？

这个类比相当准确。而且MIT协议这个事情非常关键——意味着商业用途也可以，不像有些开源模型加了一堆限制。这直接决定了生态能不能真正发展起来。

RSS社区那边讨论的焦点是什么？

有几个方向。第一是性能benchmark，大家在跑各种评测看它到底排到什么位置。第二是部署成本，1.6T总参数哪怕激活只有48B，显存要求还是不低的。第三就是MIT协议引发的商业化想象。

这个发布放在现在这个时间点有什么特别的意义吗？我是说，现在开源模型已经很多了，longcat 2.0的出现为什么还能引发热议？

因为这个参数规模和架构的组合，在开源里是比较稀缺的段位。之前开源社区主力是几十B级别的dense模型，真正的大规模MoE开源不多。这个填了一个空白。

好，说到开源，就不得不聊今天第四个话题了——B站上有个视频专门做了DeepSeek R1的ELO排行榜可视化，标题叫"力斩诸神"，互动分3850，在圈内引发了大量转发和讨论。

DeepSeek R1的ELO数据这个事，我觉得今天必须聊透。ELO排名这个东西，大家可能在下棋或者竞技游戏里听过，AI这边是用来衡量模型综合能力的竞技排名，是相对比较客观的横向对比。

视频里的可视化数据，DeepSeek R1在这个榜单上的位置大概是什么情况？

从视频呈现的数据来看，R1在开源模型里是处于绝对头部的，而且和部分闭源模型的差距已经非常小了，这才是这个可视化最有冲击力的地方。开源第一名和闭源第一名之间的差距，正在肉眼可见地缩小。

B站评论区的氛围怎么样？纯粹是庆祝，还是有人在质疑数据？

两种声音都有。有人很亢奋，觉得国产开源模型扬眉吐气。但也有人很冷静，指出ELO排名依赖于benchmark的选取，有些测试集可能被训练数据污染，不能只看这一个指标。

你怎么看这个质疑？

质疑是合理的，但不能因为有质疑就否定成绩。测试集污染问题是整个行业都面临的问题，不是DeepSeek独有的。在同等评测框架下，R1的表现确实是top级别的，这个结论是stand得住的。

更大的意义我觉得是示范效应——DeepSeek证明了开源路线不是退而求其次，是可以真正竞争顶级水平的。这对整个开源生态的信心是很大的提振。

完全同意这一点。而且开源还有一个闭源永远没法比的东西——可研究性。你能看到权重，能做fine-tune，能做ablation，能真正理解它为什么这样工作。这对科研和产业应用来说价值是另一个维度的。

好，最后一个话题，来自社区讨论，是关于Qwen 3.7 9B的——有人在问这个模型有没有新消息，同时也在找9B参数量级的替代选项。

这个话题其实代表了一类很典型的社区需求——专门找"性价比甜点"的玩家。9B这个量级特别特殊，它大到足够有比较强的能力，但又小到普通消费级显卡能跑，是很多本地部署玩家的首选段位。

等一下，你说普通显卡能跑9B，具体是什么配置？

大概16GB显存的显卡就可以跑量化版本的9B模型，跑全精度版本可能需要24GB左右。16GB显存的显卡现在价格已经相当亲民了，所以9B真的是本地推理的黄金段位。

那这个帖子问Qwen 3.7 9B的同时，也在找替代，说明他们觉得这个品类里还有选择空间？

对，而且这说明社区用户已经很成熟了。他们不是品牌粉，是功能驱动的。哪个9B模型在他们的任务上表现最好，他们就用哪个。这种理性选型的态度，其实是开源生态健康的标志。

你觉得9B这个量级的竞争格局现在怎么样？玩家多吗？

相当卷。Qwen系列、Llama系列、Mistral、还有各种基于这些的fine-tune版本，都在这个参数段位有布局。可以说这是开源模型竞争最激烈的战场，没有之一。

那从产品角度看，这对用户其实是好事——同等参数下，选择越来越多，质量越来越高，还都是免费的。

是好事，但也有个副作用——选择困难症。现在9B级别的模型太多了，普通用户根本不知道该用哪个，这其实给了像Ollama这样的工具很大的机会，帮你管理和切换不同模型。

哎，这个观察很有意思。模型本身的竞争之外，模型管理工具的价值也在上升。好，今天聊了这么多，我来梳理一下——

从B站的小白Agent教程到树莓派跑本地模型，从longcat 2.0大模型开源到DeepSeek R1的ELO封神之战，再到9B甜点模型的社区讨论。今天这几个话题，其实都指向同一个方向：AI的能力正在以越来越低的门槛和成本向所有人扩散。

对，这才是2026年AI圈最本质的变化。不是哪家大厂又发布了新旗舰模型，而是普通人、普通设备、普通预算，能拿到的AI能力越来越强了。这个趋势一旦形成飞轮，后面的变化只会更快。

好，今天就聊到这里，中午见。