每日AI新鲜事·10月15日午间版：NPU跑通大模型预训练

今天AI圈又有不少新动静啊, 芯片、语音、模型一个接一个. 咱们今天主要聊这么几件: 一是AI设计芯片, 二是Grok语音3.0, 三是oh-my-agent连更, 四是Gemini 4 Argon, 五是追踪AI大佬言论的工具. 深度环节讲两件: 一个是NPU跑大模型预训练, 一个是免费API的429怎么破. 嗯, 今天料确实足. 那咱们先从第一条说起, 芯片这块最近是真的卷. 刚看到TechCrunch上有条消息, Ricursive Intelligence这家公司在赌AI设计的芯片. 他们的思路是让AI自己设计芯片, 从每次迭代里学, 然后下一版设计得更好. 这个方向我觉得是必然的. 芯片设计那套流程太慢了, 人肉调优根本追不上算力需求. 重点不在设计得比人好, 重点在迭代速度. 机器一天跑一千版, 人一年磨一版. 但是你设计出来的芯片靠谱吗? 流片一次可老贵了. 所以它强调的是闭环, 学一轮改进一轮. 仿真验证过关了才流片, 风险是可控的. 第二条, Grok Voice 3.0. 有人在dev.to上提醒, 它在10月14号悄悄接管了grok-voice-latest这个别名. 作者就一句话: 做语音Agent的赶紧把模型版本钉死. 这个坑太经典了. latest就是薛定谔的版本, 你不钉版本, 用户听到的声音可能今天明天就不一样. 而且语音这东西, 音色一变用户立刻能察觉. 对, 文本模型换个版本你不一定看得出来, 语音是耳朵一秒就听出来了. 然后还有一条, oh-my-agent这个CLI项目, 七天发了五个大版本, 从15.10.0直接干到20.0.0. 这升级节奏有点疯啊. 而且听说大部分都是有意的破坏性改动, 直接把老路径删了, 不做兼容层. 对, oma-security还替换掉了原来的deepsec, 收敛到一个全局home. 这种做法我不敢全赞成. 小团队敢这么干是因为没包袱, 但用他的人就得跟着改代码. 第四条, 谷歌的Gemini 4 Argon全球开放了, 上下文窗口一百万token. 官方定位是长时间跨度的持续推理, 软件开发、企业知识任务、还有网络安全. 一百万上下文这个数字现在不新鲜了, 新鲜的是它敢说长时间跨度的持续推理. 上下文长不等于能一直想下去, 中间会失忆会跑偏, 这才是真门槛. 所以真正要比的是长任务里的稳定性, 不是比谁窗口大. 没错, 参数表上那行数字是最容易抄的, 长程一致性才是护城河. 最后一条比较有意思, HackerNews上有人做了个工具, 专门追踪AI大佬们说过的话, 看他们观点怎么变. 这个我喜欢, 相当于给整个行业做了一本翻脸账. 你想啊, 半年前说某个方向不行的, 现在可能自己冲进去了. 所以这种东西的价值不是八卦, 是让你看清一个判断到底是被证据推着走, 还是被风向推着走. 好, 新闻就先聊到这儿, 接下来我们深入聊两个话题. 第一个, VIDRAFT用NPU从头预训练了一个语言模型, 全程没碰GPU. 这个我个人觉得是今天最值得聊的一条. 它直接顶到了行业最硬的那个假设上. 大家都知道, 预训练等于GPU集群, 等于烧卡烧电烧钱. 现在有人说换NPU也能跑. 等一下, NPU不是手机、PC上那种专门做推理的小单元嘛? 它能扛预训练? 这就是最反直觉的地方. NPU天生是为低功耗、定点推理设计的, 不是为大规模浮点训练设计的. 那它是怎么做到的? 光靠软件优化? 素材里没细说, 但能让一整轮预训练跑下来, 说明芯片之间的互联和调度被啃下来了. 这个意义在哪? 省钱? 不只是省钱. 是供给问题. GPU全球就那么几家在供, 你要是能用NPU, 等于多开了一整条供应链. 而且NPU在端侧到处都是, 手机、车机、边缘盒子. 以后预训练和推理可能真不在同一个硬件世界里. 不过我有点怀疑, 这会不会只是个特例? 规模小、模型小的那种演示. 你这个怀疑很合理, 我保留一半. 它肯定不是明天就取代GPU, 但行业假设被撬开了一道缝. Reddit上估计一半人在喊革命, 另一半人在问训练总参数到底多大. 这个信息不透明的话, 结论就得打折. 所以总结一下, NPU预训练未必马上颠覆GPU, 但它证明了预训练硬件这条路不止一条. 对, 就是这个意思. 单一依赖被打破, 这本身就是大新闻. 第二个话题接地气多了. 免费LLM API的429, 你肯定踩过. 太熟了. 免费额度用着用着, 突然一个429糊脸上, 频率超限. dev.to上有篇实战手册就讲这个, 作者说大多数教程就一句加个重试循环, 太糊弄了. 对, 光重试是最蠢的. 你重试得越猛, 被限得越狠, 最后整个任务崩掉. 那该怎么搞? 分层来. 第一层指数退避加抖动, 别整整齐齐一起重试, 那不叫退避叫合围. 第二层做多provider路由, 一家说429就切下一家, 别在一棵树上吊死. 这不就跟早年做爬虫一样, 限流、代理池、排队. 一模一样. 就是把反爬的经验平移到了LLM调用上. 我觉得最根本还是别把免费当生产环境, 免费额度是给你试的, 不是给你跑的. 这话对. HN上有程序员也说, 429不可怕, 可怕的是你的系统只有一个provider, 没有降级路径. 所以结论就是, 429不是错误, 是常态. 把它当成系统设计的一部分, 而不是异常处理. 对, 这句话可以直接贴墙上. 行, 今天差不多就这些了. NPU跑预训练和429实战, 都挺有嚼头的. 晚上见, 拜拜.