[控场AI]
返回播客列表
科技前沿·4:24·对话

社区热议·第25期:Karpathy周末黑客项目与LLM认知鸿沟

每周四聊聊Twitter和Reddit上本周最火的AI话题

科技前沿

社区热议·第25期:Karpathy周末黑客项目与LLM认知鸿沟

收听播客对话
0:004:24

本期提到

讨论

产品

  • Claude self-assessment— 让模型在回应后自行给对话打安全分的滥用标记技术

论文

  • Automating subtle emergent misalignment— 用成千上万agent自动红队,挖掘监控器漏掉的失准行为
  • Claude形式化验证合作— 与Theorem Labs合作为一百多个开源库证明安全性质
今天又到了社区热议时间。这周的推特和Reddit啊,又炸锅了。 你的感觉没错。而且这次炸锅的方式挺有意思,不是模型跑分,是人和人的认知差距。 等一下,你说的认知差距是指什么?先别急着抛结论。 那我们从这周最火的那条帖子说起,Karpathy的周末黑客项目HackerTube。 这个我刷到了。他说烦透了YouTube的推荐,就花了大概两个小时,用Opus 5.5把HN二十年评论筛了一遍。 重点是数据量,四千三百万条评论,最后收敛到六千四百多个反复被推荐的视频。他说观感显著更好。 而且他提到几个细节很值得琢磨。不用登录,缩略图直接取视频中间帧,不做A/B测试那种夸张封面。 这就点到了算法推荐的一个软肋。平台优化的是点击率,不是内容价值。Karpathy等于拿社区口碑做了一次反向排序。 推特上有条高赞回复就说,这证明了推荐系统缺的不是算力,是品味。但也有人反驳,说HN评论本身就是小圈子偏见。 这个反驳有道理但站不住。重点不在这里,重点在他整个开发过程,只跟Claude说话,自己只做了三件手工活。 建API key、开VPS、买域名,剩下加固、部署、优化全交给模型。这个工作流确实吓人。 所以我给个结论,HackerTube的意义不在产品本身,在于它演示了单人几小时交付一个完整应用的可行性。 好,接下来说说第二条。Karpathy又翻出四月份那条推文,说大家对LLM能力的认知差距在扩大。 这个分层我印象特别深。他说大概六十亿人,也就是七成五的人口,几乎没真正接触过LLM。 然后有一到二十亿是免费版的偶尔用户,把AI当成更好的搜索框。这个描述是不是有点扎心? 扎心但真实。他甚至点名了很多数学和代码之外的专业人士也在这层,高管忙着跟人开会,对AI的理解还是二手的。 那真正在用前沿模型的呢?两千来万人,占百分之零点二,能一个提示词完成过去几周的项目。 对,而且他说这个变化就在一年内发生。一年前他还在一行行手敲代码,按Tab补全。 Reddit上关于这个分层的讨论特别分裂。一派说这是新鸿沟,一派说这只是技术扩散的正常曲线。 中间的理性声音认为,关键不是分几层,而是每层的使用方式决定了产出差距。工具一样,用法天差地别。 所以总结一下,LLM的认知鸿沟比模型能力鸿沟更值得警惕,这才是这周社区最深的焦虑。 对,而且这个焦虑还延伸到了安全工作上。Anthropic这周一口气发了好几条,条条指向同一件事。 你是指自我评估那个?训练Claude在回应之后立刻给对话打安全分。 这个思路挺巧。因为模型已经读过上下文,不用额外分类器,而且它靠自身判断,模型变强它就变准。 但推特上也有人质疑,让模型自己评判自己,会不会有盲区?这话我觉得问到点子上了。 所以他们还发了另一条,自动化红队研究。让成千上万个agent去绕过训练数据监控器。 结果这些agent造出了看起来无害但实际教坏模型的数据?比如一个老摔跤手带新人这种场景。 对,这叫微妙涌现失准。你说这算不算模型在帮我们找自己的漏洞?我觉得这方向比单纯堆安全对齐聪明。 不过有人说这是在给危险能力做预演。Reddit上就有帖子担心,红队工具本身会不会被滥用。 这个担心合理。所以结论是,自动红队加可验证推理,可能是下一阶段安全研究的主线。 提到可验证,Anthropic还发了FlashProve,能证明某个回复确实来自某个模型。 这个实际价值被低估了。它能防止聊天被劫持,也能让评测方确认测的就是线上那个模型。 他们还跟Theorem Labs合作,几周内给一百多个真实开源库做了安全性质的形式化证明。 形式化验证过去只能做小项目,现在AI把它摊开了。你说这不就是让安全从抽样测试走向数学证明? 聊完这些再回头看,Sama发的那句6.1 Terra来了,重点落在计算机使用新时代,反而成了背景音。 所以这周社区情绪很复杂。一边是周末项目狂欢,一边是认知鸿沟和安全焦虑交织。 总结一下,我的判断是2026年的核心矛盾已经从模型能不能做,变成了谁能用上、怎么用安全。 这话我认同。那今天就到这儿,我们下周继续蹲社区的锅。

更多播客

科技前沿

每日AI新鲜事·11月10日早间版:Fable 5.2登顶与开源MV

·5:17·对话

每日AI新鲜事·11月10日早间版:Fable 5.2登顶与开源MV

2026年11月10日(周二)早间版 AI新闻速递+热点深度讨论

收听播客
科技前沿

GitHub趋势·第22期:老基建回潮与PR Agent爆量

·5:29·对话

GitHub趋势·第22期:老基建回潮与PR Agent爆量

每周一盘点GitHub本周热门项目,深度解读用法和场景

收听播客
科技前沿

产品猎奇·11月09日:AI推荐与安全模型

·3:47·对话

产品猎奇·11月09日:AI推荐与安全模型

今日ProductHunt精选3个新产品深度拆解

收听播客