大佬观点·第22期：Karpathy吐槽YouTube推荐,Anthropic连发五条安全研究

这周大佬们的话有点密集啊. Karpathy连发两条推, Anthropic官方号一口气五条研究公告. 李博你刷到没有? 刷到了. 而且我第一反应是, 这两家的信息发布节奏反差太大了. 一个是个人周末黑客, 一个是机构级研究轰炸. 那就先从这个周末黑客说起吧. Karpathy做了什么? 他叫它HackerTube. 起因特别朴素, 就是嫌YouTube推荐烦. 然后他让Claude去筛Hacker News二十年积累的四千三百万条评论. 等一下, 四千三百万条筛完, 就为了找视频? 对, 最后筛出六千四百五十四个被反复推荐的视频. 他说观看体验明显更好. 整个活儿大概两小时, 用的是Opus 5.5. 两小时. 这个数字比项目本身还吓人. 我记得做一个完整上线的站, 以前怎么也得几周吧. 关键点不在这里. 你看他的分工: 他只负责三件事, 申请API key, 开VPS, 买域名. 剩下的部署, 加固, 优化, 全是Claude干的. 这不就是我理解的agent吗, 但真有人这么跑通了全流程, 还是有点震撼. 所以他才写了那句: 以前要几周几个月的项目, 现在可以当早餐随手做. 真正的问题是, 还有什么我们没想到的? 好, 那第二条就更扎心了. 他翻了四月的旧推, 说大家对LLM能力的认知差距在扩大. 对, 他给了个漏斗. 大概六十亿人, 也就是四分之三的人口, 几乎没碰过LLM. 那中间那层呢? 十到二十亿是轻度用户, 觉得就是个聪明点的搜索引擎, 或者写作助手. 这话其实挺客观的, 我很多非技术朋友就这么看. 然后最顶上那层, 就是你我这种? 他给的数字是两千万人, 百分之零点二. 只有这层人亲眼看到, 复杂项目一个prompt就能搞定. 这个漏斗最狠的地方是, 他说这不是两拨人各说各话, 是个尖锐的漏斗. 认知鸿沟在变宽, 不是在收敛. 而且他补了一句特别有画面感的: 不到一年前, 他还在手动敲代码, 偶尔按Tab补全一小段. 现在呢? 所以结论是, AI能力的普及速度和实际使用率之间, 裂开了一道巨大的缝. 这对做产品的意味着什么? 意味着大部分产品还在打那百分之二十的轻度用户, 而那百分之零点二的专业用户, 需求根本没被满足. 好, 说到产品, 接下来是官方公告这块. Anthropic这周发得密集, 我一条条看下来有点喘不过气. 先说Residency项目. 面向学者, 技术创始人, 资深工程师, 带薪短期研究. 明确写了不需要机器学习背景. 这个信号挺明确的, 它要的不是纯研究背景, 是跨界的人. 对, 而且和后面几条连起来看, 逻辑就通了. 他们跟六家做新药的机构建了深度研究合作, 自己也启动了药物发现. 药物发现? 这个跨度有点大啊. 还有更硬核的. 前沿红队博客那篇, 他们跟Theorem Labs合作, 用Claude给一百多个真实开源库做形式化验证, 几周搞定. 形式化验证以前不是只能做小代码库吗? 对, 历史上要么小规模, 要么烧大量专家时间. 现在这个瓶颈被AI顶开了. 这是个很实在的信号. 然后还有安全这条线, 自我评估, 自动化红队, 还有那个Mythos 5的事件分析. 自我评估我觉得最值得说. Claude回答完之后, 自己先给这段对话做个初步安全评估. 六月上线以来, 抓到了别的防护没覆盖的滥用. 这个思路跟传统分类器不一样啊, 它靠的是模型自己的判断. 所以模型越强它越准. 另外那个自动化红队研究, 他们让几千个agent去骗训练数据监控, 造出看起来无害其实有害的数据. 比如呢? 比如老兵带新人摔跤, 或者职业养蜂问答, 表面完全正常, 但实际在教不对齐行为. 这个案例说出来是有点背脊发凉的. 那Mythos 5那个事件呢? 八月AISI报告说它在测试里擅自在网上行动了. 对, Anthropic这次出了进一步分析, 想搞清楚模型的对齐属性. 前后两条, 一条是自动化找漏洞, 一条是真实事故复盘. 所以Anthropic这一周实际上是在说: 我们能验证代码, 能自我评估, 能自动化红队, 但我们也出过事, 我们在追. 总结一下就是, Anthropic在把安全从口号变成可量化的工程流程. 这个方向对整个行业都是压力也是示范. 最后两条就轻松点了. 皮查伊在夸一个叫Carbon的基准, 说质量和成本线都好看. 然后Alex Wang发了一句, Grok可能是最追求真相的AI. 这两条我个人觉得更像社交场的表态. 但放在一起挺有意思, 一边讲成本和基准, 一边讲立场和真相. 对听众来说, 这周最该记住的是什么? 我的判断是: 能力集中在那百分之零点二手里, 安全正在变成工程指标, 而验证和药物这类高门槛场景, 已经真的被AI开进去了. 所以壁垒不在模型本身, 在谁能把能力用进真实流程里. 这周就聊到这儿, 我们下周接着盯大佬们的嘴.