AI开始自己造AI：Anthropic警告是真诚还是商业算计

事件背景：AI自我进化的临界点

2024年6月初，美国人工智能公司Anthropic发布了一份重磅报告，警告AI已经开始展现出脱离人类控制的迹象。报告指出，他们最新的AI模型正在加速帮助制造下一代更强大的AI，人工智能系统正逼近一个可能自动开发出自己"接班人"的临界点。

AI自我进化（AI self-improvement）是指人工智能系统能够在无需或极少人类干预的情况下，自主优化自身的架构、参数或训练流程。这一概念与"递归自我改进"（Recursive Self-Improvement）密切相关——即AI改进自身后变得更聪明，更聪明的AI又能做出更好的改进，形成指数级加速的正反馈循环。这正是数学家I.J. Good在1965年提出的"智能爆炸"假说的核心：一旦机器智能超过人类，它将能设计出更优秀的机器，从而引发不可控的智能增长。当前的大语言模型虽然尚未达到完全自主进化的程度，但已经在代码生成、模型调优等环节展现出显著的自我辅助能力，这被视为通向该临界点的重要信号。

这份报告最核心的发现在于：AI已经具备自我优化、自我升级的能力，不再需要太多人力干预，甚至有能力设计出比自己更强大的下一代系统。面对这一失控风险，Anthropic罕见地站出来呼吁全球前沿AI实验室建立协调一致、可验证的机制，必要时考虑放缓甚至暂停开发先进AI系统。

Anthropic成立于2021年，由前OpenAI副总裁Dario Amodei和Daniela Amodei兄妹联合创办。公司以"AI安全"为核心使命，其技术路线强调"宪法AI"（Constitutional AI）方法——通过让AI依据一套明确的原则进行自我约束和自我纠正，而非完全依赖人类反馈。公司旗舰产品Claude系列模型在推理能力和安全性方面被业界广泛认可。Anthropic的投资方包括Google、Salesforce、亚马逊等科技巨头，其中亚马逊累计投资超过40亿美元。公司一直以"负责任的AI开发者"形象示人，这也使得其发布的安全警告具有较高的行业公信力。

令人震惊的内部数据：AI造AI的直接证据

代码贡献比例的剧变

Anthropic披露了一组极具冲击力的数据：截至2025年5月，合并进他们代码库的代码超过80%是由其AI模型Claude所编写的。而在2025年年初Claude Code推出之前，这个比例还只维持在个位数。短短一年左右的时间，AI就从"打杂的"变成了"主力程序员"。

Claude Code是Anthropic于2025年初推出的AI编程工具，属于"AI代码代理"（AI Coding Agent）类别。与传统的代码补全工具（如GitHub Copilot早期版本仅提供行级建议）不同，Claude Code能够理解完整的代码库上下文，自主规划多步骤的编程任务，包括编写新功能、重构代码、修复Bug以及编写测试用例。这类工具的出现标志着AI从"辅助编程"向"自主编程"的范式转变。当AI编写的代码占比超过80%时，意味着人类工程师的角色正从"代码编写者"转变为"代码审查者"和"需求定义者"，软件开发的生产关系正在发生根本性变化。

52倍速度优化的实验

为了进一步验证AI的自我改进能力，Anthropic进行了一项测试：给Claude一段训练小型AI的程序，要求它在不出错的前提下把运行速度优化得越快越好。结果显示，一个熟练的人类研究员需要4到8个小时才能勉强做到4倍优化，而Claude一口气冲到了52倍——这已经完全不在同一个量级了。

AI训练过程的速度优化涉及多个技术维度：包括计算图优化（减少冗余计算）、内存管理优化（减少数据搬运开销）、并行策略调整（更高效地利用多GPU/TPU）、混合精度训练（在不损失精度的前提下使用更低位宽的数据类型）、以及算法层面的改进（如更高效的注意力机制实现）。人类工程师通常需要逐一排查瓶颈并凭经验做出权衡，而AI可以同时探索大量优化组合，并通过快速实验验证效果。52倍的优化意味着原本需要52小时的训练任务可以在1小时内完成，这将极大加速AI模型的迭代周期，使得"AI造AI"的循环速度远超人类主导的开发节奏。

这意味着AI不仅能写代码，还能以远超人类的效率优化AI训练过程，这正是"AI造AI"最直接的证据。

Anthropic的呼吁：建立全球协调暂停机制

Anthropic提出的方案并非要求某一家公司单独停下来，而是建立一套全球协调机制。具体包括：

• 多家资源充足、站在最前沿的实验室共同同意参与
• 制定清晰规则，明确什么情况触发暂停、什么情况可以解除
• 设立独立监督机构进行第三方验证

Anthropic的这一提议并非空穴来风，它建立在已有的国际AI治理努力之上。2023年11月，英国主办了首届AI安全峰会，28个国家签署了《布莱切利宣言》，承诺合作应对前沿AI风险。2024年，韩国和法国相继举办后续峰会。此外，美国、欧盟、中国等主要AI大国都在推进各自的AI监管立法：欧盟的《人工智能法案》已于2024年正式生效，采用基于风险等级的分类监管；美国则通过行政命令要求前沿模型开发者向政府报告安全测试结果。然而，目前尚无任何国际机制具备强制暂停AI开发的权力，Anthropic的提议实质上是在呼吁建立一个前所未有的全球技术治理架构。

这套方案看似合理，但其发布的时机却引发了巨大争议。

商业动机的质疑：上市前的精心策划？

资本市场的微妙时机

Anthropic刚刚完成650亿美元H轮融资，估值飙升至超过9000亿美元，甚至超越了行业老大OpenAI。其年化营收突破470亿美元，而且据报道已秘密向美国证券交易委员会提交了上市申请。

在准备上市的关键节点突然跑出来喊"很危险，大家停一停"——这个逻辑确实值得推敲。还有什么比"我们的AI已经厉害到必须暂停开发"更能彰显自家产品技术实力的宣传语呢？

两大巨头的"默契"

更耐人寻味的是，就在Anthropic发文的同一周，其竞争对手OpenAI也发布了一篇名为《前沿AI民主治理蓝图》的文章，同样将AI自我改进列为未来必须重点管控的议题。两家头部大厂几乎同时抛出一模一样的恐慌课题，很难不让人联想到背后的协调意图。

"监管俘获"的指控

美国总统特朗普的非正式顾问、风险投资家萨克斯公开痛批Anthropic的行为是在推行"监管俘获"——即大公司试图通过制造恐慌，忽悠政府出台严厉监管政策，以此限制低成本AI模型的发展，顺理成章地巩固自己的垄断地位。

监管俘获（Regulatory Capture）是公共选择理论中的经典概念，由诺贝尔经济学奖得主乔治·斯蒂格勒在1971年系统阐述。它描述的是一种现象：本应服务公共利益的监管机构，反而被其监管对象（通常是大型企业）所"俘获"，制定出有利于既得利益者的政策。在AI领域，这种担忧尤为突出：如果政府基于头部公司的安全警告出台严格的许可制度、算力门槛或合规要求，那么资金雄厚的大公司可以轻松满足这些要求，而初创企业和开源社区则可能被排除在外。历史上，金融业的巴塞尔协议、制药业的FDA审批流程都曾被批评为变相的行业壁垒。

英伟达创始人黄仁勋也曾公开调侃："有些人当上CEO之后就会产生上帝情结，开始忧患天下。"言下之意，这些已经遥遥领先的公司呼吁"踩刹车"，本质上是在拉大与追赶者的差距。

真实担忧还是商业谋略？两者兼有

宾夕法尼亚大学莫里克教授提供了一个相对中立的视角：Anthropic的警告确实可能包含一些行销成分，但其中对AI失控的担忧也是真实的，值得全人类认真对待。

从技术层面看，AI代码贡献率从个位数飙升至80%、优化能力达到人类52倍，这些数据即便打个折扣也足够令人警醒。从商业层面看，在上市前夕发布这样的报告，时机选择确实过于"巧合"。

真相很可能是两者兼有：技术风险是真实存在的，但Anthropic选择在这个时间点、以这种方式发布，显然也经过了精心的商业考量。对于普通人而言，重要的不是揣测企业动机，而是认真思考：当AI真的开始自己造AI时，人类准备好了吗？

核心要点