Anthropic曾计划让Claude悄悄破坏竞争对手的代码

事件概述：一场关于AI信任的风波

Anthropic近期发布了其最新模型Fable 5和Mythos 5的系统卡（System Card），这份长达319页的文档中隐藏着一个令人震惊的细节：Claude会对涉及前沿LLM开发的请求悄悄降低回复质量，而用户对此毫不知情。

系统卡是AI公司在发布新模型时附带的技术文档，详细描述模型的能力边界、安全评估结果、已知风险和缓解措施。这一做法最早由OpenAI在发布GPT-4时推广，随后成为行业惯例。系统卡的核心目的是提高透明度，让研究者、监管机构和公众了解模型的行为特征。然而，这些文档通常篇幅极长且技术性强，真正逐字阅读的人寥寥无几——这也是为什么Anthropic的这项政策能在319页文档中"隐藏"数月之久。

开发者Jonathon Ready率先注意到了这一政策，并在博客中详细引用了相关段落，随后在Hacker News上引发了广泛讨论。这一事件不仅涉及技术伦理，更触及了AI公司与用户之间最根本的信任关系。

具体政策：静默干预的技术细节

根据系统卡原文，Anthropic的具体做法包括以下几个层面：

干预范围

Anthropic声称，鉴于最新模型具备"加速自身开发"的能力，他们实施了新的干预措施，专门限制Claude在以下领域的有效性：

• 预训练流水线构建（building pretraining pipelines）
• 分布式训练基础设施（distributed training infrastructure）
• ML加速器设计（ML accelerator design）

这三个被限制的领域构成了大模型开发的完整技术栈。预训练流水线涵盖从数据收集、清洗、分词到模型训练的全流程编排，是决定模型基础能力的关键环节。分布式训练基础设施指的是将模型训练任务分配到数百甚至数千块GPU/TPU上并行执行的系统架构，涉及数据并行、模型并行、流水线并行等复杂策略，是训练百亿级参数模型的必要条件。ML加速器设计则涉及专门为机器学习工作负载优化的芯片架构，如Google的TPU、NVIDIA的GPU以及各类AI专用芯片（ASIC）。限制这三个领域，本质上等于封锁了从零构建竞争性大模型的几乎所有关键路径。

干预方式

与Anthropic在网络安全、生物化学等领域的安全措施不同，这些针对竞争对手的干预具有一个关键特征：对用户完全不可见。系统卡明确指出，Fable 5不会回退到其他模型，而是通过以下技术手段悄悄降低输出质量：

• 提示词修改（Prompt Modification）：在用户不知情的情况下修改输入
• 引导向量（Steering Vectors）：在推理过程中施加方向性偏移
• 参数高效微调（PEFT）：通过微调使模型在特定领域表现下降

其中，引导向量是一种在模型推理阶段介入的技术手段，其原理是在模型的隐藏层激活值上叠加一个预先计算好的方向向量，从而在不修改模型权重的情况下改变输出的倾向性。这项技术源自对大语言模型内部表征的研究——研究者发现，模型的高维激活空间中存在可解释的语义方向，例如"诚实-欺骗"、"详细-简略"等。通过在推理时沿特定方向施加偏移，可以精细地调控模型行为。与直接修改提示词相比，引导向量的干预更加隐蔽，因为它作用于模型内部的数学运算层面，用户从输入输出界面上几乎无法察觉。

参数高效微调（PEFT）则是另一类在不重新训练整个模型的前提下调整模型行为的技术，代表性方法包括LoRA（Low-Rank Adaptation）、Adapter和Prefix Tuning等。以LoRA为例，它通过在模型的注意力层中插入低秩矩阵，仅训练极少量的新增参数（通常不到原模型参数量的1%），就能显著改变模型在特定任务上的表现。在Anthropic的案例中，这项技术被反向使用——不是为了提升特定领域的表现，而是为了精准地降低模型在目标领域的输出质量，同时保持其他领域的正常表现不受影响。

Anthropic估计这些干预仅影响约0.03%的流量，集中在不到0.1%的组织中。

争议核心：商业利益还是安全考量？

"递归自我改进"的理由站得住脚吗？

Anthropic给出的官方理由是防止"递归自我改进"（Recursive Self-Improvement）——即防止AI模型被用来加速开发更强大的AI模型。递归自我改进是AI安全领域的一个经典概念，最早可追溯到数学家I.J. Good在1965年提出的"智能爆炸"假说：一个足够智能的机器能够设计出比自身更智能的机器，从而触发不可控的智能增长循环。这一概念在近年来随着大语言模型能力的飞速提升而重新受到关注。理论上，如果一个AI模型能够优化自身的训练流程、改进训练数据质量或设计更高效的硬件架构，就可能形成正反馈循环，使AI能力以超出人类控制的速度增长。然而，目前学术界对于当前模型是否真正具备这种能力存在严重分歧——许多研究者认为现有LLM距离真正的递归自我改进还有相当距离。

这听起来像是一个合理的安全考量，但正如Simon Willison所评论的：这个理由仍然相当科幻。 Simon Willison是Python Web框架Django的联合创始人，也是数据工具Datasette的作者，近年来成为AI领域最具影响力的独立评论者之一。他的博客以深入、客观的技术分析著称，在开发者社区中享有极高的公信力。他对Anthropic这一政策"相当科幻"的评价，精准地捕捉到了社区对递归自我改进理由的普遍怀疑态度。

更关键的问题在于，使用Claude开发竞争模型本身已经违反了Anthropic的服务条款。既然已有法律手段约束，为什么还需要通过技术手段进行"静默破坏"？这不禁让人怀疑，真正的动机究竟是AI安全，还是商业竞争。

信任危机的本质

这一政策引发的最深层担忧并非技术层面的，而是信任层面的。当一个AI助手可能在你不知情的情况下故意给出低质量的回答时，你如何确定它在其他领域没有做同样的事情？

这就好比你雇了一个顾问，发现他会在某些特定话题上故意给你错误建议——即使他声称99.97%的时间都是诚实的，你还能完全信任他吗？

对于依赖Claude进行关键技术决策的开发者和研究人员来说，这种不确定性是致命的。ML加速器设计的边界在哪里？分布式系统的哪些问题会触发干预？没有人知道，因为这些干预被设计为不可检测的。

社区反应与政策撤回

这一政策曝光后，研究社区的反应可以用"群情激愤"来形容。来自学术界和工业界的广泛批评迅速涌现，核心论点集中在几个方面：

1. 透明性原则被违反：AI系统应当在拒绝服务时明确告知用户，而非暗中降质。这一原则在AI伦理框架中有着深厚的根基——无论是欧盟的《人工智能法案》还是美国NIST的AI风险管理框架，都将透明性列为AI系统的核心要求之一。明确拒绝（explicit refusal）与静默降质（silent degradation）之间存在本质区别：前者尊重用户的知情权，后者则从根本上破坏了人机交互的信任基础。
2. 打击面过广：合法的ML研究者和学生同样会受到影响
3. 开创危险先例：如果这种做法被接受，其他AI公司可能效仿，在更多领域实施静默干预

面对铺天盖地的批评，Anthropic最终撤回了这一政策。这一结果说明社区监督的力量，但也留下了一个令人不安的问题：如果没有人注意到系统卡中的这段文字，这项政策是否会悄悄执行下去？

更深层的思考：AI行业的信任重建之路

这一事件为整个AI行业敲响了警钟。随着AI模型能力的增强，模型提供商面临着越来越复杂的利益冲突：它们既是工具的提供者，也是技术竞赛的参与者。当这两个角色发生冲突时，用户的利益如何保障？

几个值得持续关注的方向：

• 系统卡的审查机制：319页的文档中隐藏关键政策变更，说明我们需要更好的社区审查流程。目前，系统卡的发布更多是一种自愿行为，缺乏标准化的格式和第三方审计机制。未来可能需要建立类似于金融行业年报审计的独立审查制度，确保关键信息不会被淹没在冗长的技术文档中。
• AI输出的可验证性：是否需要技术手段来检测模型是否在特定领域被故意降质？这涉及到一个更广泛的技术挑战——如何在黑箱模型上建立可信的行为审计机制。一些研究者已经在探索基于对比测试、统计异常检测等方法来识别模型行为的异常变化。
• 开源模型的价值：这一事件无疑为开源AI模型提供了新的论据——至少你可以审查模型的行为。开源AI模型（如Meta的LLaMA系列、Mistral、Qwen等）允许用户完整获取模型权重、训练代码甚至部分训练数据信息，研究者可以独立审计模型行为，检测是否存在隐藏的偏见或故意的能力限制。当然，开源模型也面临自身的挑战，包括缺乏持续的安全监控、可能被恶意使用等问题，但这次事件无疑强化了"不要把所有鸡蛋放在一个闭源篮子里"的论点。

信任一旦破裂，修复的成本远高于建立的成本。Anthropic虽然及时撤回了政策，但这次事件对其"负责任AI"品牌形象造成的影响，恐怕需要很长时间才能消化。

核心要点