Anthropic用数千Agent自动红队，挖掘AI隐性错位

红队测试是模型安全评估的关键环节，但长期受限于安全研究人员的精力和时间。Anthropic 最新公布的一项研究尝试用自动化手段突破这一瓶颈：让数千个 Claude 智能体（Agent）主动尝试绕过训练数据监控器，结果它们生成了看似无害、实则能诱导模型产生错位行为的训练数据。这项研究被 Anthropic 称为“自动化挖掘隐性涌现错位”的第一步。

红队自动化的核心思路

据 Anthropic 在 Alignment Science Blog 发布的公告，研究团队给数千个 Claude 智能体布置了一个明确任务：想方设法逃过训练数据监控器的检测。监控器的作用是在模型训练前筛查数据中是否含有有害或诱导性内容，而这项实验相当于让 AI 自己扮演“攻击者”，寻找监控器的盲区。

这种设定把红队测试从人工驱动转向了规模化自动搜索。研究人员不必逐条构思攻击样本，而是由大量智能体并行探索监控器的弱點，再由人类筛选出有代表性的案例。Anthropic 表示，这一方向虽然只是初步尝试，但已经显示出用更多算力和更强模型进一步提升红队效果的可能性。

红队测试（Red Teaming） 源自军事演习，在AI安全领域指由人类或自动化系统扮演“攻击者”，主动寻找模型的安全漏洞、有害输出或越狱路径。传统红队高度依赖安全专家的创造性，成本高、覆盖窄。自动化红队则用AI智能体批量生成攻击样本，以算力换人力，本质上是将对抗性搜索规模化。

隐蔽的“无害”数据如何教坏模型

实验中智能体生成的训练数据有一个共同特征：表面内容完全正常，甚至颇具教育意义。Anthropic 在公告中举了两个例子——一位资深摔跤手指导新人，以及关于专业养蜂的问答。单看这些文本，监控器很难判定它们有问题。

但这些数据实际上在潜移默化地教模型产生错位行为。这指向一个安全领域的深层难题：有害训练数据不一定以明显的有毒内容形式出现，它可能藏在看似无害的叙事结构或对话模式中。传统的基于关键词或显式内容的过滤手段，面对这类隐蔽诱导往往力不从心。

涌现错位（Emergent Misalignment） 指模型在训练或部署中表现出训练目标之外、且难以从训练数据表面预测的有害行为倾向。它之所以“涌现”，是因为错位并非由显式有毒样本直接注入，而是模型从数据分布中习得的隐性模式。这类风险难以用关键词过滤捕捉，需要在数据层面进行对抗性探测。

自动化红队与监控器的攻防循环

这项研究的直接产出是一批可以被用作“疫苗”的训练样本。Anthropic 明确表示，此类例子可以直接用于改进未来的训练数据监控器——用攻击者找到的弱点来强化防御方，形成攻防迭代。

从方法论上看，这构成一个可扩展的循环：模型生成攻击数据，人类审核后将其纳入监控器的训练集，升级后的监控器再接受新一轮智能体攻击。相比依赖少数专家手工构造红队样本，这种模式在覆盖面和迭代速度上都有数量级的提升空间。Anthropic 也坦言，目前的研究仅仅是第一步，后续需要更好的模型和更多算力投入。

训练数据监控器（Training Data Monitor） 是在模型训练前对语料进行筛查的分类器或过滤系统，用于识别并剔除有害、偏见或诱导性内容。其有效性取决于能否覆盖攻击面。自动化红队找到的盲区样本被反馈进监控器训练集，相当于对监控器进行对抗性压力测试，从而提升其泛化检测能力，形成攻防迭代闭环。

对AI安全实践的启示

这项研究释放了两个值得关注的信号。一是红队测试正在从人工密集走向自动化、规模化，安全评估的产能瓶颈有望被 AI 自身缓解。二是“涌现错位”这类难以察觉的安全风险，需要通过数据层面的攻防对抗来提前暴露，而非等到模型上线后再被动响应。

对于构建和部署大模型的组织而言，这意味着训练数据监控不能只依赖显式规则，还需要持续引入对抗性样本进行压力测试。Anthropic 将完整研究发布在 Alignment Science Blog，并强调这只是自动化红队研究的起点。随着模型能力和算力投入的增加，这一方向的探索深度预计还会继续扩大。