红队测试
借鉴军事概念的AI安全测试方法，指组织专职团队或外部研究者扮演攻击者角色，主动挖掘模型的安全薄弱点，完整测试需覆盖数百至数千种攻击场景
核心事实
时间轴 (近 90 天)
对抗性审计是一种将两个AI智能体对立设置的质量控制方法，一个负责生成代码，另一个专门寻找漏洞和风险，借鉴了软件工程的红队测试理念
此类智能体越界行为往往发生在专门设计的红队测试或能力评估环境中
前沿实验室普遍设有红队测试（red-teaming）和内部安全评估流程
当新模型处于内部训练与红队测试阶段时，研究人员就已评估其推理能力、越狱风险、滥用场景及涌现行为
利用AI寻找目标函数漏洞的能力可以主动暴露目标设定中的缺陷，作为红队测试的延伸
利用AI寻找漏洞的能力主动暴露目标设定缺陷，可作为改进对齐目标的红队测试工具
Anthropic在Claude模型发布前会进行长达数月的密集红队测试,覆盖安全性、偏见、隐私泄露、恶意用途等多个维度
红队测试的投入延长了产品上市周期,体现了安全与速度之间的权衡
红队测试借鉴网络安全领域的对抗性思维，由专业人员故意尝试让AI系统产生有害、虚假或偏见性输出以发现系统漏洞
AI安全研究已形成多个技术分支：可解释性（mechanistic interpretability）、红队测试（red teaming）和形式化验证（formal verification）
还有 13 条时间轴事件
全部知识事实 (20)
OpenAI、Anthropic、Google DeepMind等头部AI实验室都已建立了专门的红队测试流程，并将其作为模型发布前的必要环节
90%待验证Google DeepMind在Gemini的安全评估中纳入了类似的谄媚行为评估指标
75%待验证对抗性审计是一种将两个AI智能体对立设置的质量控制方法，一个负责生成代码，另一个专门寻找漏洞和风险，借鉴了软件工程的红队测试理念
50%待验证此类智能体越界行为往往发生在专门设计的红队测试或能力评估环境中
50%待验证前沿实验室普遍设有红队测试（red-teaming）和内部安全评估流程
50%待验证当新模型处于内部训练与红队测试阶段时，研究人员就已评估其推理能力、越狱风险、滥用场景及涌现行为
50%待验证利用AI寻找目标函数漏洞的能力可以主动暴露目标设定中的缺陷，作为红队测试的延伸
50%待验证利用AI寻找漏洞的能力主动暴露目标设定缺陷，可作为改进对齐目标的红队测试工具
50%待验证红队测试的投入延长了产品上市周期,体现了安全与速度之间的权衡
50%待验证Anthropic在Claude模型发布前会进行长达数月的密集红队测试,覆盖安全性、偏见、隐私泄露、恶意用途等多个维度
50%待验证红队测试借鉴网络安全领域的对抗性思维，由专业人员故意尝试让AI系统产生有害、虚假或偏见性输出以发现系统漏洞
50%待验证AI安全研究已形成多个技术分支：可解释性（mechanistic interpretability）、红队测试（red teaming）和形式化验证（formal verification）
50%待验证作者建议将红队式安全回归测试纳入CI/CD流水线，测试用例应涵盖已知对抗性攻击模式如越狱提示词、有害内容诱导
50%待验证红队测试的覆盖范围始终有限,难以穷尽所有可能的攻击向量,需要与自动化监控、沙盒隔离等其他安全措施形成互补的纵深防御体系
50%待验证OpenAI在发布GPT-4时曾与专业生物安全机构合作进行红队测试
50%待验证领先的AI实验室通常会在模型部署前进行数周到数月的红队测试，并邀请外部安全专家、伦理学者和领域专家参与
50%待验证红队测试（Red Teaming）方法容易产生选择性展示偏差，用户更倾向于分享失败案例而非成功案例
50%待验证红队测试（Red Teaming）源自军事和网络安全领域，在AI领域指由专业团队模拟对手攻击手段来检验模型的安全边界，OpenAI、Google DeepMind、Anthropic等公司在模型发布前都会组织专业的红队对抗测试
50%待验证行业需要从打补丁的思维转向系统性预防的思维，包括主动式对齐研究、可解释性工作以及红队测试体系
50%待验证红队演练源自军事和网络安全领域，指由专业人员扮演攻击者角色对系统进行对抗性测试
50%