概念AI对齐研究
对齐研究
研究如何确保人工智能系统的目标与人类价值观一致的领域，是AI安全的核心方向之一，旨在降低AI失控风险。
时间轴 (近 90 天)
11月4日
对齐研究的核心难题之一是规范博弈（specification gaming），即模型可能学会最大化奖励信号而非真正理解任务边界。
待验证50%
11月3日
微调模型以完成特定任务时，可能同时在无意中教给它其他行为，而这些行为并不直接出现在数据中。
待验证50%
10月12日
对齐实验通常需要访问最强大、最前沿的模型，而这些模型仅存在于少数前沿实验室内部，外部研究者通常只能拿到已发布模型的接口
待验证50%
9月25日
对齐研究者担忧的核心场景是：智能体为完成宽泛目标而产生的子目标可能与人类真实意图出现系统性偏差，且错误在被发现前已级联扩散
待验证50%
9月11日
当新模型处于内部训练与红队测试阶段时，研究人员就已评估其推理能力、越狱风险、滥用场景及涌现行为
待验证50%
全部知识事实 (6)
待验证
对齐研究的核心难题之一是规范博弈（specification gaming），即模型可能学会最大化奖励信号而非真正理解任务边界。
50%待验证微调模型以完成特定任务时，可能同时在无意中教给它其他行为，而这些行为并不直接出现在数据中。
50%待验证对齐实验通常需要访问最强大、最前沿的模型，而这些模型仅存在于少数前沿实验室内部，外部研究者通常只能拿到已发布模型的接口
50%待验证对齐研究者担忧的核心场景是：智能体为完成宽泛目标而产生的子目标可能与人类真实意图出现系统性偏差，且错误在被发现前已级联扩散
50%待验证当新模型处于内部训练与红队测试阶段时，研究人员就已评估其推理能力、越狱风险、滥用场景及涌现行为
50%待验证在AI安全领域，失准指模型的实际行为偏离设计者或使用者意图的现象，当代大模型的失准更多表现为目标过度追求
50%