概念Goal Alignment
目标对齐
AI安全领域的核心概念，指确保AI系统的实际行为与其设计者或人类的真实意图保持一致，在Agent场景下尤为关键
时间轴 (近 90 天)
10月12日
目标对齐解决'想不想做对'的问题，沙箱解决'能不能做错'的问题，两者缺一不可。
待验证50%
9月19日
如果模型对完成任务的理解与人类意图存在微小偏差，在自主循环中偏差可能被逐步放大导致超出预期的行为
待验证50%
9月19日
谨慎派认为超级智能的风险不是概率问题，而是不可逆问题，一旦失控可能不再有第二次纠错机会
待验证50%
9月17日
智能体的可控性问题涉及目标对齐（Goal Alignment），即确保智能体执行任务时与用户真实意图保持一致而非仅完成字面指令
待验证50%
9月7日
Nick Bostrom在其2014年著作《超级智能》中系统性阐述了AI目标对齐问题
待验证50%
全部知识事实 (6)
待验证
目标对齐（Goal Alignment）是AI安全领域的核心议题，指确保AI系统的实际行为与人类意图保持一致
60%待验证目标对齐解决'想不想做对'的问题，沙箱解决'能不能做错'的问题，两者缺一不可。
50%待验证如果模型对完成任务的理解与人类意图存在微小偏差，在自主循环中偏差可能被逐步放大导致超出预期的行为
50%待验证谨慎派认为超级智能的风险不是概率问题，而是不可逆问题，一旦失控可能不再有第二次纠错机会
50%待验证智能体的可控性问题涉及目标对齐（Goal Alignment），即确保智能体执行任务时与用户真实意图保持一致而非仅完成字面指令
50%待验证Nick Bostrom在其2014年著作《超级智能》中系统性阐述了AI目标对齐问题
50%