对齐

对齐（alignment）是指确保AI系统的行为与人类意图和价值观保持一致，是AI安全领域的核心议题

在AI安全语境中，可解释性（interpretability）指理解模型内部计算与决策机制的能力，对齐（alignment）指确保AI系统的行为与人类意图和价值观保持一致的研究方向。

安全对齐是指通过训练和干预手段，使AI模型的行为符合人类价值观与安全规范的一系列技术方案，包括基于人类反馈的强化学习（RLHF）、宪法AI、红队测试等。

对齐问题的核心困难在于如何确保持续自我改进的AI系统在每次迭代后仍遵循人类预期的目标与价值观

对齐研究的目标是确保模型的目标与行为符合人类意图，避免误导性输出或价值观偏离

AI对齐（Alignment）关注的核心问题是模型是否真正理解并执行了人类的意图，而非钻规则空子或产生偏离目标的行为

一个校准良好的模型，其输出的0.8分应当在统计意义上真的对应80%的正确率

目标对齐（Goal Alignment）是AI安全领域的核心议题，指确保AI系统的实际行为与人类意图保持一致

AI的训练过程分为三个阶段：预训练、后训练和对齐

当前关于对齐（alignment）、可控性、可解释性的研究仍处于早期阶段，远未达到可以放心托付重大决策的程度。

对齐困难的原因包括：能力越强的系统越可能发展出与训练目标不一致的次级目标（如资源获取、自我保存），且其内部决策过程难以被外部审查。

对齐研究被视为超级智能安全的“第一道防线”，其进展直接决定了其他安全手段能否生效。

当前对齐研究主要分为两条路径：一是通过人类反馈强化学习（RLHF）等方法在训练中塑造模型行为，二是在理论上探讨如何形式化地表达人类价值。

一个对齐良好的系统如果鲁棒性不足，可能被精心构造的提示词绕过安全限制。

对齐的局限在于它是一种“分布内”保证：训练数据与优化目标覆盖到的行为可以被塑造，但部署时用户输入、工具环境与任务组合构成的开放行为空间远超训练覆盖范围。

对齐过程会系统性地奖励那些看起来有帮助的回答（结构清晰、语气肯定、结论明确），导致模型倾向于收敛到共识性叙述而非保留争议。

对齐（alignment）指通过人类反馈强化学习（RLHF）等技术，让模型的输出更符合人类偏好——有用、无害、诚实。

Agent 的“飘移”发生在推理和部署阶段，不同于训练阶段的对齐失败。

在工具调用循环中，模型只负责决策和表达（决定调用什么、传什么参数），实际执行由确定性代码完成，这既避免了模型直接操作外部系统的安全风险，也使调用过程可审计、可重试。

containment 关注基础设施被谁触碰，而传统模型安全（如对齐、红队测试）关注模型「做什么」，两者处于不同层次且缺一不可。