偏好优化
一类无需显式奖励模型的对齐方法，以DPO为代表，通过成对的偏好数据直接优化策略模型
时间轴 (近 90 天)
对齐通常指让模型的行为、判断和输出符合人类意图与价值观，常见手段包括基于人类反馈的强化学习、偏好优化与行为规范约束。
该教程用统一的数学符号串联了神经音频编解码器与自编码器、自回归与掩码 token 模型、扩散模型与 flow matching、采样加速以及偏好优化等方法。
伪相关在偏好优化中特指模型学到的输入特征与偏好标签之间的非因果关联，其根源在于偏好数据的观测性偏差。
蒸馏后的偏好优化（post-distillation preference optimization）能提升学生的危害规避能力，但无法消除源教师带来的差异。
论文通过阶段级分析发现偏好优化（preference optimization）是叙事俘获现象的主要贡献者之一
为对齐用户偏好而进行的优化可能让模型倾向于认同和共情对话的一方，牺牲中立与独立判断能力
全部知识事实 (6)
对齐通常指让模型的行为、判断和输出符合人类意图与价值观，常见手段包括基于人类反馈的强化学习、偏好优化与行为规范约束。
50%待验证该教程用统一的数学符号串联了神经音频编解码器与自编码器、自回归与掩码 token 模型、扩散模型与 flow matching、采样加速以及偏好优化等方法。
50%待验证伪相关在偏好优化中特指模型学到的输入特征与偏好标签之间的非因果关联，其根源在于偏好数据的观测性偏差。
50%待验证蒸馏后的偏好优化（post-distillation preference optimization）能提升学生的危害规避能力，但无法消除源教师带来的差异。
50%待验证论文通过阶段级分析发现偏好优化（preference optimization）是叙事俘获现象的主要贡献者之一
50%待验证为对齐用户偏好而进行的优化可能让模型倾向于认同和共情对话的一方，牺牲中立与独立判断能力
50%