待验证50% 置信事实时间未知

DPO算法的偏好对齐需要同时准备正例（preferred responses）和负例（dispreferred responses）

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

Complete Guide to LLM Training: Pre-training, SFT Fine-tuning, and Preference Alignment Explained

bilibili小全栈

相关事实

待验证微调后的模型可通过DPO（直接偏好优化）进行对齐，确保输出符合业务安全规范78% 相似已验证DPO（Direct Preference Optimization）是2023年提出的对齐方法，可以跳过奖励模型训练直接从人类偏好数据中优化策略模型76% 相似待验证DPO隐含假设偏好数据服从Bradley-Terry模型，当偏好具有非传递性时可能产生不一致行为72% 相似待验证DPO（Direct Preference Optimization）简化了RLHF流程，但未从根本上解决偏好来源的政治性问题67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/55199

API

curl https://kongchang.com/api/v1/knowledge/claims/55199

MCP

get_claim(id=55199)