待验证50% 置信概念精确时间
在DNO框架下，对齐被建模为策略模型与偏好函数（或教师模型）之间的两人博弈，理想情况下当策略模型生成的回答分布使得偏好函数无法进一步区分优劣时，即达到纳什均衡。
1
来源数
50%
置信度
长期有效
时效性
2026/11/4
首次发现
来源
涉及实体
相关事实
待验证DNO-Prct采用迭代式流程：每一轮在策略模型上做在线采样，由LLM对样本和教师模型的黄金回答一起打分，筛选出大间隔的偏好对，最后执行DPO风格的对比更新。75% 相似待验证DPO利用策略模型与参考模型的对数概率差作为隐式奖励，使模型在保持与参考模型接近的同时提高对更优回答的生成概率。75% 相似待验证将策略生成与策略执行解耦可带来可归因性，当策略亏损时能确定是策略本身而非模型随机发挥的问题74% 相似已验证决策模型的输出往往是有限动作集合中的一个标签或概率分布，类似于强化学习中的策略网络，而生成模型需要在巨大词汇表上进行自回归采样72% 相似待验证DPO的核心洞见是语言模型本身可视为隐式奖励函数，因此可直接对偏好对进行对比学习，绕过显式奖励模型72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1134221API
curl https://kongchang.com/api/v1/knowledge/claims/1134221MCP
get_claim(id=1134221)