DNO对齐大模型实战：8B模型胜率反超70B

直接偏好优化（DPO）及其变体已经成为大模型对齐的主流方法，但它们本质上是在拟合一个静态的偏好数据集。Direct Nash Optimization（DNO）走了一条不同的路：把对齐建模为两人偏好博弈，并试图逼近该博弈的纳什均衡。一篇新的实证研究对DNO的实用变体DNO-Prct进行了独立复现，在Llama 3.1 8B Instruct和Mistral 7B Instruct v0.1上验证了其效果，并给出了不少值得关注的工程细节。

DNO-Prct到底怎么工作

DNO的理论目标是对齐一个通用偏好函数，而不是某个固定标注集。它的实用版本DNO-Prct采用迭代式流程：每一轮在策略模型上做在线采样，然后由LLM对样本和教师模型的黄金回答一起打分，再筛选出大间隔的偏好对，最后执行DPO风格的对比更新。这个流程把“生成—评分—筛选—更新”串成一个闭环，模型在每一轮都会面对自己当前策略产生的新样本。

研究团队独立重新实现了这一流程，而不是直接使用原作者代码。这种独立复现的价值在于，它能检验方法本身的可复现性，而不仅仅是报告一次调参结果。实验选择两个开放权重的小模型作为起点，标注器则分别使用GPT-4o和同家族更大的开放权重模型，以此对比专有模型与开源模型作为评分者的差异。

直接偏好优化（DPO） 是一种无需显式奖励模型的偏好对齐方法。它基于Bradley-Terry偏好模型，将RLHF中的奖励最大化目标转化为对偏好对的分类损失，直接优化策略模型，使其更倾向于被选中的回答。DPO避免了PPO等在线强化学习算法的复杂性，训练稳定且计算高效，因此成为大模型对齐的主流方法之一。但其局限在于仅拟合静态偏好数据集，无法利用策略模型在线生成的新样本，容易过拟合标注分布。DNO-Prct正是在此基础上引入在线迭代机制，以逼近更通用的偏好目标。

纳什均衡 是博弈论中的核心概念，指在一个两人（或多人）博弈中，没有任何一方能通过单方面改变策略而获得更好收益的策略组合。在DNO的框架下，对齐被建模为策略模型与偏好函数（或教师模型）之间的两人博弈：策略模型生成回答，偏好函数给出偏好信号，双方不断调整策略。理想情况下，当策略模型生成的回答分布使得偏好函数无法进一步区分优劣时，即达到纳什均衡。此时策略模型与真实偏好一致，对应理论上的最优对齐。DNO-Prct通过迭代近似该均衡，但有限轮迭代和LLM评分等近似手段使其无法严格收敛。

关键数据：8B模型的反超

在AlpacaEval 2.0基准上，以GPT-4o作为评判者，经过三轮迭代后，长度控制（LC）胜率出现了明显提升。Llama 3.1 8B Instruct对GPT-4o的LC胜率从31.7%提升到45.3%，Mistral 7B Instruct v0.1则从6.8%提升到18.4%。更引人注意的是，调优后的8B模型在所有报告的胜率指标上都超过了Llama 3.1 70B Instruct。

这个结果说明，DNO-Prct带来的增益并非只是基准上的微小波动，而是足以让小模型在特定评测中跨过规模差距。当然，这里的评测依赖GPT-4o作为裁判，胜率的具体数值需要结合评测设置来理解。

AlpacaEval 2.0 是一个常用的指令遵循评测基准，包含805条多样化的用户指令，覆盖写作、问答、编程等场景。它采用LLM作为自动评判者，将模型回答与参考回答（通常来自GPT-4）进行成对比较，计算胜率。为控制长度偏差，AlpacaEval 2.0引入了长度控制（LC）胜率，即对回答长度进行回归调整后的胜率，避免模型通过生成更长回答来虚取胜率。LC胜率更侧重于内容质量而非长度，因此被广泛用于评估对齐效果。本文中所有胜率提升均以LC胜率为准，确保了比较的公平性。

开源标注器能保留多少增益

一个现实问题是：如果不用GPT-4o做标注，DNO-Prct还能有效吗？研究给出了量化答案。使用同家族开放权重模型作为标注器时，Llama保留了对GPT-4o标注器所获LC增益的62%，Mistral保留了82%。这意味着评分步骤并不必须依赖专有模型，开源标注器虽然会损失一部分效果，但仍能维持大部分收益。

这一发现对资源有限的团队有直接意义。它把DNO-Prct的准入门槛从“必须调用闭源大模型API”降低到“可以用同家族更大模型自建评分流程”，在成本和数据可控性上都更友好。

消融实验：哪些环节真正重要

研究做了一组消融配置，结果显示：去掉黄金回答、去掉数据回看（data look-back）、或只接受教师偏好的样本对，这三种变体比完整流程低6到10个LC点。这说明教师黄金回答和偏好对筛选策略是流程中的关键部件，而不是可有可无的装饰。

相比之下，每个提示的在线样本数从1增加到7，LC胜率变化最多2.1个点；间隔（margin）从1扫到5，在独立管线中最多变化2.4个点。这两个超参数的影响相对温和，给工程落地留出了较大的调参容错空间。

成本、偏差与理论距离

论文还报告了管线的成本，并讨论了实用算法与其所近似的理论之间的偏离。DNO的理论根基是纳什均衡，但DNO-Prct在实际操作中做了大量近似：有限轮迭代、LLM评分替代精确偏好、大间隔筛选等。这些近似让方法可运行，也意味着它并不能严格保证收敛到理论目标。

需要谨慎对待的一点是，所有结果均为单次运行，且GPT-4o同时担任教师和评测裁判。这种设置下，报告的增益可能部分来自教师与裁判同源带来的偏差。研究团队对此进行了讨论，但单次运行缺少方差估计，跨模型、跨裁判的稳健性仍需更多复现来确认。

同源偏差 指当教师模型和评测裁判由同一个模型（如GPT-4o）担任时，评测结果可能系统性地偏向教师模型的风格或偏好，从而高估方法带来的真实增益。在DNO-Prct的复现中，GPT-4o既生成黄金回答（教师），又作为AlpacaEval 2.0的裁判，这可能导致模型学习到GPT-4o的特定偏好，并在同源裁判下获得虚高胜率。为缓解此问题，实践者应引入与教师不同的裁判模型（如Claude或人类评估），或至少进行跨裁判验证，以确认增益的稳健性。

对实践者的启示

对于想在开源模型上做偏好对齐的团队，这项研究提供了几条可操作的经验：教师黄金回答和数据回看机制值得保留；在线样本数和间隔参数不必过度精细调参；标注器可以用同家族开源模型替代，代价是增益打折但方向不变。同时，评测环节最好引入与教师不同的裁判，避免同源偏差放大结论。

DNO-Prct展示了一条从“拟合静态偏好”转向“迭代博弈逼近”的对齐路径，其在8B模型上的表现说明这条路径有实际潜力，但距离稳定、可复现的工程标准还有一段路要走。