#LLM对齐
共 2 篇相关文章
·6 分钟
Manacá-1B-Instruct-2：巴西葡语LLM的可复现安全对齐与DPO负结果
Manacá-1B-Instruct-2 公开巴西葡语LLM的安全对齐全流程：三次DPO均告失败、safety-SFT配比扫描的非单调过度拒答曲线，以及LLM裁判静默拒答导致有效样本缩水的评测陷阱。
阅读全文 →
·6 分钟
联合建模多元有序偏好：超越成对比较的新框架
一篇arXiv新论文提出协变量依赖的联合建模框架，解决多元有序偏好数据建模中孤立看待属性、过度粗化为成对比较的问题，并揭示其与Bradley-Terry、Plackett-Luce模型的理论联系，对LLM对齐与推荐系统具有参考价值。
阅读全文 →