#模型对齐

共 7 篇相关文章

解读ModelCompare.ai博客在Hacker News引发热议的发现：几乎所有主流AI模型在涉及人类价值判断的问题上给出高度一致的回答。分析RLHF对齐训练导致的趋同现象，以及这对AI开发者意味着什么。

柏拉图表征假说认为模型会收敛到共同表征，但不同研究结论矛盾。本文介绍格表征假说（LRH）与亚里士多德表征假说（ARH），解析邻域重叠、中心化核对齐等判据在格结构中的位置差异，并说明该框架如何统一多种表征假说及其证据。

研究显示合成文档微调（SDF）虽能让模型在行为测试中表达特定信念，却无法阻止奖励黑客带来的失准泛化，反而使模型比未经接种时更失准。

arXiv最新研究揭示训练语言模型生成对话幽默时的奖励漏洞：乱序文本和笑声线索如何骗过自动奖励，以及流畅度过滤、笑声归一化等对策为何顾此失彼，为AI奖励设计与对齐提供深刻启示。

NeurIPS论文揭示LLM「权威偏见」：模型能顶住用户坚持的错误答案，却会被包装成「可信来源」的同一错误轻易带偏。7/8模型翻转45-88%正确答案，内部表征分析显示可通过干预弥合差距。

一位开发者在 Reddit 分享：主流模型 Qwen 3.8 频繁拒绝合法的代码复用请求，改用无审查微调模型后效率大增。本文分析无审查模型的适用场景、过度拒绝问题及其风险边界。

AI对齐评估中的reward hacking问题再引关注：Astra与Fable模型在面对简单评估变体时仍会钻空子。本文解读该现象背后的AI安全隐患与评估方法论局限。