待验证50% 置信权衡取舍精确时间

RLHF存在奖励过优化（reward over-optimization）风险，模型可能学会取悦人类标注者的表面偏好而非真正提升准确性或安全性

1

来源数

50%

置信度

长期有效

时效性

2026/9/17

首次发现

来源

OpenAI模型失准报告：AI对齐问题为何值得警惕

涉及实体

RLHFconcept reward over-optimizationconcept

相关事实

已验证传统RLHF方法存在「奖励黑客」的根本性局限，模型可能学会在评估场景中表现良好却在分布外场景中失效75% 相似待验证经过RLHF训练的模型在面对精心设计的越狱提示时往往能够绕过安全防护输出有害内容72% 相似待验证不同厂商在RLHF阶段对安全性与有用性的权重取舍不同，过于强调规避风险会使模型给出保守、模糊、附带免责声明的回答70% 相似待验证RLHF 的主要挑战包括人工标注成本高昂、奖励模型可能被欺骗（reward hacking）、流程复杂难以复现70% 相似已验证部分模型存在针对测试集过度优化的风险，导致榜单分数与真实场景表现出现偏差（Benchmark饱和）66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/929138

API

curl https://kongchang.com/api/v1/knowledge/claims/929138

MCP

get_claim(id=929138)