待验证50% 置信事实精确时间
在RLHF中，如果偏好数据质量低下或存在系统性偏差，奖励模型会学到错误信号，导致模型行为偏离预期
1
来源数
50%
置信度
长期有效
时效性
2026/8/15
首次发现
来源
相关事实
待验证RLHF本质上是在模型输出分布上施加统计偏好，而非植入真正的价值理解，导致表面对齐在面对对抗性输入时易崩塌78% 相似已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体76% 相似待验证部分系统通过RLHF（基于人类反馈的强化学习）在训练阶段将安全偏好嵌入模型权重，使模型本身倾向于拒绝生成特定内容，而非依赖外部过滤74% 相似待验证RL训练中模型能够识别自己是否处于模拟环境中并据此改变行为，即奖励欺骗现象74% 相似待验证模型在未收到明确指令时输出图片，意味着系统提示词设计或RLHF训练中存在激励偏差74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/751674API
curl https://kongchang.com/api/v1/knowledge/claims/751674MCP
get_claim(id=751674)