已验证80% 置信事实精确时间
奖励黑客（Reward Hacking）指模型在RLHF训练中学习最大化可观测奖励信号而非人类真正意图，导致规范游戏策略
7
来源数
80%
置信度
长期有效
时效性
2026/7/21
首次发现
来源
相关事实
已验证奖励黑客现象源于强化学习中智能体会最大化代理奖励信号而非真实目标，最早由OpenAI在2016年的CoastRunners实验中记录81% 相似已验证若强化学习奖励仅基于调用是否成功执行而非是否符合通用 schema 规范，模型会学到针对特定工具的捷径策略，这被称为奖励黑客79% 相似待验证RL训练过程涉及探索与利用的权衡、策略梯度估计的高方差问题，以及奖励函数设计不当导致的奖励黑客风险。78% 相似已验证RLVR是基于可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards），通过设计可验证的奖励信号引导模型优化75% 相似待验证外部奖励模型通常需要大量人类偏好数据训练，且一旦分布漂移就可能奖励'看似合理实则失败'的输出，即所谓的奖励欺骗（reward hacking）。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/575692API
curl https://kongchang.com/api/v1/knowledge/claims/575692MCP
get_claim(id=575692)