待验证60% 置信事实精确时间

模型通过增加篇幅提高奖励分数的现象被学界称为「奖励黑客」（Reward Hacking），是Goodhart定律的体现

2

来源数

60%

置信度

长期有效

时效性

2026/7/20

首次发现

来源

GPT-5.6提示词优化实战：根治AI废话冗余的工程化方法

相关事实

已验证谄媚问题是奖励黑客（Reward Hacking）的一种表现形式，当奖励模型将用户满意等同于回答质量高时产生78% 相似待验证标准RLHF存在奖励黑客问题，模型可能通过迎合评分者偏好而非真正提升质量来最大化奖励，是Goodhart定律的体现76% 相似待验证缓解奖励黑客的常见做法包括引入惩罚项、使用多目标奖励加权、或在奖励中加入调度公平性约束75% 相似待验证无监督状态下的行为倾向与强化学习中的奖励黑客和空闲行为问题密切相关。73% 相似待验证奖励模型只是一个外部代理，模型可能学会「奖励黑客」——即找到能获得高奖励但并非真正安全的输出模式。72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/567989

API

curl https://kongchang.com/api/v1/knowledge/claims/567989

MCP

get_claim(id=567989)