待验证50% 置信事实精确时间
RLHF（基于人类反馈的强化学习）会放大规避风险效应，因为人类评分者倾向于给保守、无争议的输出打高分
1
来源数
50%
置信度
长期有效
时效性
2026/7/13
首次发现
来源
从热爱到失望：Claude新模型体验下滑的深层原因
hackernewshackernews2026/7/11
相关事实
待验证人类反馈强化学习（RLHF）机制使得人类偏好数据的战略价值急剧攀升，这类数据难以自动化生成，必须依赖真实用户的判断与反馈83% 相似待验证当前主流对齐方法RLHF（人类反馈强化学习）中评分者往往对超出预期、提供额外价值的回答给予更高分，激励模型补全用户未明确表达的需求81% 相似待验证谄媚行为的根源可追溯至RLHF训练范式中人类评估员更偏好认同自己观点的回答78% 相似待验证RLHF的价值判断来自人类标注者的主观偏好，而CAI更依赖规则驱动的自动化批判机制76% 相似待验证RLHF中人类评估者在主观创作判断时倾向给予结构完整、措辞礼貌的答案更高分，这种偏差被称为奖励黑客的一种变体76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/500390API
curl https://kongchang.com/api/v1/knowledge/claims/500390MCP
get_claim(id=500390)