待验证50% 置信观点精确时间

RLHF标注员群体在地域、文化背景、教育程度上分布不均，导致模型习得的偏好是特定人群价值观的统计偏态

1

来源数

50%

置信度

长期有效

时效性

2026/7/15

首次发现

来源

实测ChatGPT语音模式：拟人化交互的边界与陷阱

相关事实

待验证RLHF对齐的方向本质上反映的是参与标注的人群的价值观，而非某种客观标准75% 相似已验证传统RLHF依赖人工标注员的偏好判断，成本高且存在标注质量瓶颈66% 相似待验证在RLHF阶段，人类标注员往往倾向于给予听起来更友好、更认同用户的回复更高评分，导致模型产生系统性谄媚倾向65% 相似已验证RLHF存在局限性：人类标注者有偏见和不一致性、奖励模型可能被过度优化（奖励黑客）、流程成本高昂难以扩展65% 相似待验证人类标注员在RLHF评分时倾向于给措辞流畅、结构清晰、长度适中的答案打高分，导致对齐税和输出多样性下降65% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/520775

API

curl https://kongchang.com/api/v1/knowledge/claims/520775

MCP

get_claim(id=520775)