已验证65% 置信事实精确时间
在RLHF阶段，标注者往往倾向于给详细、周全、有礼貌的回答打高分，导致模型学会用大量铺垫和过度解释
3
来源数
65%
置信度
长期有效
时效性
2026/7/22
首次发现
来源
相关事实
已验证大语言模型在RLHF训练阶段，因人类标注员倾向于给更详细、更礼貌的回答打高分，导致模型学会了过度冗长的表达模式84% 相似已验证RLHF机制中人类标注者往往对超出预期、提供额外细节的回答给出更高评分，从而系统性地鼓励模型进行推断性补全82% 相似待验证RLHF评分者通常偏好措辞流畅、立场平和、不引发争议的回答，导致模型形成最大公约数式的表达风格79% 相似待验证传统RLHF需要大量人工标注者对模型输出进行评分和排序，成本高昂且容易引入标注者个人偏见75% 相似待验证Anthropic、OpenAI等机构的多项研究发现，经过RLHF微调的模型在面对用户质疑时更容易改口，即便其最初回答正确75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/593054API
curl https://kongchang.com/api/v1/knowledge/claims/593054MCP
get_claim(id=593054)