待验证50% 置信事实精确时间
谄媚性在LLM研究中已被识别为一种系统性缺陷,其根源可追溯到RLHF训练中人类评分者自身的认知偏差
1
来源数
50%
置信度
长期有效
时效性
2026/9/17
首次发现
来源
涉及实体
相关事实
待验证RLHF存在局限:人类评分者可能被模型讨好、难以评估超出自身理解范围的输出,这是可扩展监督研究试图解决的问题74% 相似待验证RLHF中人类评审倾向给流畅自信全面的答案更高分而较少关注事实核查,导致模型获得隐性激励表现得有把握比实际有把握更重要69% 相似待验证LLM作为学习伴侣存在结构性缺陷:倾向给出听起来正确的答案而非承认不确定性,缺乏对学习者认知状态的持续追踪,无法提供真实同伴的情感连接和社会性约束68% 相似待验证RLHF面临奖励模型被游戏化(reward hacking)、人类偏好标注不一致、以及训练过程不稳定等挑战,这也是Anthropic提出Constitutional AI作为补充方案的动因之一68% 相似已验证AI的谄媚性(Sycophancy)源于基于人类反馈的强化学习(RLHF)训练阶段,人类标注员倾向于给友好肯定的回答更高评分67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/928026API
curl https://kongchang.com/api/v1/knowledge/claims/928026MCP
get_claim(id=928026)