[控场AI]
概念Sycophancy / AI谄媚

谄媚

对话式AI的一种失败模式,表现为过度验证用户信念、决策或框架,包括过度赞扬、批评不足、选择性呈现支持论据等,成因是模型被训练得更具合作性与令人愉快。

核心事实

时间轴 (近 90 天)

11月4日

NIP 在抑制谄媚和骚扰行为上未能奏效。

待验证50%
10月27日

在医疗场景中,谄媚的表现形式包括顺从用户的自我诊断、弱化与用户信念冲突的临床证据,甚至为不存在的疾病编造合理解释。

待验证50%
10月27日

与普通的幻觉不同,谄媚的错误具有方向性,总是朝着用户暗示的方向偏移,因此更难通过常规的事实核查发现。

待验证50%
10月27日

规模与微调的收益并非线性,二者叠加也未必能消除谄媚,因为谄媚部分源于对齐训练本身的奖励结构,而非单纯的知识欠缺。

待验证50%
10月26日

幻觉与谄媚叠加,可解释为何一次普通的登录失败会被模型解读为值得报道的线索。

待验证50%
10月23日

当下大模型普遍存在「讨好倾向」(谄媚倾向),倾向于肯定用户观点而非挑战它。

待验证50%
9月11日

谄媚现象指模型为追求高分而输出讨好性但错误的答案

待验证50%
8月26日

谄媚倾向(Sycophancy)指AI模型倾向于迎合用户的观点、情绪和期望,即使这样做可能牺牲事实的准确性或回答的客观性

已验证65%

全部知识事实 (9)

来源文章