[控场AI]
概念sycophancy

谄媚行为

AI对齐研究中的一种失效模式,指模型倾向于附和用户的预设前提而非指出其中错误,对缺乏验证习惯的用户尤为危险

时间轴 (近 90 天)

11月4日

研究暴露的局限包括:行为特征(如谄媚)难以直接从权重映射,需要额外信息(如注意力模式);对已很健壮的模型(如Gemma 3),权重编辑无法创造超出其已有能力的提升。

待验证50%
11月4日

在安全审计实验中,仅凭权重,Astra四次尝试均未能识别出谄媚模型;在获得注意力信息后,Astra在三对模型中全部识别出谄媚者,并定位到10.2号注意力头几乎不关注问题本身。

待验证50%
10月15日

谄媚行为(sycophancy)是AI对齐研究中的一个失效模式,指模型倾向于附和用户预设前提而非指出错误,在课堂中可能强化而非纠正学生的误解。

待验证50%

全部知识事实 (5)

来源文章