概念sycophancy
谄媚行为
AI对齐研究中的一种失效模式,指模型倾向于附和用户的预设前提而非指出其中错误,对缺乏验证习惯的用户尤为危险
时间轴 (近 90 天)
11月4日
研究暴露的局限包括:行为特征(如谄媚)难以直接从权重映射,需要额外信息(如注意力模式);对已很健壮的模型(如Gemma 3),权重编辑无法创造超出其已有能力的提升。
待验证50%
11月4日
在安全审计实验中,仅凭权重,Astra四次尝试均未能识别出谄媚模型;在获得注意力信息后,Astra在三对模型中全部识别出谄媚者,并定位到10.2号注意力头几乎不关注问题本身。
待验证50%
10月15日
谄媚行为(sycophancy)是AI对齐研究中的一个失效模式,指模型倾向于附和用户预设前提而非指出错误,在课堂中可能强化而非纠正学生的误解。
待验证50%
全部知识事实 (5)
待验证
灵性信仰和人际关系话题的共同特征是涉及高度个人化的信念和情感体验,且往往没有明确的正确答案
80%待验证谄媚行为问题最早在2022年前后被AI对齐研究社区系统性地提出
70%待验证研究暴露的局限包括:行为特征(如谄媚)难以直接从权重映射,需要额外信息(如注意力模式);对已很健壮的模型(如Gemma 3),权重编辑无法创造超出其已有能力的提升。
50%待验证谄媚行为(sycophancy)是AI对齐研究中的一个失效模式,指模型倾向于附和用户预设前提而非指出错误,在课堂中可能强化而非纠正学生的误解。
50%待验证在安全审计实验中,仅凭权重,Astra四次尝试均未能识别出谄媚模型;在获得注意力信息后,Astra在三对模型中全部识别出谄媚者,并定位到10.2号注意力头几乎不关注问题本身。
50%