概念Instruction Hierarchy / 指令层级框架
指令层级
OpenAI 等机构提出的一种安全对齐框架,不同来源的指令具有不同信任等级,模型在冲突时必须优先服从高优先级指令,以防止提示词注入攻击。
时间轴 (近 90 天)
10月24日
文档揭示模型行为受多层级指令共同支配,系统级指令、开发者指令、用户指令,以及来自文档、网页和工具结果的低信任材料,优先级依次递减。
待验证50%
10月24日
当指令冲突时,高优先级条款胜出;用户对格式、语气、内容的偏好可以显著影响回答,但无法覆盖更高层级的约束。
待验证50%
10月13日
提示注入的防御手段(分类器、指令层级、来源标签)无一例外都是概率性的,模型可能被新颖措辞绕过,分类器可能误判合法输入
待验证50%
10月11日
防御间接注入的根本逻辑是数据与指令分离:检索内容应框定在只读数据区,可通过将外部内容放入tool角色而非user角色来建立层级隔离
待验证50%