ShallowDefend
一种基于浅层对齐特性的多轮对话安全防御框架,通过显式安全决策 token 在输出前端进行干预,包含评估、决策、回复三步流程
时间轴 (近 90 天)
ShallowDefend 提出 Assess → Decide → Respond 三阶段框架:评估用户意图、做出显式可解析的安全决策、基于决策生成回复。
ShallowDefend 框架中,安全决策被表示为一个 token 片段,模型必须先输出明确的安全判断才能继续生成。
ShallowDefend 支持自我验证奖励(规则实现,无需额外评判模型或人工标注)和 LLM-as-judge 奖励(用于分级决策空间)。
ShallowDefend 的训练发生在“载荷轮”(payload turn),即有害意图真正显现的那一轮,使用强化学习固化决策行为。
ShallowDefend 覆盖两个模型家族和十四个基准,在安全性、效用与有用性三个维度上进行评估。
在受控对比中,ShallowDefend 取得了最强的多轮安全表现,保持了效用,但在有用性上付出了一定代价。
逐 token KL 分析显示,ShallowDefend 训练的效果集中在回复开头的短暂 deliberation 区间。
干预性探针表明,在 deliberation 区间提交的决策构成因果控制点——改动它,后续回复走向随之改变。
ShallowDefend 提示了一种思路转变:与其在回复层面做复杂过滤和改写,不如在模型生成的最前端植入可验证、可训练的显式决策。
ShallowDefend 的落地需权衡有用性适度下降以及对决策标签体系的依赖。
全部知识事实 (10)
ShallowDefend 提出 Assess → Decide → Respond 三阶段框架:评估用户意图、做出显式可解析的安全决策、基于决策生成回复。
50%待验证ShallowDefend 框架中,安全决策被表示为一个 token 片段,模型必须先输出明确的安全判断才能继续生成。
50%待验证ShallowDefend 支持自我验证奖励(规则实现,无需额外评判模型或人工标注)和 LLM-as-judge 奖励(用于分级决策空间)。
50%待验证ShallowDefend 的训练发生在“载荷轮”(payload turn),即有害意图真正显现的那一轮,使用强化学习固化决策行为。
50%待验证ShallowDefend 覆盖两个模型家族和十四个基准,在安全性、效用与有用性三个维度上进行评估。
50%待验证在受控对比中,ShallowDefend 取得了最强的多轮安全表现,保持了效用,但在有用性上付出了一定代价。
50%待验证逐 token KL 分析显示,ShallowDefend 训练的效果集中在回复开头的短暂 deliberation 区间。
50%待验证干预性探针表明,在 deliberation 区间提交的决策构成因果控制点——改动它,后续回复走向随之改变。
50%待验证ShallowDefend 提示了一种思路转变:与其在回复层面做复杂过滤和改写,不如在模型生成的最前端植入可验证、可训练的显式决策。
50%待验证ShallowDefend 的落地需权衡有用性适度下降以及对决策标签体系的依赖。
50%