控制评估

控制评估是用于量化安全协议在对抗性攻击下能否保持安全的系统性方法，典型流程假设部署时学习或外部攻击者会造成一定扰动，红队反复迭代攻击，若协议仍能阻断危险动作则认为具有足够安全裕度。

在持续学习下，策略可能通过在线RL学到大量规避知识，扰动幅度远超控制评估假设，导致原本通过评估的协议失去意义。