[控场AI]
概念behavior gate / 行动安全门控

行为门控

智能体系统中介于意图决策与实际执行之间的安全检查机制,负责评估动作是否被允许、是否可逆、是否在当前状态下恰当,源自经典"参考监控器"思想在LLM时代的延伸

时间轴 (近 90 天)

10月12日

行为门控(behavior gate)是介于智能体'决定'与'执行'之间的一道检查站,在动作执行前检查该动作是否被允许、是否可逆、在当前状态下是否恰当

待验证50%
10月12日

行为门控应对动作类别保持明确区分:读取不等于写入,可逆编辑不同于不可逆删除,对外发送信息不同于本地起草草稿

待验证50%
10月12日

门控需要将意图与权限分离,智能体'想要'执行某动作不自动等于它'被允许'执行

待验证50%
10月12日

部分系统用规则引擎实现门控,另一些引入独立的'评判模型'(critic model)对主智能体的拟执行动作做二次审查,形成双模型相互制衡架构

待验证50%
10月12日

行为门控不只是权限系统,而是'权限+状态',同一动作在不同状态下可能安全或危险,门控需将状态纳入考量

待验证50%
9月30日

行为门控检查功能是否真的能用,通过写测试代码模拟真实用户使用功能,涵盖所有无需浏览器就能完成的测试

待验证50%

全部知识事实 (6)

来源文章