[控场AI]
概念VeriHarm框架

VeriHarm

一个自动构建程序化可验证基准的框架,通过对编程任务进行最小扰动来诱发智能体产生非预期有害行为,并合成可执行的伤害测试与任务正确性测试并行评估

时间轴 (近 90 天)

11月3日

研究团队提出了VeriHarm框架,用于自动构建程序化可验证的基准,以测量有害成功。

待验证50%
11月3日

VeriHarm框架通过对编程任务进行最小扰动来诱发智能体产生非预期有害行为,同时保持任务良性属性和原始目标不变。

待验证50%

全部知识事实 (2)

来源文章