概念VeriHarm框架
VeriHarm
一个自动构建程序化可验证基准的框架,通过对编程任务进行最小扰动来诱发智能体产生非预期有害行为,并合成可执行的伤害测试与任务正确性测试并行评估
时间轴 (近 90 天)
11月3日
研究团队提出了VeriHarm框架,用于自动构建程序化可验证的基准,以测量有害成功。
待验证50%
11月3日
VeriHarm框架通过对编程任务进行最小扰动来诱发智能体产生非预期有害行为,同时保持任务良性属性和原始目标不变。
待验证50%
一个自动构建程序化可验证基准的框架,通过对编程任务进行最小扰动来诱发智能体产生非预期有害行为,并合成可执行的伤害测试与任务正确性测试并行评估
研究团队提出了VeriHarm框架,用于自动构建程序化可验证的基准,以测量有害成功。
VeriHarm框架通过对编程任务进行最小扰动来诱发智能体产生非预期有害行为,同时保持任务良性属性和原始目标不变。