[控场AI]
基准

AgentDojo

面向LLM Agent提示注入攻击的安全基准测试集,包含真实注入攻击样本,用于评估检测器和防御方案的有效性

时间轴 (近 90 天)

10月19日

一项最新研究审计了11个开源权重工具调用代理(2-14B参数)在InjecAgent和AgentDojo基准上的33,000条轨迹。

待验证50%
10月19日

在AgentDojo的21.7%的episode中,代理保持了安全(未执行注入指令)但也没有完成用户请求的任务。

待验证50%
10月13日

AgentDojo包含629个真实注入攻击,每个攻击隐藏在普通工具输出中。

待验证50%
10月13日

在629个AgentDojo攻击和97个良性工具输出的测试中,jailbreak-detector-large的捕获率为51%,误报率为2%。

待验证50%
10月13日

Prompt Guard 2对人工编写的注入指令评分为0.999,但对真实AgentDojo攻击的评分在0.004-0.140之间,全部低于默认阈值0.5。

待验证50%

全部知识事实 (5)

来源文章