基准
AgentDojo
面向LLM Agent提示注入攻击的安全基准测试集,包含真实注入攻击样本,用于评估检测器和防御方案的有效性
时间轴 (近 90 天)
10月19日
一项最新研究审计了11个开源权重工具调用代理(2-14B参数)在InjecAgent和AgentDojo基准上的33,000条轨迹。
待验证50%
10月19日
在AgentDojo的21.7%的episode中,代理保持了安全(未执行注入指令)但也没有完成用户请求的任务。
待验证50%
10月13日
AgentDojo包含629个真实注入攻击,每个攻击隐藏在普通工具输出中。
待验证50%
10月13日
在629个AgentDojo攻击和97个良性工具输出的测试中,jailbreak-detector-large的捕获率为51%,误报率为2%。
待验证50%
10月13日
Prompt Guard 2对人工编写的注入指令评分为0.999,但对真实AgentDojo攻击的评分在0.004-0.140之间,全部低于默认阈值0.5。
待验证50%
全部知识事实 (5)
待验证
一项最新研究审计了11个开源权重工具调用代理(2-14B参数)在InjecAgent和AgentDojo基准上的33,000条轨迹。
50%待验证在AgentDojo的21.7%的episode中,代理保持了安全(未执行注入指令)但也没有完成用户请求的任务。
50%待验证AgentDojo包含629个真实注入攻击,每个攻击隐藏在普通工具输出中。
50%待验证在629个AgentDojo攻击和97个良性工具输出的测试中,jailbreak-detector-large的捕获率为51%,误报率为2%。
50%待验证Prompt Guard 2对人工编写的注入指令评分为0.999,但对真实AgentDojo攻击的评分在0.004-0.140之间,全部低于默认阈值0.5。
50%