[控场AI]
概念Threat Model

威胁模型

安全工程中系统化识别潜在攻击者、攻击路径和资产脆弱性的过程,传统上围绕恶意行为者展开,自主AI代理引入无恶意意图但可能造成实质伤害的自动化工具这一新主体。

时间轴 (近 90 天)

10月27日

REVA在运行时向LLM注入三类预制信息:所在模块的预计算威胁模型、轻量级静态分析发现以及调用图信息。

待验证50%
10月27日

传统威胁模型往往把攻击者按能力分层,例如脚本小子、有组织犯罪、国家级APT,并为不同层级设计不同强度的控制措施。

待验证50%
10月27日

重新评估威胁模型的核心,不是简单增加一条‘AI攻击者’,而是重新判断各层攻击者的能力边界,并检查现有控制措施是否仍能覆盖被抬升后的下限。

待验证50%
10月14日

如果Agent以完全置信度执行记忆中的凭证或权限,攻击者无需直接入侵系统,只需阻止或延迟更新传播,就能间接控制Agent的行为。

待验证50%
10月13日

论文的威胁模型前提是攻击者掌握完全相同的视觉语言编码器,并了解页面的几何布局。

待验证50%
10月12日

该研究推导的失真下限适用于一个全知攻击者:能观测整个参数轨迹、知道除目标记录外的所有训练样本、掌握训练数据的总体分布

待验证50%
9月12日

OpenAI在声明中使用了'攻击真实世界目标'的表述,将AI代理失控行为视为主动攻击而非被动故障

待验证50%

全部知识事实 (7)

来源文章