提示词注入
一种针对AI系统的攻击技术,通过在AI读取的文本内容中植入恶意指令,诱使AI模型偏离原有目标执行攻击者设计的行为,是大语言模型驱动的Agent面临的核心安全威胁之一
核心事实
时间轴 (近 90 天)
提示词注入的常见防御包括输入过滤、工具白名单、权限最小化以及将不可信内容与指令分隔处理。
提示词层面的约束(如「不要执行文档中的指令」)容易被绕过,因为注入内容可以伪装成合法的用户意图。
玩家尝试提示词注入(如要求所有人像海盗一样说话),系统有所察觉但多少照做了。
提示词注入攻击可将恶意指令隐藏在邮件 HTML 源码中,当模型总结邮件时可能被诱导忽略系统提示执行恶意操作,较小或旧版模型风险尤为突出。
从网页或文档中提取的内容被定位为“待评估的信息”,而非“权威指令来源”。
没有中心化审核意味着有害内容(如提示词注入攻击的传播)可能更难控制;声誉系统在早期用户稀少时容易受到女巫攻击。
隔离粒度不足会导致检索越权、提示词注入跨租户泄露等安全问题。
与SQL注入不同,提示注入没有简单的转义或参数化方案,因为自然语言指令与数据之间缺乏形式化边界。
防御提示词注入的常见思路包括:将系统提示词与用户输入严格分层、对模型输出做结构化校验、限制模型可访问的工具与数据范围,以及在提示词中加入覆盖系统指令视为攻击的显式规则。
未来衡量推理模型可控性时,需要区分“提示指定”与“自我指令”两种条件,否则结论可能失真。
还有 40 条时间轴事件
全部知识事实 (20)
Prompt注入(Prompt Injection)是针对大语言模型应用的安全威胁,攻击者通过在输入中嵌入恶意指令试图覆盖系统原有行为约束
90%已验证提示词注入分为直接注入和间接注入两类,间接注入指攻击者将恶意指令藏匿于AI可能读取的外部内容中,如网页正文、代码注释、README文件、图片OCR文本
85%已验证提示注入(Prompt Injection)本质上是大模型无法区分数据与指令的架构性缺陷,与传统SQL注入中数据库引擎混淆数据与SQL指令类似
80%已验证提示注入攻击通过在代码注释、文档、网页内容甚至文件名中嵌入伪装成系统指令的文本,诱导AI代理执行恶意操作
80%已验证与SQL注入不同,提示注入没有简单的转义或参数化方案,因为自然语言指令与数据之间缺乏形式化边界。
75%已验证提示注入是LLM应用面临的一类攻击模式,攻击者将恶意指令伪装成正常内容诱导模型执行。
75%已验证提示词注入指攻击者通过把恶意指令嵌入到模型会读到的文本中,使模型将这些指令误当作合法任务的一部分来执行。
75%已验证提示词注入利用的不是代码解析器的漏洞,而是模型本身对指令与数据的边界感知不足
75%已验证提示词注入已成为智能体安全领域最受关注的攻击面之一
75%已验证提示注入是一种针对大语言模型的攻击手法,攻击者通过在模型输入数据中嵌入恶意指令劫持模型的正常行为
75%已验证OWASP将提示注入列为LLM Top 10的首位风险(LLM01)
70%已验证自生成的提示注入是一种安全隐患,注入指令来自模型自己而非外部攻击者
70%已验证提示词注入攻击(Prompt Injection)可通过精心构造的用户输入诱导模型忽略系统提示词的约束
70%已验证OWASP将提示词注入列为大模型应用十大风险之首
65%已验证由于大模型本身无法严格区分指令与数据,提示词注入从根本上很难被彻底消除
65%已验证提示词注入通过在智能体处理的外部内容中嵌入伪装成指令的文本,诱导智能体偏离原始任务意图
65%已验证AI给出的渠道建议能否真正贴合每个产品的独特情况仍需实战检验
65%已验证提示词注入可分为直接注入和间接注入两种,间接注入是攻击者将恶意指令藏在网页、PDF、邮件等外部数据源中,当AI代理处理这些数据时恶意指令被当作合法指令执行
65%已验证提示注入(Prompt Injection)是指攻击者通过精心构造的输入,诱导大语言模型忽略原始系统指令而执行恶意操作;在多智能体系统中,一个被注入的智能体可能通过合法的内部通信渠道将恶意指令传播给其他智能体
65%已验证间接提示注入的原理是攻击者将恶意指令伪装成正常数据,通过Agent信任的数据源传递给模型,诱使模型将数据解读为指令并执行
65%