提示注入
一种针对大模型的攻击手法,攻击者将恶意指令嵌入模型所读取的外部内容(如网页、文档、工具返回值)中,劫持模型的行为逻辑,无需直接与模型交互即可实现攻击
核心事实
时间轴 (近 90 天)
Hacker News的讨论与JetStream Security的原始分析在关键事实上形成共识:涉事文书确实包含提示注入内容,法院确实作出了制裁,且此案具有判例意义。
巴西法院的制裁开启了一个先例:技术操纵行为即使披着“文本”的外衣,也可能被纳入既有法律框架追责。
这可能是全球范围内司法系统首次对“提示注入”行为作出正式惩戒。
巴西一家法院对一起案件中提交诉讼文书的律师实施了制裁,原因是文书中嵌入了针对AI系统的提示注入指令。
一部分评论者认为法院反应过度,提示注入更像是无害的“技术恶作剧”,真正的风险应由AI工具供应商承担,而非惩罚提交文书的律师。
目前业界尚无彻底防御提示注入的方案,主流缓解思路是权限最小化、外部内容与指令分流、执行前人工确认。
Sentinel 对抗提示注入的思路是把“理解内容”和“执行指令”拆开,让外部文本无法直接触发动作。
提示注入(Prompt Injection)指用户输入中夹带指令试图覆盖系统原有设定,防御不能仅靠提示词声明,而应在架构上隔离(输入过滤、工具权限校验、输出检查)并遵循最小权限原则。
路由层若只做意图分派而不做输入净化,注入内容就可能直达工作器,因此权限闸门通常需要配合内容过滤与执行前确认
常驻 Agent 因为长期读取外部输入且具备执行权限,面临的提示注入面比纯对话助手大得多
还有 40 条时间轴事件
全部知识事实 (20)
Prompt注入(Prompt Injection)是针对大语言模型应用的安全威胁,攻击者通过在输入中嵌入恶意指令试图覆盖系统原有行为约束
90%已验证提示注入攻击(Prompt Injection)是本地AI Agent面临的严峻威胁,Agent在处理用户文件时可能被恶意构造的内容诱导执行危险操作
90%已验证OWASP已将提示注入列为大语言模型应用的头号安全风险
90%已验证AI代理的失败往往是语义偏差而非明确错误码,这种「成功的失败」要求编排层具备语义级别的错误识别能力
85%已验证提示词注入分为直接注入和间接注入两类,间接注入指攻击者将恶意指令藏匿于AI可能读取的外部内容中,如网页正文、代码注释、README文件、图片OCR文本
85%已验证Prompt注入(Prompt Injection)是一种针对AI应用的安全攻击方式,类似于传统Web开发中的SQL注入
85%已验证提示词工程指通过精心设计输入文本来引导AI模型输出更高质量、更符合预期的结果
80%已验证提示注入(Prompt Injection)本质上是大模型无法区分数据与指令的架构性缺陷,与传统SQL注入中数据库引擎混淆数据与SQL指令类似
80%已验证基准数据污染是指测试集公开后其题目可能出现在后续模型的预训练语料中,导致得分反映记忆而非真实推理能力
80%已验证间接提示注入攻击通过在正常业务数据中植入隐藏指令,诱导Agent执行未经授权的操作,属于语义层面而非代码层面的安全风险
80%已验证提示注入(Prompt Injection)攻击者可通过构造特殊输入诱导Agent执行非预期操作
80%已验证OWASP已将Prompt注入列为LLM应用十大安全风险之首
80%已验证AI安全强调抵御外部威胁与防止系统被滥用,包括提示注入防御、越狱防护、数据泄露防范和滥用检测
80%已验证AI系统引入了全新的安全风险维度,包括模型幻觉导致的错误决策、提示注入攻击(Prompt Injection)、训练数据投毒、以及AI代理权限滥用等
80%已验证与SQL注入不同,提示注入没有简单的转义或参数化方案,因为自然语言指令与数据之间缺乏形式化边界。
75%已验证提示注入是LLM应用面临的一类攻击模式,攻击者将恶意指令伪装成正常内容诱导模型执行。
75%已验证提示注入利用的是模型对自然语言指令的服从倾向,很难通过简单的输入过滤来根治。
75%已验证提示词注入指攻击者通过把恶意指令嵌入到模型会读到的文本中,使模型将这些指令误当作合法任务的一部分来执行。
75%已验证大模型在处理上下文时缺乏天然的'指令来源可信度'区分机制,难以自动甄别哪些文字是可执行的授权指令,哪些只是应被处理的数据内容
75%已验证如果底层数据混乱,AI模型会更快、更大规模地放大这些错误,即「垃圾进,垃圾出」在AI时代被进一步放大
75%