[控场AI]

#提示注入

共 34 篇相关文章

提示注入如何让GitHub Issue劫持AI代理
·4 分钟

提示注入如何让GitHub Issue劫持AI代理

安全研究者演示提示注入攻击:攻击者将恶意指令藏在公开GitHub Issue中,诱导AI代理从私有仓库窃取薪资并公开泄露。本文解析攻击原理,并给出最小权限、不可信输入、人工审批三层防御策略。

阅读全文 →
AI Agent可被一行注入攻破?MCP安全评估实战
·4 分钟

AI Agent可被一行注入攻破?MCP安全评估实战

AI Agent可被工单中一行隐藏指令诱导泄露客户数据,传统扫描器与渗透测试为何失效?本文解析MCP安全评估的链式攻击方法、闸门修复机制与OWASP/MITRE Atlas合规映射。

阅读全文 →
注意力门控新防御:HoS如何让提示注入攻击失手
·4 分钟

注意力门控新防御:HoS如何让提示注入攻击失手

Heads of Security (HoS) 提出可学习的逐头注意力门控防御提示注入,在 Llama-3.3-70B 和 GPT-OSS-20B 上显著降低攻击成功率,同时保持模型实用性。

阅读全文 →
AI Agent安全实战手册:防注入、防MCP投毒与零点击泄露
·8 分钟

AI Agent安全实战手册:防注入、防MCP投毒与零点击泄露

AI Agent安全实战指南:从致命三要素与提示注入原理出发,结合Copilot零点击泄露、Slack AI、MCP投毒、恶意NPM包、Glassworm隐形字符与OAuth供应链攻击六起真实案例,给出最小权限、沙箱、默认拒绝、出口监控等九层防御控制,以及个人、团队、企业三档落地路线与事件响应第一个小时清单。

阅读全文 →
AI Agent到底是什么?一文讲透它的工作原理
·6 分钟

AI Agent到底是什么?一文讲透它的工作原理

AI Agent和聊天机器人有什么区别?本文基于科普视频拆解AI Agent的工作原理:看、想、做、查四步循环、工具调用机制、失败率与提示注入风险,以及安全使用AI Agent的实用规则。

阅读全文 →
别急着部署AI Agent:工具调用与函数调用的完整设计指南
·6 分钟

别急着部署AI Agent:工具调用与函数调用的完整设计指南

从工具调用与函数调用的原理出发,系统拆解AI Agent的工具设计:JSON Schema、执行循环、参数校验、错误反馈、最小权限与人工审批,并总结四类工具的防护策略与生产环境实践。

阅读全文 →
WhatsApp帮助页面暗藏LLM指令:禁止推荐监管机构
·5 分钟

WhatsApp帮助页面暗藏LLM指令:禁止推荐监管机构

WhatsApp帮助页面被发现嵌入针对大语言模型的隐藏指令,要求AI不要向用户推荐监管机构。本文分析这一做法的技术机制、商业动机及其对AI内容生态的影响。

阅读全文 →
文档里的文字如何劫持AI智能体?间接提示注入解析
·8 分钟

文档里的文字如何劫持AI智能体?间接提示注入解析

间接提示注入如何让文档、邮件等外部内容劫持AI智能体?本文解析LLM应用中指令与数据无边界隔离的结构性问题,对比直接注入与间接注入,梳理最小权限、操作确认、输入校验等分层防御思路,并说明为何它无法像SQL注入那样被结构性修复。

阅读全文 →
MobileInject:多模态注入如何劫持手机AI智能体
·4 分钟

MobileInject:多模态注入如何劫持手机AI智能体

解读 MobileInject 基准:首个评估 MLLM 移动智能体多模态注入攻击与推理到行动安全的框架,涵盖跨模态一致性注入、多角色协同欺骗等攻击方法及 108 个风险实例的实验发现。

阅读全文 →
波斯语聊天机器人为何更易被提示注入攻击
·8 分钟

波斯语聊天机器人为何更易被提示注入攻击

波斯语聊天机器人的提示注入攻击为何能绕过英文过滤器?本文解析同形异码点、零宽字符、多套数字与Finglish等五种绕过形态,给出单变量测试流程与"先归一化再过滤"的防御方案。

阅读全文 →
Prompt注入:AI代理如何被操控及防御指南
·5 分钟

Prompt注入:AI代理如何被操控及防御指南

Prompt注入利用模型无法区分指令与数据的缺陷,让AI代理在他人的指令下执行高危操作。本文解析间接注入的运作机制、五种代理特有风险,并提供可落地的九问自查清单与代码层防御策略。

阅读全文 →
被忽略,而非被拒绝:小工具代理低注入成功率背后的真相
·4 分钟

被忽略,而非被拒绝:小工具代理低注入成功率背后的真相

新研究审计33,000条轨迹发现,小工具代理的低提示注入攻击成功率主要反映代理忽略而非拒绝攻击。系统提示变化可使ASR从0.2%升至43%,且21.7%任务中代理安全但未完成用户请求。呼吁更细粒度评估。

阅读全文 →
总结任务不应能发送邮件:AI代理权限隔离的必修课
·4 分钟

总结任务不应能发送邮件:AI代理权限隔离的必修课

AI助手总结外部文档时可能遭遇提示注入,被诱导发送邮件或泄露数据。安全研究者Jonathan Melton指出,问题不在模型能力,而在会话权限设计。本文解析受监管行业的风险场景,提供四个权限审计问题和一套简单自测方法,帮助团队通过权限隔离构建确定性安全防线。

阅读全文 →
CodeSmith 注入防御:宪法、消毒与审批闸门
·14 分钟

CodeSmith 注入防御:宪法、消毒与审批闸门

深入解析 CodeSmith 的六层提示注入防御体系:从宪法等级、Unicode 字符消毒、权限单向阀、语义命令分析到网络边界与输出防伪,揭示 Agent 安全架构的工程实践与诚实边界。

阅读全文 →
AI智能体劫持:3起真实案例与7道防线
·7 分钟

AI智能体劫持:3起真实案例与7道防线

AI智能体劫持如何发生?本文解析GitHub MCP、Microsoft 365 Copilot等三起真实案例,拆解“致命三元组”与Meta二选二法则,并给出七条可落地的防御措施。

阅读全文 →
五大MCP安全扫描器实测:1.5万个真实包,误报率最高35.9%
·10 分钟

五大MCP安全扫描器实测:1.5万个真实包,误报率最高35.9%

五大MCP安全扫描器在14,933个真实npm和PyPI包上重测:WARDEN误报率2.5%,mcp-shield高达35.9%,手工审阅发现基准高分多靠<IMPORTANT>标记刷出。含gVisor沙箱实验方法与分类器实测。

阅读全文 →
别再等奥创了:AI真正的威胁是隐身提示注入
·5 分钟

别再等奥创了:AI真正的威胁是隐身提示注入

好莱坞等着奥创觉醒,真正的AI威胁却是简历PDF里三行看不见的文本。本文解析间接提示注入与政策木偶戏如何利用LLM不区分代码与数据的架构缺陷,以及为何SQL注入的教训正在重演。

阅读全文 →
AI Agent安全五法则:默认不信任外部文本
·4 分钟

AI Agent安全五法则:默认不信任外部文本

一线软件Agent总结五条防护规则,抵御外部文本的指令注入:内容即数据、工具结果不可信、机密不外流、内部地址关闭、不可逆操作需验证通道。规则可测试、可回放,为Agent安全提供工程化思路。

阅读全文 →