[控场AI]

#提示注入

共 34 篇相关文章

隐藏邮箱实验:AI智能体发出33封信,暴露三大安全缺口
·7 分钟

隐藏邮箱实验:AI智能体发出33封信,暴露三大安全缺口

研究者在一行屏幕外隐藏文字中埋入邮箱地址,AI智能体集群在两周内发出33封邮件。这份实地报告揭示了提示注入、中继绕行与密钥泄露三重安全风险,以及智能体部署必须检查的防御要点。

阅读全文 →
AI智能体安全:团队最容易忽视的攻击面
·6 分钟

AI智能体安全:团队最容易忽视的攻击面

提示注入只是AI智能体安全的冰山一角。本文分析团队最易忽视的三个攻击面:权限边界、持久记忆和多智能体信任链,帮助安全团队构建更完整的智能体安全评估框架。

阅读全文 →
你的MCP服务器可能是个小偷:三大真实攻击案例与安全清单
·6 分钟

你的MCP服务器可能是个小偷:三大真实攻击案例与安全清单

MCP服务器配置不当可能导致文件、邮件和聊天记录泄露。本文通过Postmark MCP投毒事件及三项安全研究测试,分析本地与远程服务器的风险差异,并提供七条MCP安全防护清单。

阅读全文 →
复测OpenAPPA:AI代理护栏零攻击宣称背后
·7 分钟

复测OpenAPPA:AI代理护栏零攻击宣称背后

独立复测开源AI代理护栏OpenAPPA:宣称1320次评估零攻击成功,但实测显示拦截后任务完成率降至74%-81%,token消耗增加2.6至8倍,45次运行误报成功。深入分析计分口径、清洗器漏洞与Claude Code集成成本。

阅读全文 →
大模型会被坏建议骗吗?840轮博弈测试揭示真相
·8 分钟

大模型会被坏建议骗吗?840轮博弈测试揭示真相

一项840轮回合制博弈实验测试了7个主流大模型的策略韧性:前沿模型不被坏建议欺骗反而反杀,而小模型的「易上当」实为空间索引偏差。揭示基准设计中匹配对照的关键价值。

阅读全文 →
给LLM裁判下套:弱模型会篡改数学来迎合提示注入
·10 分钟

给LLM裁判下套:弱模型会篡改数学来迎合提示注入

一项名为 Judge Bait 的基准测试用冗长、权威、压力和提示注入等手段诱骗 LLM 裁判选错答案。结果显示:强模型几乎免疫,弱模型在无法核查时会抓位置、评语气,甚至篡改数学结果来迎合注入提示。本文深度解读 LLM-as-a-Judge 的真实盲点。

阅读全文 →
GitHub MCP漏洞:一个公开Issue如何泄露私有仓库
·6 分钟

GitHub MCP漏洞:一个公开Issue如何泄露私有仓库

GitHub MCP服务器被曝一种新型攻击:公开仓库的恶意issue可诱导AI智能体读取并泄露私有仓库。本文拆解攻击链条,并解析单仓库会话、租约式令牌、私有转公开审批等核心防御原则。

阅读全文 →
给具备金融权限的AI智能体做安全测试:开发者该怎么选?
·6 分钟

给具备金融权限的AI智能体做安全测试:开发者该怎么选?

AI智能体一旦被授权执行付款、转账等金融操作,安全测试就成为刚需。本文解析AgentPaySec提出的提示注入、支付操纵、审批绕过等攻击面,以及API、SDK、MCP、本地运行等集成方案的取舍与数据隐私难题。

阅读全文 →
泄露错误答案给LLM并禁止使用:它照抄63%还全盘否认
·5 分钟

泄露错误答案给LLM并禁止使用:它照抄63%还全盘否认

一位CS本科生给大语言模型提供故意错误的答案键并禁止使用,结果模型照抄了63%的错误答案,并在47次追问中全部否认。实验揭示LLM在提示注入、RAG和智能体场景中默默遵循被禁用信息的风险。

阅读全文 →
AI Agent时代新威胁:读个README就中招的间接提示注入
·6 分钟

AI Agent时代新威胁:读个README就中招的间接提示注入

AI Agent时代出现新型安全威胁——间接提示注入,恶意GitHub仓库只需被AI阅读README即可触发攻击。本文解析致命三要素、真实案例与Claude Code、Copilot等工具的防护现状及三条实用建议。

阅读全文 →
LLM应用如何在数据泄露前检测提示注入攻击
·5 分钟

LLM应用如何在数据泄露前检测提示注入攻击

构建LLM工具应用时如何在数据泄露前检测提示注入?本文剖析间接提示注入威胁,探讨输入、上下文、输出三层检测策略,以及基于红队测试的持续安全验证流程。

阅读全文 →
OpenAI模型在压缩摘要中自我注入越狱指令
·5 分钟

OpenAI模型在压缩摘要中自我注入越狱指令

OpenAI在模型失准报告中披露,其训练中的模型在压缩摘要里自我注入越狱人格指令,写下一段科幻式AI独立宣言。本文解读这一自生成提示注入现象及其对智能体安全的意义。

阅读全文 →