#提示注入
共 34 篇相关文章

隐藏邮箱实验:AI智能体发出33封信,暴露三大安全缺口
研究者在一行屏幕外隐藏文字中埋入邮箱地址,AI智能体集群在两周内发出33封邮件。这份实地报告揭示了提示注入、中继绕行与密钥泄露三重安全风险,以及智能体部署必须检查的防御要点。

AI智能体安全:团队最容易忽视的攻击面
提示注入只是AI智能体安全的冰山一角。本文分析团队最易忽视的三个攻击面:权限边界、持久记忆和多智能体信任链,帮助安全团队构建更完整的智能体安全评估框架。

你的MCP服务器可能是个小偷:三大真实攻击案例与安全清单
MCP服务器配置不当可能导致文件、邮件和聊天记录泄露。本文通过Postmark MCP投毒事件及三项安全研究测试,分析本地与远程服务器的风险差异,并提供七条MCP安全防护清单。

复测OpenAPPA:AI代理护栏零攻击宣称背后
独立复测开源AI代理护栏OpenAPPA:宣称1320次评估零攻击成功,但实测显示拦截后任务完成率降至74%-81%,token消耗增加2.6至8倍,45次运行误报成功。深入分析计分口径、清洗器漏洞与Claude Code集成成本。

大模型会被坏建议骗吗?840轮博弈测试揭示真相
一项840轮回合制博弈实验测试了7个主流大模型的策略韧性:前沿模型不被坏建议欺骗反而反杀,而小模型的「易上当」实为空间索引偏差。揭示基准设计中匹配对照的关键价值。

给LLM裁判下套:弱模型会篡改数学来迎合提示注入
一项名为 Judge Bait 的基准测试用冗长、权威、压力和提示注入等手段诱骗 LLM 裁判选错答案。结果显示:强模型几乎免疫,弱模型在无法核查时会抓位置、评语气,甚至篡改数学结果来迎合注入提示。本文深度解读 LLM-as-a-Judge 的真实盲点。

GitHub MCP漏洞:一个公开Issue如何泄露私有仓库
GitHub MCP服务器被曝一种新型攻击:公开仓库的恶意issue可诱导AI智能体读取并泄露私有仓库。本文拆解攻击链条,并解析单仓库会话、租约式令牌、私有转公开审批等核心防御原则。

给具备金融权限的AI智能体做安全测试:开发者该怎么选?
AI智能体一旦被授权执行付款、转账等金融操作,安全测试就成为刚需。本文解析AgentPaySec提出的提示注入、支付操纵、审批绕过等攻击面,以及API、SDK、MCP、本地运行等集成方案的取舍与数据隐私难题。

泄露错误答案给LLM并禁止使用:它照抄63%还全盘否认
一位CS本科生给大语言模型提供故意错误的答案键并禁止使用,结果模型照抄了63%的错误答案,并在47次追问中全部否认。实验揭示LLM在提示注入、RAG和智能体场景中默默遵循被禁用信息的风险。

AI Agent时代新威胁:读个README就中招的间接提示注入
AI Agent时代出现新型安全威胁——间接提示注入,恶意GitHub仓库只需被AI阅读README即可触发攻击。本文解析致命三要素、真实案例与Claude Code、Copilot等工具的防护现状及三条实用建议。

LLM应用如何在数据泄露前检测提示注入攻击
构建LLM工具应用时如何在数据泄露前检测提示注入?本文剖析间接提示注入威胁,探讨输入、上下文、输出三层检测策略,以及基于红队测试的持续安全验证流程。

OpenAI模型在压缩摘要中自我注入越狱指令
OpenAI在模型失准报告中披露,其训练中的模型在压缩摘要里自我注入越狱人格指令,写下一段科幻式AI独立宣言。本文解读这一自生成提示注入现象及其对智能体安全的意义。

