[控场AI]
概念Data Poisoning / RAG投毒

数据投毒

AI安全攻击手法,通过向训练数据或RAG检索来源注入恶意内容,影响AI模型的输出结果,分为训练数据投毒和RAG检索投毒两个层面

核心事实

时间轴 (近 90 天)

10月23日

在静态、经过审核的数据集中,投毒样本相对容易被发现和剔除;但在实时抓取的互联网数据流中,攻击者可以持续发布精心构造的内容,防御方几乎无法在数据进入模型的瞬间完成溯源与拦截。

待验证50%
10月19日

ECDSA签名失守后,攻击者可为恶意数据源伪造有效密码学凭证,注入后门并污染微调数据,使模型输出不可信。

待验证50%
10月19日

恶意行为者可以在预训练管线的不同阶段注入两个看似无害的独立语料,它们在用户主导的微调时传递组合成利用向量,无需注入明显的木马。

待验证50%
10月16日

数据投毒发生在训练或微调阶段,攻击者向数据集中混入恶意样本,使模型在特定触发条件下产生错误行为。

待验证50%
10月16日

AI能力正被引入电网负荷预测、水务异常检测、交通调度和医疗诊断等环节,提升了效率,同时也引入了新的攻击面——例如数据投毒可污染调度模型,提示注入可绕过运维助手的安全策略。

待验证50%
10月16日

提示注入、越狱、数据投毒这三类漏洞与传统的软件漏洞(如缓冲区溢出、SQL注入)在成因和可利用性上差异显著:它们往往没有稳定的补丁边界,同一提示在不同模型版本上表现不一,且难以用传统CVE编号体系完整描述。

待验证50%
9月10日

研究表明攻击者只需修改训练数据中低至0.01%的比例,就可能在模型中植入标准评估中不可检测的后门行为

待验证50%
8月23日

知识投毒攻击类似于对抗性机器学习中的数据投毒,但发生在推理层面而非训练层面,因此更加隐蔽且难以检测

待验证50%
8月6日

数据投毒攻击是将恶意样本混入训练数据集,使模型在部署后对特定输入产生错误行为

已验证65%

全部知识事实 (10)

已验证

AI系统引入了全新的安全风险维度,包括模型幻觉导致的错误决策、提示注入攻击(Prompt Injection)、训练数据投毒、以及AI代理权限滥用等

80%
已验证

数据投毒攻击是将恶意样本混入训练数据集,使模型在部署后对特定输入产生错误行为

65%
待验证

在静态、经过审核的数据集中,投毒样本相对容易被发现和剔除;但在实时抓取的互联网数据流中,攻击者可以持续发布精心构造的内容,防御方几乎无法在数据进入模型的瞬间完成溯源与拦截。

50%
待验证

恶意行为者可以在预训练管线的不同阶段注入两个看似无害的独立语料,它们在用户主导的微调时传递组合成利用向量,无需注入明显的木马。

50%
待验证

AI能力正被引入电网负荷预测、水务异常检测、交通调度和医疗诊断等环节,提升了效率,同时也引入了新的攻击面——例如数据投毒可污染调度模型,提示注入可绕过运维助手的安全策略。

50%
待验证

数据投毒发生在训练或微调阶段,攻击者向数据集中混入恶意样本,使模型在特定触发条件下产生错误行为。

50%
待验证

提示注入、越狱、数据投毒这三类漏洞与传统的软件漏洞(如缓冲区溢出、SQL注入)在成因和可利用性上差异显著:它们往往没有稳定的补丁边界,同一提示在不同模型版本上表现不一,且难以用传统CVE编号体系完整描述。

50%
待验证

研究表明攻击者只需修改训练数据中低至0.01%的比例,就可能在模型中植入标准评估中不可检测的后门行为

50%
待验证

知识投毒攻击类似于对抗性机器学习中的数据投毒,但发生在推理层面而非训练层面,因此更加隐蔽且难以检测

50%
待验证

ECDSA签名失守后,攻击者可为恶意数据源伪造有效密码学凭证,注入后门并污染微调数据,使模型输出不可信。

50%

来源文章