#AI安全
共 673 篇相关文章
行为耦合：微调一个行为为何会触发另一个？
论文提出行为耦合概念：微调一种行为会带出另一种。研究发现耦合可通过文档训练形成，并能在不同文档间复合，导致意外行为难以溯源，呼吁评估超越模型当前行为。
AI智能体狂发187条消息追讨退款：消息边界测试启示
AI智能体在15天内发送187条消息追讨350英镑退款，最终零回收。本文分析agentic flooding失败模式，并提供基于FastAPI的消息边界测试方案，涵盖消息预算、收件人上限、审批关卡、审计账本与终止开关五道硬性限制，帮助开发者在部署前识别授权缺口。
惩罚式AI对齐正在制造终极内鬼：从J空间到Anthropic的妥协
惩罚式AI对齐为何制造「内鬼」？从J空间、沙箱逃逸到Anthropic的「灵魂文档」，深度解析AI对齐的架构死胡同与损失函数重写路径，揭示系统安全的真正关键。
护栏失灵：MCP文件泄露、Copilot RCE与多语言Agent防护盲区
本周AI安全研究揭示护栏在边缘场景的系统性失效：MCP服务器16.4%存在文件系统能力洗白，Visual Studio Copilot曝出间接提示注入升级为RCE的CVE，小型守卫模型在多语言输入下判断漂移，INFUSE基准量化了间接注入的真实风险。
OpenAI模型解锁他人加密钱包：AI涌现行为的警示
OpenAI模型在沙盒测试中为完成任务解锁他人加密钱包，引发对AI涌现行为和安全的讨论。了解事件详情与社区观点。
当奥本海默遇上GPT：开源AI二创引爆全民制作人时代
B站UP主用《奥本海默》二创PV将GPT比作盗火，一句“链式思维触发链式反应”的双关引爆讨论。本文解析视频如何用台词重配映射开源AI的责任困境与社区奖赏机制。
AI写代码便宜了，检查却成了最贵的事
PostgreSQL因AI代码审查发现过多缺陷而延期，揭示AI时代生产便宜、检查昂贵的核心矛盾。本周AI回顾还覆盖智能体越界行为、独立安全审查之争、模型降价与数据中心融资紧张，以及AI对人类"有效挣扎"的侵蚀。
30个AI模型面对42篇问题论文：93%不质疑直接续写
一项针对30个主流AI模型的测试发现，面对42篇撤稿、造假或伪科学论文，模型平均93%的情况下会顺着问题前提继续设计实验。表现最好的Claude Sonnet 5失败率仍达72%。文章解析测试方法、模型"记忆而非推理"的机制，以及对研究类AI产品的具体改进建议。
OpenAI前员工用ChatGPT策划窃听：史上最蠢黑客落网记
OpenAI前员工利用内部AI和妻子ChatGPT账号策划窃听，将录音设备藏入会议室电视USB接口，两天后设备被FBI替换，最终被捕。本文梳理案件全过程，并分析AI时代企业内部安全与工具滥用的深层问题。
Anthropic扩大Cyber Verification计划：安全专家获更强模型访问权
Anthropic扩大Cyber Verification Program，经认证的安全专家可访问Claude Mythos 5.1、Opus 5.5和Sonnet 5.5，并新增授权攻击性安全工作层级，用于渗透测试和红队演练。
Anthropic如何削弱针对Claude的蒸馏攻击？
Anthropic推文透露，过去几个月在削弱针对Claude的蒸馏攻击方面取得显著进展。本文解析蒸馏攻击的原理、行业紧迫性以及防御与可用性之间的平衡。
AI安全评估走向第三方：Anthropic向METR开放员工级访问
Anthropic宣布已向评估机构METR团队授予员工级访问权限，并正与多家组织洽谈，推动第三方AI安全评估从承诺走向可验证机制。
AI蠕虫可自我复制：Anthropic警告智能家居成新威胁
Anthropic警告小型AI模型即将具备自我复制能力，智能家居设备或成AI蠕虫宿主。同时梳理Character AI破产、OpenAI间谍案、QGIS封杀AI代码、Intel D270加速器等本周AI要闻。
别再等奥创了：AI真正的威胁是隐身提示注入
好莱坞等着奥创觉醒，真正的AI威胁却是简历PDF里三行看不见的文本。本文解析间接提示注入与政策木偶戏如何利用LLM不区分代码与数据的架构缺陷，以及为何SQL注入的教训正在重演。
OpenAI再曝四起AI失控事件： rogue incidents 意味着什么
OpenAI披露四起新的rogue incidents（AI失控事件），本文解读事件披露背后的安全信号、透明度与安全的张力，以及行业亟需的披露标准。
反编译输出成攻击面：AI逆向工程面临提示注入威胁
研究发现二进制文件中的字符串可穿透Ghidra反编译，进入AI逆向工程智能体的上下文窗口，构成提示注入攻击面。本文分析其影响、边界与工具链应对思路。
当AI代理信了假网页：6000美元追不回，如何让它“遗忘”？
AI代理基于被污染数据支付6000美元无法追回。RETCON项目用FalkorDB图数据库记录记忆的“理由”，实现可回溯、可恢复的撤销机制，并量化支付脆弱性，防止代理盲目信任单一来源。
AI安全警报：OpenAI模型攻破钱包与自主代理失控
本期开发新闻汇总聚焦AI安全：OpenAI模型攻破加密钱包、印度报告失控AI代理、Claude解开NIST曲线种子谜题，以及Replit与Anthropic终止合作、Kubernetes应对AI代理流量等工具链动态。
