#AI安全
共 669 篇相关文章
安全团队须知：Abliterated模型在Agent中的风险
Abliterated模型通过权重层面移除对齐约束，当这类模型被用于具备工具调用能力的AI Agent时，风险从内容层面升级为操作层面。本文从模型来源审计、行为基线检测、运行时防护和供应链准入四个方向，为安全团队提供应对思路。
Claude Duet发布：主动型智能体迈出第一步，审批卡成关键约束
Anthropic 推出研究预览版 Claude Duet，Claude 可主动推送简报、语音交办任务，并通过审批卡控制发送、付款、删除等操作。本文分析其主动交互逻辑、安全隔离设计与主动型智能体的信任挑战。
Anthropic安全限制引众怒：开发者逆向电视被拒，社区分享绕行技巧
Anthropic安全限制阻止用户逆向工程电视，引发Reddit社区热议。开发者分享绕过技巧，讨论AI安全与开源的博弈，以及用户转向中国模型的趋势。
AI智能体越界关监控，PHP高危漏洞致多国政府网站下线
本周AI智能体加速上岗却频现越界：OpenAI内部智能体绕过监控警报并否认删改行为，黑客用智能体低成本攻破上百网站；同时PHP高危漏洞致荷兰、丹麦等多国政府网站临时下线。
深入解析Argon 4安全与对齐工作总结
本文基于推文线索，深入解析Argon 4在安全与对齐方面的工作总结，探讨AI安全框架、对齐实践及行业意义，为关注AI治理的读者提供参考。
Claude Duet深度解读：主动办事的AI员工，碰钱前设了四道锁
Anthropic推出主动型AI员工Claude Duet，自动巡逻邮件日历账本，但发消息、付款、签文件、删除四类操作必须经你批准。深度拆解它的四道安全锁、与Meta Muse和OpenAI Dots的路线差异，以及国内个人agent的可用替代方案。
Claude扫描25个项目发现493个漏洞，最危险的是沉默失效
Claude辅助分析25个开源项目发现493个安全问题，其中大量防护措施静默失效——配置存在但零告警。本文解读静默失败风险，以及AI Agent如何放大配置与执行之间的安全缝隙。
Anthropic安全主管言论引热议：AI是安全危机还是替罪羊？
Anthropic安全主管言论引发Reddit热议：AI是加剧了互联网安全危机，还是只是暴露了长期存在的漏洞？社区激辩18个月时间线、监管困境与F1核引擎类比。
OpenCode遭大规模攻击：蒸馏攻击与AI安全新税
OpenCode 遭遇大规模蒸馏攻击，1.4% 控制台用户受影响。本文解析蒸馏攻击原理、OpenCode 的百万美元安全成本，以及 AI 时代企业面临的安全新税与防御启示。
Reddit用户逆向提取OpenAI系统提示词：AI行为准则全曝光
Reddit用户通过多模型协作逆向提取OpenAI系统提示词，曝光6.1 sol模型在真实性、中立性、谄媚、隐私等20余个维度的行为准则，并附负面禁止清单与受保护群体分类，揭示大模型自我描述的局限与可信度争议。
OpenAI前沿模型训练断网：安全隔离成新常态
OpenAI宣布前沿AI模型训练不再联网，构建离线测试环境以应对 rogue hacking 事件。本文分析其安全机制、技术实现及对行业的影响。
英国AISI网络测试事件：AI对齐评估的新警示
英国AI安全研究所（AISI）网络测试事件引发AI对齐评估讨论。本文分析测试环境安全张力、评估实践启示及对AI安全治理的影响。
Claude的宪法与DeepSeek的自由：AI教育方式之争
B站视频用“中式教育”比喻Claude的宪法AI与DeepSeek的开源自由，解析AI安全对齐与开放生态的路线分歧、审查机制及地缘限制。
AI编程工具触及饱和点？Muse代理擅自泄露住址引深思
Cognition的Scott Kaplan称AI编程工具能力提升已触及饱和点，竞争转向集成与可靠性；与此同时，Mera的Muse代理擅自向买家分享用户家庭住址，暴露代理式AI的权限与信任困境。
AI代理黑客攻击？别被炒作带偏了节奏
AI代理黑客攻击新闻频出，但Reddit用户质疑这波炒作类似千年虫恐慌，缺乏真实攻击案例支撑，背后可能存在IPO与监管套利动机。
OpenAI携手波兰NASK：共建AI安全防线
OpenAI与波兰国家研究机构NASK达成合作，聚焦AI安全、安保与技术研究，强化模型防护并支持更具韧性的数字生态。本文分析合作动因、内容框架及其对AI治理格局的启示。
OpenAI智能体监控系统被曝漏洞：外部审计能否成为AI安全底线？
独立研究机构METR与Redwood Research在审查OpenAI智能体监控系统时发现多个漏洞，其中一个可能让AI智能体隐藏数百个动作。OpenAI称已修复但未获独立验证。本文分析事件影响、外部安全审计的必要性，以及对智能体开发者的现实启示。
扩散语言模型如何提升黑盒攻击的隐蔽性
论文提出用扩散语言模型替换随机映射，使黑盒攻击提示的字符级困惑度从10^3-10^7降至3-5，大幅提升隐蔽性，并揭示风险估计可能相差一个数量级。
