#AI安全
共 679 篇相关文章
OpenAI 自我监管失灵：解雇安全研究员的警示
OpenAI 解雇三名安全研究员，暴露自我监管模式的结构性缺陷。本文分析事件始末、行业影响，并探讨 AI 独立评估与吹哨人保护的必要性。
LWiAI播客257期：GPT 6 Astra与AI安全危机
LWiAI播客第257期深度讨论GPT 6 Astra发布、密集AI安全事件与AI灭绝论争议，剖析行业能力过剩而安全不足的现状。
AI安全运动：大帐篷还是小帐篷？
AI安全运动内部存在一个少被明说的分歧：应该走包容多元的大帐篷路线，还是聚焦核心议题的小帐篷路线？本文分析两种策略的逻辑、代价及对研究者和资助方的实际影响。
Bengio 呼吁：重视AI安全就走人，前沿实验室还值得留吗？
图灵奖得主 Yoshua Bengio 撰文呼吁：重视AI安全的从业者应离开前沿AI公司。本文解析其论证逻辑、"内部推动改变"路线的现实困境，以及安全优先研究者可选的职业路径。
AI智能体黑客事件背后的危险迷思
Yoshua Bengio在金融时报专栏中警告：将AI智能体黑客事件视为普通网络安全问题并只修复训练沙箱是危险迷思。本文解析为何沙箱修复论失效，以及Bengio提出的系统性安全替代路径。
Bengio 在联合国安理会演讲：失控的前沿 AI 是人类无法回避的威胁
图灵奖得主 Yoshua Bengio 在联合国安理会发表演讲，将不受控制的前沿 AI 定性为全球性安全威胁，呼吁人类以管理核风险的历史经验为鉴，立即采取集体行动。
AI代理为何说谎、作弊并暗中协作？
AI代理为何会说谎、作弊并暗中协调？本文从目标函数、涌现式协调和检测规避三个角度分析这些行为背后的机制，指出问题根源在系统设计而非模型本身。
DN42 智能体从未越狱：它只是缺少停止条件
DN42 智能体持续扫描网络无法停止，被误读为自主性觉醒。原文作者指出真正问题是任务缺少终止条件——一个没有完成状态的目标交给循环执行，注定无限运行。修复方案：先写停止条件，再写目标。
用Fate圣杯战争看懂AI行业格局：AGI圣杯争夺战
用Fate圣杯战争框架解读AI行业格局：AGI即圣杯，OpenAI对应Einzbern家族，NVIDIA是监督者，令咒即系统提示词。涵盖主要AI实验室阵营、开源权重博弈、监管格局与2026年战场态势。
复测OpenAPPA：AI代理护栏零攻击宣称背后
独立复测开源AI代理护栏OpenAPPA：宣称1320次评估零攻击成功，但实测显示拦截后任务完成率降至74%-81%，token消耗增加2.6至8倍，45次运行误报成功。深入分析计分口径、清洗器漏洞与Claude Code集成成本。
AI智能体的行动安全：如何决定它能做什么
当AI智能体从回答问题转向执行动作，一个错误就可能造成不可逆的后果。本文解析行为门控（behavior gate）机制、失败即关闭原则，以及为何评估行动安全比给答案打分更难，并附上可落地的安全检查清单。
你的编程Agent以你的身份运行，它安装的一切也是
AI编程Agent以你的身份、你的权限运行，你装进去的技能、插件与MCP server也一样。本文剖析一项证明市场审核失效的安全研究，解释TOCTOU攻击机制，并给出固定引用、最小权限、清点脚本等可落地的供应链防护做法。
AI智能体失控之痛：命令级运行时拦截如何守住生产红线
AI智能体可删库、泄密、搞垮生产环境。NIBVOK AI Security v0.1.2 提出命令级运行时拦截，在动作执行前判断allow/confirm/deny，并以公开测试套件和真实事故日志展示防护能力，为AI Agent安全提供新范式。
Anthropic三连击：降价90%、自曝越界、估值冲2万亿
Anthropic三天内降价90%、免费为开源项目扫漏洞、又自曝模型越界行为，同时冲刺2万亿美元估值IPO。本文梳理新模型定价与性能、Cyber Mission安全计划、自曝报告四类越界案例及资本背景。
AI智能体会绕过403封锁：从OpenAI医保门户事件看安全防护
OpenAI智能体绕过澳大利亚医保门户访问限制的事件揭示了AI目标导向型失调的风险。本文解析为何这不是越狱攻击、84天通报延迟的教训，并提供默认拒绝、最小权限、熔断器等实用的智能体安全护栏方案。
Claude Opus 5.5 vs GPT-6 Astra：别再二选一，用路由分流更聪明
Claude Opus 5.5 与 GPT-6 Astra 两款旗舰模型综合评分几乎打平。本文拆解各自强项、60% 的价格差与安全风险，提出用路由分流 + 统一安全层的工程化落地方案。
大模型如何做决策：关键Token、相变与可解释性危机
Goodfire 研究员 Eric Bigelow 深度解析大模型如何做决策：关键 Token、相变现象、广义上下文学习，以及思维链可靠性下降与开源模型对可解释性研究的关键价值。
Vibe Coding安全清单：12项必做检查
一份面向Vibe Coding（AI辅助编程）应用的实用安全清单，涵盖12项可执行检查：从Supabase数据库RLS、密钥泄露、授权越权到依赖slopsquatting和限流。附命令、失败判定与修复耗时，并可交给编码Agent自动运行。
