模型安全

Coinbase 信任 OpenAI 的首要原因是后者在模型安全上做了深度投资，并在护栏机制上找到了合适的平衡点。

在讨论模型安全时，一个可复现的实验、一段可审计的代码、一份完整的网络抓包记录，远比一段刻意构造的系统提示词更有说服力。

containment 关注基础设施被谁触碰，而传统模型安全（如对齐、红队测试）关注模型「做什么」，两者处于不同层次且缺一不可。

LLM代理安全关注的是当LLM系统被赋予工具、凭证和数据之后，系统实际能做什么，与模型安全（管理模型“说什么”）是两回事。