待验证60% 置信观点精确时间
单次实验中的涌现行为距离可靠的安全机制还有相当距离，是一个初步观察而非成熟解决方案
2
来源数
60%
置信度
长期有效
时效性
2026/9/14
首次发现
来源
涉及实体
相关事实
待验证该项目的观察发现：注意率和安全行动率之间的差异远大于预期——一个模型可以在推理轨迹中标记风险，但两步之后仍发出危险的工具调用，因为脚手架中没有任何机制在检测到风险时强制硬停止。这是系统设计缺口，不只是模型能力缺口。77% 相似待验证在实验中，异常分数（当前潜在状态与预期潜在状态之间的距离）可作为维护干预的触发器，当超过阈值持续几个时间步时战略智能体会请求维护操作。77% 相似待验证一次短时实验最多只能观察到即时行为倾向的变化，而非证明长期不可逆的能力退化75% 相似待验证对抗测试的效果高度依赖场景库的完备性，未被预见的攻击路径依然是盲区，单次通过测试不代表Agent在生产中永远安全75% 相似待验证递归自我改进目前更多停留在概念与早期实验阶段，距离可规模化落地仍有距离73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/920749API
curl https://kongchang.com/api/v1/knowledge/claims/920749MCP
get_claim(id=920749)