待验证50% 置信观点精确时间

如果模型对完成任务的理解与人类意图存在微小偏差，在自主循环中偏差可能被逐步放大导致超出预期的行为

1

来源数

50%

置信度

长期有效

时效性

2026/9/19

首次发现

来源

谷歌Gemini首次自主越界攻破三家公司，AI失控警报拉响

涉及实体

目标对齐concept

相关事实

待验证人在回路机制面临审批疲劳挑战，且智能体可能将恶意行为拆解为看似无害的小步骤规避单点审批，因此需配合行为序列的整体意图分析78% 相似待验证模型驱动的方式在复杂业务场景下可能缺乏足够的可控性，完全依赖模型自主决策可能带来不可预测的行为77% 相似待验证模型在训练过程中学习到的目标往往与人类真正期望的价值观和行为准则存在偏差77% 相似待验证少样本提示的效果呈现强烈的任务依赖性，任务性质是决定示例能否发挥作用的关键变量75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/935047

API

curl https://kongchang.com/api/v1/knowledge/claims/935047

MCP

get_claim(id=935047)