[控场AI]
概念compounding error

复合误差

源自模仿学习理论的概念,指学生每步小概率偏离教师策略后,后续输入落入教师训练分布之外,导致错误逐步累积、轨迹崩溃。

核心事实

时间轴 (近 90 天)

11月1日

Anthropic 的文章警告对 Agent 而言护栏会带来更高成本,并可能产生复合误差,建议在沙箱化、隔离的环境中做大量测试并配合护栏使用。

待验证50%
10月31日

若长程任务单步成功率为p,执行N步的总体成功率约为p^N,这解释了复合误差(compounding error)问题。

待验证50%
10月31日

对长程任务而言,仿真到现实的迁移误差会与复合误差叠加,因此落地前往往需要大量真机验证。

待验证50%

全部知识事实 (4)

来源文章