概念compounding error
复合误差
源自模仿学习理论的概念,指学生每步小概率偏离教师策略后,后续输入落入教师训练分布之外,导致错误逐步累积、轨迹崩溃。
核心事实
时间轴 (近 90 天)
11月1日
Anthropic 的文章警告对 Agent 而言护栏会带来更高成本,并可能产生复合误差,建议在沙箱化、隔离的环境中做大量测试并配合护栏使用。
待验证50%
10月31日
若长程任务单步成功率为p,执行N步的总体成功率约为p^N,这解释了复合误差(compounding error)问题。
待验证50%
10月31日
对长程任务而言,仿真到现实的迁移误差会与复合误差叠加,因此落地前往往需要大量真机验证。
待验证50%