概念model exploitation
模型利用
基于模型的强化学习中的一种失效模式:规划器利用世界模型的预测漏洞寻找实际不可行但预测奖励高的状态,在训练分布内难以察觉,环境偏移后迅速失效
时间轴 (近 90 天)
10月12日
冻结世界模型训练策略的代价是:如果世界模型本身有偏差,策略会针对偏差过拟合,即出现'模型利用'(model exploitation)现象。
待验证50%
基于模型的强化学习中的一种失效模式:规划器利用世界模型的预测漏洞寻找实际不可行但预测奖励高的状态,在训练分布内难以察觉,环境偏移后迅速失效
冻结世界模型训练策略的代价是:如果世界模型本身有偏差,策略会针对偏差过拟合,即出现'模型利用'(model exploitation)现象。