概念Generalized Advantage Estimation / 广义优势估计

GAE

强化学习中用于估计优势函数的经典算法，通过对TD误差的指数加权平均在偏差与方差之间取得平衡，广泛应用于策略梯度类算法的实现中

时间轴 (近 90 天)

10月29日

训练配置使用 PPO + GAE 算法，32 个并行环境，rollout 长度 256，gamma 0.998，lambda 0.97，小型残差 CNN 作为 actor-critic。

待验证50%

10月16日

Waypoint-OPD可以看作把'多步差分'（类似GAE中降低单步估计方差的思想）引入跨模型蒸馏中，用中间检查点检验偏移方向的稳定性。

待验证50%

10月13日

当并行环境数从10扩展到1000且buffer_size不变时，分摊到每个环境的轨迹长度会被压缩到原来的1/100，导致轨迹严重截断，破坏GAE对回报的估计。

待验证50%

训练配置使用 PPO + GAE 算法，32 个并行环境，rollout 长度 256，gamma 0.998，lambda 0.97，小型残差 CNN 作为 actor-critic。

Waypoint-OPD可以看作把'多步差分'（类似GAE中降低单步估计方差的思想）引入跨模型蒸馏中，用中间检查点检验偏移方向的稳定性。

当并行环境数从10扩展到1000且buffer_size不变时，分摊到每个环境的轨迹长度会被压缩到原来的1/100，导致轨迹严重截断，破坏GAE对回报的估计。