概念Deep Deterministic Policy Gradient
DDPG
深度确定性策略梯度算法，最早将深度神经网络引入确定性策略梯度方法，适用于连续动作空间的强化学习任务
时间轴 (近 90 天)
10月28日
PPO属于on-policy算法，只能使用当前策略采集的数据进行更新，旧策略产生的数据会被丢弃；DDPG、SAC等off-policy算法可以利用经验回放池中的历史数据，样本效率更高。
待验证50%
10月16日
在AUV场景中，PPO相比DDPG等off-policy算法对reward shaping的容忍度更高，适合水下环境中稀疏或分段奖励的设计。
待验证50%
9月24日
Roxie 内置了七种连续控制算法：DDPG、TD3、D4PG、TD4、SAC、MPO、PPO
待验证50%
9月24日
TD3 在 DDPG 基础上通过双 Q 网络和延迟策略更新缓解了过估计问题
待验证50%