TRPO
一种基于信赖域方法的策略梯度优化算法，通过约束优化保证策略更新的安全性，但需要计算昂贵的二阶导数，计算复杂度高于PPO
核心事实
时间轴 (近 90 天)
PPO相比DQN等值函数方法直接优化策略，更适合连续或高维动作空间；相比TRPO实现更简单、计算更轻量。
PPO相比TRPO实现更简单、计算开销更低；相比普通策略梯度样本复用率更高、训练更稳定。
相比TRPO算法，PPO实现更简单、超参数更少，成为机器人控制与游戏AI领域的默认基线算法之一
TRPO通过求解带约束的优化问题保证每次策略更新幅度，但其二阶优化计算代价较高
相比早期的TRPO算法，PPO实现更简单、调参更友好，已成为连续控制任务中的事实标准
PPO是从TRPO（Trust Region Policy Optimization，置信域策略优化）演化而来，用截断目标函数近似实现TRPO的效果并降低计算成本
相比TRPO，PPO无需计算昂贵的二阶导数或约束优化，实现更简洁、计算效率更高
PPO相比其前身TRPO在保持相近性能的同时大幅简化了实现复杂度
相比更早的TRPO算法，PPO实现更简单且性能相当
全部知识事实 (11)
PPO通过引入裁剪目标函数将新旧策略概率比值限制在[1-ε, 1+ε]区间，替代TRPO的KL散度约束，简化了实现复杂度
65%已验证PPO（近端策略优化）通过限制每次参数更新的幅度，在学习效率与训练稳定性之间取得平衡
65%待验证PPO相比DQN等值函数方法直接优化策略，更适合连续或高维动作空间；相比TRPO实现更简单、计算更轻量。
50%待验证PPO相比TRPO实现更简单、计算开销更低；相比普通策略梯度样本复用率更高、训练更稳定。
50%待验证相比TRPO算法，PPO实现更简单、超参数更少，成为机器人控制与游戏AI领域的默认基线算法之一
50%待验证TRPO通过求解带约束的优化问题保证每次策略更新幅度，但其二阶优化计算代价较高
50%待验证相比早期的TRPO算法，PPO实现更简单、调参更友好，已成为连续控制任务中的事实标准
50%待验证PPO是从TRPO（Trust Region Policy Optimization，置信域策略优化）演化而来，用截断目标函数近似实现TRPO的效果并降低计算成本
50%待验证相比TRPO，PPO无需计算昂贵的二阶导数或约束优化，实现更简洁、计算效率更高
50%待验证PPO相比其前身TRPO在保持相近性能的同时大幅简化了实现复杂度
50%待验证相比更早的TRPO算法，PPO实现更简单且性能相当
50%