概念Policy Gradient
策略梯度
强化学习中一类直接优化策略参数的算法，通过估计梯度来最大化期望回报，在大模型场景中常面临高方差问题
核心事实
时间轴 (近 90 天)
11月4日
DARS 的目标是在连续结果空间中实现奖励比例采样，即采样概率正比于奖励 p(x) ∝ r(x)，而不改动标准策略梯度框架。
待验证50%
10月26日
策略梯度方法直接参数化策略 π(a|s)，通过梯度上升最大化期望回报，天然支持连续动作空间和随机策略，代表算法有 REINFORCE、PPO。
待验证50%
10月12日
Q-Learning的最后迭代收敛保证在理论上长期落后于平均迭代分析，也落后于策略梯度等方法的同类结果
待验证50%
10月12日
策略梯度方法（如PPO）依赖折扣因子γ对未来奖励进行指数衰减，距离当前时刻t步的奖励只保留γ^t的权重
待验证50%
8月27日
策略梯度定理表明期望回报对策略参数的梯度可表示为 ∇J(θ) = E[∇log π_θ(a|s) · A(s,a)]，其中A是优势函数
待验证50%
全部知识事实 (6)
已验证
PPO通过引入裁剪目标函数将新旧策略概率比值限制在[1-ε, 1+ε]区间，替代TRPO的KL散度约束，简化了实现复杂度
65%待验证DARS 的目标是在连续结果空间中实现奖励比例采样，即采样概率正比于奖励 p(x) ∝ r(x)，而不改动标准策略梯度框架。
50%待验证策略梯度方法直接参数化策略 π(a|s)，通过梯度上升最大化期望回报，天然支持连续动作空间和随机策略，代表算法有 REINFORCE、PPO。
50%待验证Q-Learning的最后迭代收敛保证在理论上长期落后于平均迭代分析，也落后于策略梯度等方法的同类结果
50%待验证策略梯度方法（如PPO）依赖折扣因子γ对未来奖励进行指数衰减，距离当前时刻t步的奖励只保留γ^t的权重
50%待验证策略梯度定理表明期望回报对策略参数的梯度可表示为 ∇J(θ) = E[∇log π_θ(a|s) · A(s,a)]，其中A是优势函数
50%