概念Bellman Equation / 贝尔曼最优方程
贝尔曼方程
动态规划的核心方程，描述最优价值函数的递归结构，是强化学习算法设计的理论基础，由Richard Bellman提出
时间轴 (近 90 天)
10月27日
贝尔曼方程是MDP的递归解形式，将价值函数拆解为即时奖励与折扣后的未来价值之和，是价值迭代、策略迭代以及Q-learning等算法的理论基础。
待验证50%
10月26日
贝尔曼方程利用马尔可夫性，把长期回报的期望拆解为“即时奖励 + 折扣后的下一状态价值”，从而将序贯决策问题转化为可迭代求解的方程。
待验证50%
10月7日
递归熵风险度量在每个时间步嵌套应用风险算子，满足时间一致性，因此可以直接与贝尔曼方程结合
待验证50%
8月27日
贝尔曼方程将长期回报分解为即时奖励加上未来折扣回报的递归关系
待验证50%
8月16日
Q值更新遵循贝尔曼方程迭代形式：Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') - Q(s,a)]
待验证50%
全部知识事实 (5)
待验证
贝尔曼方程是MDP的递归解形式，将价值函数拆解为即时奖励与折扣后的未来价值之和，是价值迭代、策略迭代以及Q-learning等算法的理论基础。
50%待验证贝尔曼方程利用马尔可夫性，把长期回报的期望拆解为“即时奖励 + 折扣后的下一状态价值”，从而将序贯决策问题转化为可迭代求解的方程。
50%待验证递归熵风险度量在每个时间步嵌套应用风险算子，满足时间一致性，因此可以直接与贝尔曼方程结合
50%待验证贝尔曼方程将长期回报分解为即时奖励加上未来折扣回报的递归关系
50%待验证Q值更新遵循贝尔曼方程迭代形式：Q(s,a) ← Q(s,a) + α[r + γ·max Q(s',a') - Q(s,a)]
50%