分层强化学习

传统分层强化学习将技能预定义为宏动作序列，在遇到训练分布外的场景时容易失效。

把规划模型放进模拟循环内部，类似于游戏中的 AI Director 或分层强化学习中的高层策略：高层以较低频率输出事件或子目标，底层世界模型以高频率渲染帧。

分层强化学习把策略拆成多层，高层输出抽象意图或子目标，低层负责具体执行，用于缓解长时程任务中动作空间过大、探索稀疏的问题，但各层需要各自的信用分配信号，训练比单层策略更不稳定。