离线强化学习
强化学习的一种训练范式，智能体仅利用预先收集的静态数据集进行策略学习，无需与真实环境在线交互，适用于高风险或数据采集成本高昂的场景
时间轴 (近 90 天)
论文提出Direct Transfer Fitted Q-Iteration (DFQI)，通过联合估计框架将源环境信息直接融入目标价值函数学习。
离线强化学习传统上假设数据来自目标域且所有混杂因子可观测，但现实场景中这两个假设常被打破。
在离线强化学习中，未测量混杂使行为策略与结果相关，直接使用记录数据做策略评估或优化会产生偏差，需要借助工具变量、阴性对照或代理变量等辅助结构实现因果识别。
传统离线RL方法通过对动作分布施加散度约束（如KL散度、Wasserstein距离、MMD等）来缓解分布偏移。
外推误差是指在离线RL中，学习策略选择数据集中未出现或很少出现的动作时，后续状态进入未覆盖区域，导致价值函数估计产生严重误差且随轨迹推演累积。
离线强化学习的核心难题是分布偏移——学习到的策略容易偏离行为策略，从而在真实环境中遭遇未见过状态-动作对。
离线强化学习指仅从固定数据集学习策略、不与环境交互，常需处理分布偏移问题。
动作离散化中血管升压药和液体的剂量分箱边界会直接影响策略学习的结果，而目前的分箱方式更多是启发式的。
ehr2rl 是一个用 Python 编写的库，用于将 MIMIC-IV 电子病历数据转换为离线强化学习数据集。
在奖励设计中，死亡率是一个稀疏且延迟的奖励，而 SOFA 变化提供更密集的信号，但可能与长期结果不一致。
还有 5 条时间轴事件
全部知识事实 (15)
论文提出Direct Transfer Fitted Q-Iteration (DFQI)，通过联合估计框架将源环境信息直接融入目标价值函数学习。
50%待验证离线强化学习传统上假设数据来自目标域且所有混杂因子可观测，但现实场景中这两个假设常被打破。
50%待验证在离线强化学习中，未测量混杂使行为策略与结果相关，直接使用记录数据做策略评估或优化会产生偏差，需要借助工具变量、阴性对照或代理变量等辅助结构实现因果识别。
50%待验证传统离线RL方法通过对动作分布施加散度约束（如KL散度、Wasserstein距离、MMD等）来缓解分布偏移。
50%待验证外推误差是指在离线RL中，学习策略选择数据集中未出现或很少出现的动作时，后续状态进入未覆盖区域，导致价值函数估计产生严重误差且随轨迹推演累积。
50%待验证离线强化学习的核心难题是分布偏移——学习到的策略容易偏离行为策略，从而在真实环境中遭遇未见过状态-动作对。
50%待验证离线强化学习指仅从固定数据集学习策略、不与环境交互，常需处理分布偏移问题。
50%待验证动作离散化中血管升压药和液体的剂量分箱边界会直接影响策略学习的结果，而目前的分箱方式更多是启发式的。
50%待验证ehr2rl 是一个用 Python 编写的库，用于将 MIMIC-IV 电子病历数据转换为离线强化学习数据集。
50%待验证在奖励设计中，死亡率是一个稀疏且延迟的奖励，而 SOFA 变化提供更密集的信号，但可能与长期结果不一致。
50%待验证对于标签空间离散且封闭的分类任务，SFT的训练信号已足够清晰，引入强化学习反而会增加超参数调节难度和训练不稳定性
50%待验证由于永久死亡机制，Nuzlocke玩家会刻意规避高风险状态，使数据集中的保守策略与Offline RL优化目标天然契合
50%待验证离线强化学习通过引入CQL、IQL等约束算法惩罚智能体偏离数据集分布的行为，但代价是探索能力受限
50%待验证人类玩家完成Nuzlocke挑战产生的操作序列可作为专家示范数据，用于模仿学习/行为克隆和离线强化学习
50%待验证离线强化学习（Offline RL）利用已有历史数据进行训练，避免在线试错的风险
50%