DFQI
一种离线强化学习算法框架，在拟合Q迭代的贝尔曼更新中通过L1惩罚项联合估计目标与源环境的价值函数，实现跨环境直接知识迁移
时间轴 (近 90 天)
论文提出Direct Transfer Fitted Q-Iteration (DFQI)，通过联合估计框架将源环境信息直接融入目标价值函数学习。
DFQI在每次贝尔曼更新中同时进行目标Q函数更新和源信息借用，实现更紧密的耦合。
DFQI在拟合Q迭代框架中引入L1惩罚项，将目标系数拉向源系数的加权组合，权重由数据自适应确定。
DFQI的L1惩罚带来稀疏性，有助于识别哪些源信息对目标最有价值。
DFQI使用筛网近似处理高维状态空间，为统计性质分析奠定基础。
作者在平稳折扣环境下建立了DFQI的目标估计和策略学习的统计保证，覆盖同质和异质转移核两种情形。
理论分析表明，在一定的正则条件下，DFQI的目标Q函数估计和策略价值收敛速率与仅使用目标数据的估计器相当，同时能有效利用源数据降低方差。
对于异质转移核，DFQI通过加权聚合自动调整源信息的贡献，避免负迁移。
在多个模拟环境中，当目标数据有限时，DFQI通过迁移源信息显著提升了策略学习性能。
对比基线（如仅用目标数据、简单数据混合等），DFQI在策略回报和稳定性上均表现出优势。
还有 1 条时间轴事件
全部知识事实 (11)
论文提出Direct Transfer Fitted Q-Iteration (DFQI)，通过联合估计框架将源环境信息直接融入目标价值函数学习。
50%待验证DFQI在每次贝尔曼更新中同时进行目标Q函数更新和源信息借用，实现更紧密的耦合。
50%待验证DFQI在拟合Q迭代框架中引入L1惩罚项，将目标系数拉向源系数的加权组合，权重由数据自适应确定。
50%待验证DFQI的L1惩罚带来稀疏性，有助于识别哪些源信息对目标最有价值。
50%待验证DFQI使用筛网近似处理高维状态空间，为统计性质分析奠定基础。
50%待验证作者在平稳折扣环境下建立了DFQI的目标估计和策略学习的统计保证，覆盖同质和异质转移核两种情形。
50%待验证理论分析表明，在一定的正则条件下，DFQI的目标Q函数估计和策略价值收敛速率与仅使用目标数据的估计器相当，同时能有效利用源数据降低方差。
50%待验证对于异质转移核，DFQI通过加权聚合自动调整源信息的贡献，避免负迁移。
50%待验证在多个模拟环境中，当目标数据有限时，DFQI通过迁移源信息显著提升了策略学习性能。
50%待验证对比基线（如仅用目标数据、简单数据混合等），DFQI在策略回报和稳定性上均表现出优势。
50%待验证DFQI框架具有通用性，可扩展到其他基于价值迭代的离线RL算法。
50%