DFQI：直接知识迁移提升离线Q学习效率

离线强化学习（Offline RL）在营销、医疗等数据驱动决策场景中潜力巨大，但目标环境数据稀缺时，如何利用相关环境的数据成为关键挑战。最近一篇论文提出Direct Transfer Fitted Q-Iteration (DFQI)，通过联合估计框架将源环境信息直接融入目标价值函数学习，为跨环境知识迁移提供了新思路。

rss source: Direct Knowledge Transfer for Offline Q-Learning

离线RL的知识迁移难题

离线RL旨在仅利用固定数据集学习策略，避免在线探索的风险。实际应用中，兴趣环境（如新市场）的数据往往有限，而相关环境（如成熟市场）可能积累了大量数据。直接混合数据会引入偏差，因为不同环境的奖励函数和转移动态存在差异。因此，迁移知识时必须显式建模并校正这些差异。

论文指出，现有迁移方法或依赖两阶段估计，或未能联合考虑奖励与动态的差异，导致迁移效果受限。DFQI的核心创新在于在贝尔曼更新中同时进行目标Q函数更新和源信息借用，实现更紧密的耦合。

拟合Q迭代（Fitted Q-Iteration, FQI） 是离线强化学习中的经典算法框架，属于批量强化学习（batch RL）方法。它不依赖在线交互，而是反复利用固定数据集进行贝尔曼备份：在每一轮迭代中，以当前Q函数对数据集中的状态-动作对计算目标值，再通过回归（即“拟合”）更新Q函数，直至收敛。FQI的优点是实现简单、样本效率高，但其性能高度依赖数据覆盖度和函数近似器的质量。在跨环境迁移场景中，FQI的迭代结构为“在每次贝尔曼更新时注入源环境信息”提供了天然的切入点，DFQI正是基于这一框架进行改造的。

DFQI方法：L1惩罚链接源与目标

DFQI采用拟合Q迭代（Fitted Q-Iteration）框架，在每次贝尔曼更新中，目标Q函数通过最小化贝尔曼误差来更新，同时引入一个L1惩罚项，将目标系数与源系数的加权聚合链接起来。具体地，目标系数被拉向源系数的加权组合，权重由数据自适应确定。这种设计允许在目标数据稀缺时更多地借用源信息，而在目标数据充足时减少影响。

L1惩罚还带来稀疏性，有助于识别哪些源信息对目标最有价值。联合估计确保源系数和目标系数在同一个优化问题中求解，避免了误差累积。论文使用筛网近似（sieve approximation）处理高维状态空间，为统计性质分析奠定基础。

筛网近似（sieve approximation） 是统计学习理论中处理高维或非参数估计的一种技术。其核心思想是用一列逐渐增大的有限维函数空间（称为“筛网”）去逼近无限维的目标函数空间，随着样本量增加，筛网复杂度也相应增长，从而在偏差与方差之间取得平衡。在离线RL中，状态空间可能连续且高维，直接使用非参数方法会导致收敛速率极慢；筛网近似通过控制函数类的复杂度（如使用多项式基、小波基或神经网络等），使得统计估计量具有可分析的收敛性质。DFQI利用筛网近似对Q函数进行建模，为后续建立目标估计和策略学习的统计保证奠定了理论基础。

统计保证与理论结果

作者在平稳折扣环境下建立了目标估计和策略学习的统计保证，覆盖了同质和异质转移核两种情形。理论分析表明，在一定的正则条件下，DFQI的目标Q函数估计和策略价值收敛速率与仅使用目标数据的估计器相当，同时能有效利用源数据降低方差。对于异质转移核，DFQI通过加权聚合自动调整源信息的贡献，避免负迁移。

这些理论结果为迁移学习在离线RL中的可行性提供了严谨支撑，也解释了L1惩罚项在偏差-方差权衡中的作用。

负迁移（negative transfer） 是指源环境的知识反而损害目标环境学习性能的现象。在迁移学习中，当源环境与目标环境的奖励函数或转移动态差异较大时，强行借用源数据会引入偏差，导致目标策略次优甚至发散。DFQI通过L1惩罚项对源系数进行加权聚合，权重由数据自适应确定：当目标数据充足或源信息不相关时，惩罚项会压缩源系数的贡献，从而自动抑制负迁移。理论分析中，异质转移核情形下的收敛保证正是刻画了这种自适应机制的有效性，说明DFQI能够在利用源数据降低方差的同时，控制由环境差异带来的偏差。