TAPES：面向交易序列的任务对齐联合预测预训练

在在线商业和数字金融服务中，交易事件序列支撑着多样化的预测任务。同一组交易记录可以衍生出语义不同的预测目标——数值、变化、与历史事件的关系等。这些目标对历史表示施加不同约束，但目标本身的可预测性并不能保证其对下游任务有用。此外，逐目标预测损失并未显式建模目标间的条件共现关系。针对这些挑战，研究者提出 TAPES——一个面向交易序列的任务对齐联合预测预训练框架。

问题背景：预测目标的选择困境

交易序列预训练的核心思路是：从历史交易中构造预测目标，让模型通过学习这些目标来获得有用的表示。然而，一个根本性问题常被忽视：哪些预测目标真正有益于下游任务？

同一笔交易可以衍生出多种预测信号，例如交易金额的绝对值、相邻交易间的金额变化、当前交易与历史事件的关系类型。这些目标在语义上差异显著，对编码器施加的约束也各不相同。一个目标即使本身容易预测，也可能与下游任务无关，甚至引入噪声。

另一个被忽略的维度是目标之间的依赖关系。传统做法对每个目标分别计算预测损失，隐式假设目标相互独立。但在真实交易场景中，不同目标往往存在条件共现——例如，金额变化的方向可能与交易关系类型高度相关。逐目标损失无法捕捉这种联合结构，限制了表示学习的质量。

预训练中的预测目标（pretext task） 指在无标签数据上人工构造的监督信号，模型通过完成这些任务来学习通用表示。在自然语言处理中，掩码语言建模就是典型例子；在交易序列中，预测下一笔金额或关系类型则属于此类。关键区别在于：下游任务的表现才是预训练目标的最终检验标准，而目标自身的准确率只是中间指标。这一区分构成了 TAPES 设计逻辑的理论基础——它反对用可预测性作为目标质量的代理，因为低熵目标可能只要求模型记忆浅层统计规律，未必产生对下游有用的抽象。

TAPES 的核心设计：选择与联合建模

TAPES 的解决思路分为两步：先筛选目标集，再进行联合预训练。

基于下游效用的目标集选择

TAPES 首先从可允许的字段-算子组合中构造一个有限的候选目标集集合。每个候选集代表一组预测任务。关键在于选择标准：不是看目标的可预测性，而是看通过短周期联合预训练所习得表示的下游效用。

具体而言，TAPES 在匹配预算下对每个候选目标集进行短程联合预训练试验，然后评估所得表示在下游任务上的表现。这一过程将目标选择与最终目标直接对齐，避免了"易预测但无用"的陷阱。选择完成后，编码器被重新初始化，以确保公平性。

短程预训练试验 是一种低成本代理评估策略：不完整训练每个候选配置，而是用少量步数获得一个粗略表示，再测量其在下游任务上的表现作为排序依据。其有效性依赖于一个经验假设——短程训练的相对优劣与完整训练的相对优劣高度相关。这一思路在神经架构搜索和元学习中有类似应用，核心价值在于将选择成本从“完整训练×候选数”压缩到“短程训练×候选数”。代价是短程信号可能带有噪声，因此匹配预算和重新初始化等控制措施对保证比较公平至关重要。

共享离散隐变量的联合似然

选定目标集后，TAPES 通过一个由共享离散隐变量参数化的联合似然进行预训练。这一设计显式建模了目标间的条件共现关系：隐变量捕获目标之间的依赖结构，使模型能够学习到比逐目标预测更丰富的表示。

预训练完成后，模型在下游监督任务上进行适配。整个流程可概括为：构造候选集 → 短程试验评估下游效用 → 选择目标集 → 重新初始化 → 联合预训练 → 下游微调。

离散隐变量模型 假设观测数据由一组不可直接观测的离散类别（即隐状态）生成，每个观测对应一个隐状态，不同观测通过共享隐状态产生依赖。在 TAPES 中，隐变量充当多个预测目标之间的“公共因子”：给定隐变量取值，各目标条件独立；边际化隐变量后，目标之间便呈现出条件共现结构。这种参数化方式与混合模型、主题模型中的隐变量角色类似，其优势在于用少量离散状态刻画复杂的联合分布，同时保持计算可处理性。相比对每个目标单独建模，共享隐变量迫使编码器学习能同时解释多个目标的表示，从而提升信息密度。

实验验证：真实风险场景与公开基准

据论文报告，TAPES 在真实世界交易风险场景和多个公开金融基准上进行了评估，覆盖多样化的下游任务。实验结果显示，TAPES 优于代表性基线方法。

消融研究进一步验证了两个核心组件的贡献：预测目标选择机制和联合建模策略。这提示我们，目标选择的"质"与联合建模的"结构"共同构成了性能提升的来源，二者缺一不可。

有意思的是，TAPES 的评估逻辑本身具有方法论意义：它不依赖目标的可预测性作为代理指标，而是用短程预训练试验直接测量下游效用。这种"以终为始"的选择方式，或许可以迁移到其他序列预训练场景。

对交易序列建模的启示

TAPES 的工作揭示了交易序列预训练中一个被低估的环节：预测目标的构造与选择。在金融风控、电商行为预测等场景中，从业者往往关注模型架构和训练技巧，却较少系统性地审视"让模型预测什么"这一问题。

联合建模的思路也值得借鉴。交易数据中的多个预测信号天然存在相关性，用共享隐变量刻画这种相关性，比独立建模更贴近数据的生成过程。对于构建交易基础模型的团队而言，TAPES 提供了一个可操作的设计范式：先定义候选目标空间，再用小成本试验筛选，最后用结构化联合目标进行预训练。

当然，该方法的有效性目前主要体现在论文所报告的实验范围内。目标集选择的计算开销、候选空间的构造方式、以及在不同交易域之间的可迁移性，仍是后续值得关注的问题。