MARS：双路径多尺度残差流提升视频伪造检测泛化性

深度伪造检测正面临一个棘手困境：伪造痕迹会随操纵方法和场景内容变化，导致模型跨数据集泛化能力不足。Vector Institute 提出的 MARS（Multiscale Appearance-Residual Streams）试图用双路径架构解决这一问题——将多尺度特征差异与自适应外观表示结合，在多个数据集上取得了领先的平均 AUROC。

问题背景：伪造痕迹为何难以泛化

深度伪造检测的核心挑战在于，伪造线索并非固定不变。不同操纵方法（如面部替换、表情重演、全脸生成）留下的痕迹在空间和时间维度上差异显著，而场景内容本身的纹理和运动又会产生类似信号，干扰检测器判断。

论文指出，显式的空间和时间特征差异确实能捕捉这种变化，但这些差异同样会对自然纹理和运动产生响应。因此，单独依赖残差特征并不足够，需要与外观特征联合解读。MARS 的设计正是围绕这一洞察展开。

AUROC（Area Under the Receiver Operating Characteristic Curve）是评估二分类检测器整体性能的常用指标，取值在 0 到 1 之间。它衡量的是：随机抽取一个真样本和一个假样本时，模型把真样本判为真的概率高于把假样本判为真的概率。相比固定阈值下的准确率，AUROC 不受类别比例和阈值选择影响，因此常用于深度伪造检测这类正负样本可能不均衡、且需要跨数据集比较的场景。文中“平均 AUROC”指在多个数据集或子集上取均值，用于综合反映泛化能力。

MARS 的双路径架构

MARS 是一个两路径视频检测器，分别处理残差信号和语义外观。

残差路径：固定差分算子捕捉伪造痕迹

残差路径对冻结的中间特征施加固定的空间和时间高斯差分（difference-of-Gaussians）算子，生成多尺度差异特征。这些差异随后与跨帧的外观上下文一起建模。关键在于“固定”和“冻结”：算子不参与学习，主干特征也不更新，从而避免模型过拟合到特定伪造模式。

高斯差分（Difference-of-Gaussians, DoG）是一种经典的带通滤波算子：用两个不同标准差的高斯核分别对图像（或特征图）做平滑，再相减，结果保留特定尺度的边缘与纹理变化。在深度伪造检测中，伪造过程常在被操纵区域留下与周围自然纹理不一致的高频或中频痕迹，DoG 能在多个尺度上放大这类局部差异。MARS 将 DoG 扩展到时间维度，对相邻帧特征做类似差分，从而同时捕捉空间纹理异常和帧间运动异常。由于高斯核参数固定、不参与训练，该算子相当于一个先验的“异常放大器”，减少模型对特定伪造模式的过拟合。

语义路径：自适应归一化进行帧分类

语义路径则调整编码器的归一化参数，使其适应帧级分类任务。两条路径的预测由一个依赖视频片段的门控机制组合，实现动态加权。这种设计让模型在不同片段上灵活平衡残差线索与语义线索。

自适应归一化指在推理时根据输入特征动态计算归一化统计量（均值、方差），而非使用训练集固定的全局统计量。常见形式包括 Instance Normalization 和 AdaIN：前者对每个样本、每个通道单独归一化，后者则用外部条件生成缩放和偏移参数。在 MARS 的语义路径中，调整编码器的归一化参数相当于让特征分布随当前帧内容自适应变化，使同一主干网络能更好地服务于帧级真伪分类任务。这种设计不改变主干权重，只调节归一化层的仿射参数，因而计算开销小，也便于与冻结特征的残差路径并行。

实验结果：跨数据集泛化能力突出

研究者在七个数据集上采用统一协议评估 MARS，并与七个对比检测器进行比较。MARS 取得了最高的平均 AUROC，优于所有对比方法。

更值得关注的是跨类别迁移能力：仅使用面部操纵数据训练时，MARS 在 GenVideo 上达到较高 AUROC，在 DF26 上也有不错表现，说明模型无需生成视频训练数据即可迁移到全生成视频检测任务。

可解释性：签名贡献与忠实度评估

MARS 还提供带符号的 patch 和帧贡献，用于解释检测依据。研究者通过受控的空间和时间移除实验，与随机对照比较，评估这些贡献的忠实度。这为深度伪造检测的可解释性提供了可量化的验证路径，而非仅停留在可视化层面。

解释忠实度（faithfulness）衡量的是解释结果是否真实反映了模型的决策依据，而不仅仅是看起来合理。常用验证方法是受控移除实验：按照解释给出的重要区域（patch 或帧）将其遮挡或替换，观察模型输出概率是否显著下降；同时与随机移除同等数量的区域作对照。如果按解释移除导致的性能下降明显大于随机移除，说明解释具有忠实度。MARS 提供带符号的贡献值，可区分支持“真”与支持“假”的证据，使这种移除实验能分别在空间和时间维度上进行，从而量化解释的可靠性。

行业意义与局限

MARS 的思路揭示了一个方向：伪造检测的泛化不应依赖单一类型的痕迹，而应通过多尺度残差与外观语义的联合建模来提升鲁棒性。固定差分算子与冻结特征的组合，也降低了模型对训练数据分布的依赖。

不过，论文尚未披露在真实压缩视频、低质量场景下的表现，跨类别迁移的绝对性能仍有提升空间。MARS 已公开项目页面和 GitHub 仓库，供研究社区复现和进一步验证。