SpectralCanary：低频信号如何审计T2I数据集滥用

引言：数据集审计的难题

文本到图像（T2I）模型的能力令人惊叹，但它们的训练数据来源往往不透明。一个核心问题是：我们能否判断某个模型是否在特定图像集合上进行了微调？现有的审计方法常常在可验证性、保真度、鲁棒性和部署难度之间权衡。最近一篇论文提出的 SpectralCanary 给出了一种“极其简单”的解决方案——利用低频信号作为数据集的水印，实现高效审计。

核心方法：低频掩码混合金丝雀图像

主动审计的思路

主动数据集审计通常包括两个步骤：在数据集发布前植入一个共享信号（称为“金丝雀”），然后在可疑模型的生成输出中检测该信号是否出现。现有方法往往需要辅助生成或逐图像优化，增加了复杂性和计算成本。SpectralCanary 的简洁之处在于，它使用一个平滑的低通掩码将固定的金丝雀图像混合到每一张集合图像中，同时保持标题不变，无需任何额外的生成或优化过程。

数据集审计（Dataset-Use Auditing） 是模型治理中的一项技术，旨在判断某个模型是否使用了特定数据集进行训练或微调。根据信号植入的时机，可分为被动审计与主动审计。被动审计依赖数据本身的固有痕迹（如版权水印），但这类痕迹容易被数据预处理破坏；主动审计则要求在数据集发布前主动植入一个可检测的信号（即“金丝雀”），从而在模型输出中追溯数据集的使用情况。主动审计的核心挑战在于：植入的信号必须足够隐蔽（不影响数据可用性），同时又要足够鲁棒（经过训练后仍可检测）。SpectralCanary 属于主动审计范畴，其“金丝雀”是一个固定的低频图像，通过混合方式嵌入每张集合图像中。

技术细节

具体来说，SpectralCanary 对每张图像应用一个低通滤波器（例如高斯模糊），然后将金丝雀图像按一定权重叠加。由于低频成分在图像中占据主导地位且对人类视觉影响较小，这种混合在视觉上几乎不可察觉，却能有效地将信号传递到微调后的模型中。一个轻量级的验证器随后在模型输出中检测该信号，实现审计。

低通滤波器 是一种允许低频信号通过、抑制高频信号的图像处理操作。在空间域中，它表现为对邻域像素进行加权平均（如高斯模糊），使图像变得平滑；在频率域中，它保留图像的整体亮度与色彩分布，削弱边缘和纹理等细节。由于自然图像的能量主要集中在低频部分，低通滤波后的图像在视觉上变化较小，人类难以察觉。SpectralCanary 利用这一特性，先对每张图像施加低通滤波（如高斯模糊），再按权重叠加金丝雀图像。这样，金丝雀的低频成分与图像原有的低频成分自然融合，既保持了图像的整体外观，又将信号嵌入到模型容易学习的频段中。

TPR@1% FPR 是检测与审计领域常用的评估指标。TPR（True Positive Rate，真阳性率）指正确检测出信号存在的比例；FPR（False Positive Rate，假阳性率）指将无信号样本误判为有信号的比例。TPR@1% FPR 表示在将误报率严格控制在 1% 时所能达到的最高检测率，数值越高说明检测器在低误报条件下越敏感。在数据集审计场景中，低 FPR 至关重要，因为错误指控模型使用了某数据集可能带来法律或声誉风险。SpectralCanary 报告的 TPR@1% FPR 达到 91% 以上，说明其在极低误报率下仍能可靠地检测出金丝雀信号。

实验结果：高检测率与低视觉影响

论文在多个数据集和模型架构上进行了广泛评估。在 Pokemon 数据集上，经过三种真实数据变换，跨两个架构家族，SpectralCanary 在每次生成中达到了最高的平均 TPR@1% FPR（91.1%），并且在使用 30 次生成时模型级准确率固定阈值达到 94.8%。

在涵盖艺术、医学、卫星和时尚领域的五个数据集上，使用 SD3.5 模型，SpectralCanary 平均达到 92.4% 的 TPR@1% FPR，同时保持发布图像的视觉质量（SSIM 0.989，LPIPS 0.022），FID 变化接近零（平均 ΔFID 0.05）。这意味着植入信号几乎不影响数据集的原始分布。

低频为何更有效？

研究者在 Pokemon 和 ROCOv2 上进行了匹配能量的消融实验，比较了低频、中频和高频放置的效果。结果表明，低频放置的信号传递更可靠。这可能是因为低频成分在模型中更容易被学习和泛化，而高频成分容易在微调过程中被丢弃或扭曲。这一发现支持了设计选择，也揭示了低频视觉信号作为集合级审计痕迹的潜力。

匹配能量消融实验 是一种控制变量实验设计，用于公平比较不同频段信号的效果。在图像频率分析中，不同频段（低、中、高）所含的能量（即信号强度）不同；如果直接比较，可能因能量差异导致结果偏差。匹配能量消融实验通过调整各频段信号的幅度，使它们在嵌入时的总能量保持一致，从而排除能量因素的干扰，单独考察频段位置对信号传递可靠性的影响。SpectralCanary 在 Pokemon 和 ROCOv2 数据集上进行了此类实验，发现即使能量相同，低频放置的信号在微调后仍比中高频更易被检测，这支持了低频信号作为审计痕迹的优越性。

鲁棒性：对抗攻击下的表现

论文评估了自适应攻击下的鲁棒性。最有效的移除方法需要激进的修改，并导致超过 25 点的 ΔFID 增加，这意味着攻击者若想去除信号，必须显著破坏图像质量，从而牺牲模型的实用性。这为 SpectralCanary 提供了实际场景中的鲁棒性保障。

意义与展望

SpectralCanary 提供了一种简单、高效且低成本的 T2I 数据集审计方案。它不需要复杂的优化或辅助生成，仅通过低频混合就能实现高检测率，同时对图像质量影响极小。这种方法有望成为数据集发布的标准实践，帮助创作者和研究者追踪数据使用情况。未来工作可以进一步探索在不同模型架构和攻击场景下的适应性，以及如何将低频信号与其他审计手段结合。

总之，SpectralCanary 表明，低频视觉信号是一种有效的集合级 T2I 审计痕迹载体，为数据集滥用审计开辟了新途径。