域偏移下的行人检测：可信度控制的XAI可解释性审计

为什么自动驾驶的"可解释性"需要被审计

智能汽车的感知模型越来越被要求具备可解释性——不仅要给出"这里有一个行人"的判断，还要能说明"为什么"。但一个被长期忽视的问题是：当驾驶场景发生**域偏移（domain shift）**时，这些解释是否还保持忠实（faithful）？

域偏移指的是模型在训练数据之外的分布上运行，比如从一个城市数据集切换到另一个采集条件不同的数据集。对于安全攸关的感知任务而言，如果解释方法在域偏移下失效，那么基于解释做出的安全判断就可能是误导性的。这项发表于 arXiv 的研究正是针对这一盲区展开。

**可解释人工智能（XAI, Explainable AI）**是一系列技术的总称，旨在让模型的决策过程对人类可理解。在感知任务中，XAI方法通常以热力图或显著性图的形式输出，标注出模型做出判断时"依赖"的图像区域。忠实度（faithfulness）是衡量这类解释质量的核心指标：一个忠实的解释应当真实反映模型内部的计算依赖，而非仅仅看起来合理。评估忠实度最常用的方式是删除测试——遮蔽解释所标注的区域，若模型置信度随之大幅下降，则说明该解释确实指向了模型的关键依赖区域。这一评估框架本身的假设是：解释与检测过程相互独立，可被单独审查。然而本研究的核心挑战正在于，当检测强度本身影响删除测试结果时，这一假设便不再成立。

研究方法：如何审计一个固定检测器的解释

研究者选取了一个固定的 YOLOv8s 行人检测器，并在两个主流行人数据集 PIE 和 JAAD 上进行跨域审计。之所以固定检测器，是为了把变量集中在"解释的忠实度"本身，而非模型能力差异上。

审计使用了一整套严谨的统计工具链：

• 基于 ROI 的 D-Deletion：通过删除解释所标注的关键区域，观察检测置信度的变化，以此衡量解释是否真正指向了模型依赖的区域。
• 冻结置信度三分位（frozen confidence terciles）：将检测置信度分层，避免高低置信度样本混杂干扰。
• 基于秩的检验（rank-based tests）、自助法区间（bootstrap intervals） 与 Holm 校正：保证多重比较下的统计显著性结论稳健可靠。

这套组合拳的核心目的，是把"解释忠实度"从"检测强度"中剥离出来，看清两者之间真实的关系。

**D-RISE（Detection Randomized Input Sampling for Explanation）**是专为目标检测任务设计的后验解释方法，由经典图像分类解释方法RISE扩展而来。其基本思路是：对输入图像随机生成大量遮蔽掩码，通过统计哪些区域被遮蔽时检测置信度下降最显著，反推出对当前检测结果影响最大的图像区域，最终生成连续的显著性热力图。因为D-RISE本身不依赖模型内部结构，属于黑盒解释方法，理论上可跨架构通用。但也正因为其评估逻辑与检测置信度高度挂钩，才会出现本研究所揭示的耦合问题——解释的"好坏"在统计意义上难以与检测本身的"强弱"分离。

EigenCAM则属于白盒的梯度/激活图方法，直接利用卷积层特征图的主成分来生成显著性图，无需对输入进行扰动，因此被称为"非扰动式"基线。两类方法的对比能帮助研究者判断耦合现象的根源究竟在于具体方法，还是评估范式本身。

核心发现：解释忠实度与检测强度强耦合

研究最关键的发现是：基于删除的忠实度与解释生成时的检测强度高度耦合。

对于 D-RISE 这一后验解释方法，D-Deletion 忠实度与检测强度之间的 Spearman 相关系数落在 0.70 到 0.82 之间。这意味着检测越自信，解释看起来就越"忠实"。

这个结论直接动摇了一种常见做法——朴素的按置信度分层比较是不可靠的。如果不先控制检测强度，就直接比较不同置信度下的解释质量，得到的结论很可能是检测强度在作怪，而非解释方法本身的差异。

控制检测强度后，域依赖性依然存在

研究者进一步在固定的 f0 区间内控制检测强度后重新审计，结果显示：在 f0 的中间区段，D-RISE 的忠实度仍然呈现域依赖性。具体来说，PIE 数据集上的 D-Deletion 高于 JAAD，且这一差异通过了 Holm 校正后的显著性检验。

换句话说，即便剔除了检测强度这一混杂因素，解释的忠实度依然会随数据域的不同而变化。这对依赖单一数据域验证解释方法的做法提出了警示。

Spearman相关系数是一种基于排名的非参数相关性度量，取值范围为-1到1，不受极端值影响，适合衡量两个变量之间的单调关系而无需假设线性分布。在本研究语境中，0.70至0.82的Spearman相关系数属于强相关——这意味着仅凭检测置信度的高低，就能大致预测忠实度分数的排名，解释方法本身的"工作质量"被严重遮蔽。**Holm校正（Holm-Bonferroni correction）**则是多重比较校正方法，当研究者同时进行多个假设检验时，用于控制整体犯一类错误（误报显著差异）的概率，比简单的Bonferroni校正检验效力更高。通过Holm校正后依然显著的结果，统计可靠性更具说服力。

不只是 D-RISE 的问题

为了验证这种耦合现象是否是 D-RISE 方法特有的，研究者引入了一个非扰动式的 EigenCAM 基线作为对照。

结果是：EigenCAM 的忠实度整体低于 D-RISE，但它同样表现出分数耦合（score coupling）现象。这一点很重要——它说明检测强度与忠实度的耦合并非某个特定解释方法的缺陷，而更可能与基于删除的评估范式本身有关。

这提示整个 XAI 评估社区：当我们用"删除关键区域看置信度掉多少"这类方法来衡量解释质量时，评估结果本身就会被模型的检测强度所污染。

对安全攸关感知的启示

这项研究的落脚点非常明确：安全攸关的感知任务需要采用可信度控制的 XAI 审计（confidence-controlled XAI audits）。

在自动驾驶等场景中，仅仅拥有一个"可解释"的检测器远远不够。如果解释的忠实度会随检测置信度和数据域悄悄漂移，那么任何建立在解释之上的安全论证都存在隐患。研究给出的方法论——先控制检测强度、再做跨域的严格统计比较——为后续的可解释性评估提供了一个更稳健的范本。

对于行业而言，这意味着在部署解释工具时，不能把实验室中某一数据集上的忠实度结论直接外推到真实道路的多变环境中。可解释性的"可信度"，本身也需要被持续审计。

**可信度控制的XAI审计（confidence-controlled XAI audits）**在操作上意味着：在比较不同数据域或不同场景下的解释质量之前，必须先将检测置信度（即f0分数）控制在相同区间内，再进行统计比较。这本质上是一种协变量控制策略，类似于医学研究中按年龄或病情严重程度分层后再做疗效比较。研究中采用的"冻结置信度三分位"方法，将样本按检测置信度高低分为三段，在每段内部独立审计解释忠实度，从而使不同数据域之间的比较在统计上更为公平。这一流程的实践意义在于：监管机构或车企在验证车载感知系统的可解释性工具时，应将该控制步骤纳入标准测试规程，而非仅依赖单一场景下的整体平均忠实度分数。