PG-FM：让RGB-T检测器在信号损坏下保持鲁棒

RGB-thermal（RGB-T）目标检测通过融合可见光与热成像信号，在复杂场景下实现更可靠的感知。然而，当任一模态的信号受到损坏时，检测器的精度会显著下降。传统的修复式方法虽能改善输入质量，却带来额外延迟，且下游精度提升并不稳定。来自arXiv的论文《Shifting Focus by Reliability: Geometric Fusion Modulation for Robust RGB-T Detection》提出PG-FM（Prompt-Guided Feature Modulation），一种无需修复输入、直接让检测器适应信号质量变化的轻量适配方案。

问题：损坏信号下的检测失准

RGB-T检测器依赖可见光与热成像的互补性，但现实场景中传感器噪声、恶劣天气或硬件故障会导致某一模态信号质量骤降。现有方法多采用图像修复或增强来恢复输入，再送入检测器。这类方法不仅引入显著推理延迟，而且修复后的图像未必对下游检测有利——修复目标与检测目标存在错位，导致精度提升不稳定。

论文作者通过受控损坏扫描实验发现：在接近干净数据的条件下，不同类型损坏对检测器的影响相似；但随着损坏程度加剧，不同损坏类型的影响开始分化。这意味着检测器需要一种能感知损坏类型与严重程度、并针对每个输入动态调整的适配机制。

mAP50（mean Average Precision at IoU threshold 0.5）是目标检测中的核心评价指标。它计算在交并比（IoU）阈值为0.5时，所有类别平均精度（AP）的均值。IoU衡量预测框与真实框的重叠程度，0.5意味着预测框与真实框重叠面积超过一半即视为正确检测。mAP50对定位精度的要求相对宽松，常用于衡量检测器“能否找到目标”，而mAP50-95则进一步要求更高的定位精度。在RGB-T损坏场景下，信号质量下降主要影响特征提取与融合，导致漏检和误检增加，因此mAP50的下降能直观反映检测器鲁棒性的退化。

PG-FM：提示引导的特征调制

PG-FM的核心思想是：不修复损坏输入，而是让检测器根据估计的损坏类型和严重程度，对特征进行调制。具体而言，PG-FM为每个模态估计损坏类型与严重程度，生成对应的提示向量，并利用这些提示对融合特征进行调制。这种调制是输入相关的，能够跟踪测试时出现的多样损坏。

与传统的参数高效微调（PEFT）相比，PG-FM的优势在于其修正不是输入无关的。PEFT通常学习一组固定的适配参数，无法应对测试时动态变化的损坏。PG-FM通过提示引导，实现了针对每个输入的定制化适配，从而在损坏条件下保持检测精度。

参数高效微调（PEFT）是一类在预训练大模型上仅更新少量参数即可适配下游任务的技术，常见方法包括Adapter、LoRA、Prefix Tuning等。其核心思想是冻结主干网络的大部分参数，通过插入轻量模块或低秩分解来注入任务特定信息，从而大幅降低训练成本并保留预训练知识。然而，传统PEFT学习到的适配参数是静态的、输入无关的，无法根据测试时输入信号的质量动态调整。PG-FM借鉴了PEFT的轻量适配思路，但通过提示向量生成机制使调制系数随输入损坏类型和程度变化，从而克服了静态适配的局限性。

实验效果：mAP50显著提升

在受控的RGB-T损坏模拟下，PG-FM在保持干净数据集性能的同时，将损坏条件下的mAP50在FLIR数据集上最多提升20.8点，在KAIST数据集上最多提升19.9点。更关键的是，PG-FM无需重新训练即可迁移到未修改的自然采集外部RGB-T数据集上，展现了良好的泛化能力。

这一结果说明，直接让检测器适应信号质量变化，比先修复再检测的路线更高效且更有效。PG-FM的轻量特性也使其适合实际部署，避免了修复方法带来的延迟问题。

FLIR和KAIST是RGB-T目标检测领域两个广泛使用的公开数据集。FLIR数据集由FLIR热像仪采集，包含对齐的可见光与热成像图像，主要标注行人、车辆等类别，场景以日间和夜间城市道路为主。KAIST数据集规模更大，包含多传感器同步采集的可见光-热成像对，覆盖白天、夜晚、校园和街道等多种场景，标注类别包括行人、 cyclists、车辆等。这两个数据集的互补性在于：可见光图像提供纹理细节，热成像不受光照影响，适合评估多模态融合检测器在复杂环境下的性能。PG-FM在这两个数据集上的提升幅度，验证了其跨数据集的有效性。

启示：从修复输入到适配模型

PG-FM的工作为鲁棒RGB-T检测提供了新思路：与其追求完美的输入修复，不如让模型学会在质量参差的信号中聚焦可靠信息。这种“按可靠性转移焦点”的策略，与论文标题中的“Shifting Focus by Reliability”相呼应。对于实际部署的RGB-T系统，PG-FM有望降低对传感器硬件的苛刻要求，提升在恶劣环境下的可用性。

未来，如何更准确地估计损坏类型与严重程度、如何将PG-FM扩展到更多模态与任务，是值得探索的方向。