MIRA：互信息引导校准，提升测试时适应可靠性

测试时适应（TTA）能在仅有未标注目标数据的情况下更新已部署模型，但主流基于熵的方法往往依赖确定性置信度，在分布偏移下反而可能强化过度自信的错误。针对这一问题，研究者提出 MIRA（Mutual Information guided calibration for Reliable Test-Time Adaptation）——一种无需源数据的在线适应方法，通过轻量级末层高斯扰动来探测预测可靠性，为TTA的稳健性提供了新思路。

熵最小化的隐忧：确定性置信度的陷阱

标准TTA方法通常以熵最小化为目标，鼓励模型对目标数据给出低熵（高置信）的预测。然而，这种确定性置信度并不总是可靠：当分布偏移导致模型过度自信时，熵最小化会放大这些错误，使模型在错误的方向上越走越远。MIRA的作者指出，问题的根源在于“把置信度等同于可靠性”，而忽略了预测在扰动下的稳定性。

熵最小化（Entropy Minimization）是测试时适应中最常用的无监督目标之一，其直觉是：模型在目标域上若对样本给出低熵预测，说明决策边界对该样本较为“确定”，因此可以用这种高置信预测作为伪标签来驱动适应。具体做法通常是最小化每个样本预测分布的香农熵 (-\sum_c p_c \log p_c)，从而使预测趋向 one-hot。问题在于，熵只刻画了模型自身输出分布的“尖锐程度”，并不检验这个尖锐的预测是否正确。当分布偏移使模型系统性犯错时，错误预测同样可以是低熵的，此时最小化熵相当于用错误伪标签反复强化模型，形成“确认偏差”式的自我放大。此外，熵对温度缩放和 logit 尺度敏感，模型可能通过整体放大 logit 幅值来降低熵，而非真正改善特征表示。因此，后续研究强调需要引入不依赖单一确定性输出的可靠性信号，例如预测在输入或参数扰动下的稳定性、一致性或不确定性分解，才能判断低熵预测是否可信。

MIRA的核心：扰动探测与互信息校准

MIRA的设计思路是，在不对模型结构做大改动的前提下，用极低的计算代价评估每个预测的局部稳定性。具体来说，对于每个目标批次，MIRA仅复用一次特征提取过程，然后在源分类器周围采样多个扰动后的分类器，形成一个高效的局部预测分布。

与贝叶斯方法不同，MIRA并不拟合后验分布，而是将扰动尺度视为局部探测半径，并利用互信息（MI）和预测一致性来为每个批次选择特定的尺度。由此得到的“扰动敏感性”信号能够识别出那些既置信又在分类器扰动下保持局部稳定的预测，同时抑制那些随机分歧大的脆弱预测。

互信息如何发挥作用

互信息在这里衡量的是预测与扰动分类器之间的依赖程度。如果某个样本的预测在多次扰动下变化剧烈，说明模型对该样本的决策不稳定，互信息会捕捉到这种不确定性。MIRA结合预测一致性，动态调整探测半径，使得可靠性评估更贴合当前批次的数据分布。

互信息（Mutual Information, MI）衡量两个随机变量之间的统计依赖程度，可理解为“知道其中一个变量后，关于另一个变量的不确定性减少了多少”。在 MIRA 的设定中，一个变量是样本的类别预测，另一个变量是扰动后分类器所给出的预测；若两者高度依赖，说明预测在扰动下保持一致，MI 较大；若扰动导致预测随机跳变，则 MI 较小。这与单纯的预测熵形成互补：熵只看单个分布的尖锐度，MI 则考察预测分布在参数扰动下的可复现性。实际估计时，MI 可由预测熵减去条件熵（即在给定扰动分类器条件下预测的平均熵）得到，也可通过多次采样的预测分布做经验估计。需要注意，MI 的蒙特卡洛估计在样本量小或类别数多时方差较大，这正是文中提到小批次场景下尺度选择可能不稳定的原因。

加权熵损失：让脆弱样本少说话

在获得扰动敏感性信号后，MIRA采用互信息置信度加权的熵损失进行适应。该损失函数会降低对扰动敏感或低置信度样本的权重，避免它们主导熵最小化过程。换句话说，那些“脆弱”的预测在适应中被边缘化，从而减少有害的模型更新。

这一加权机制是MIRA即插即用的关键：它不需要修改原有TTA流程的结构，只需在损失计算时引入权重，即可与现有的熵最小化TTA方法结合。

实验验证：精度、校准与NLL的全面提升

在分布偏移基准上的实验表明，MIRA在准确率、校准性和负对数似然（NLL）上均有改善。这支持了作者的核心论点：互信息引导的扰动探测与加权适应，比确定性置信度更能带来稳健的在线TTA。你可能没注意到，MIRA无需源数据、重新训练、模型集成或离线后验拟合，这使其在实际部署中具有吸引力。

校准性（Calibration）描述的是模型给出的置信度与实际正确率是否匹配：若模型以 0.9 的置信度预测的样本中约有 90% 确实正确，则称其校准良好。常用度量包括期望校准误差（ECE）和可靠性图，负对数似然（NLL）则同时惩罚错误预测和过度自信，因而对校准尤为敏感。一个模型可以在准确率不变的情况下因过度自信而拥有很差的 NLL。这对 TTA 尤为关键：熵最小化恰恰倾向于把置信度推向极端，可能提升准确率却损害校准，使模型在部署中给出误导性的置信分数。因此，同时报告准确率、校准误差与 NLL 能更全面地反映适应方法是否“可靠”，而不仅仅是“更准”。

意义与局限

MIRA为TTA的可靠性问题提供了一个轻量且有效的解决思路。它揭示了确定性置信度的不足，并通过扰动探测引入了一种更细粒度的可靠性度量。不过，该方法目前仍基于末层高斯扰动，对于更复杂的分布偏移或非分类任务，其泛化能力有待进一步验证。此外，扰动尺度的选择依赖于互信息估计，在批次较小或类别极多时可能面临估计方差问题。

总体而言，MIRA是TTA领域一次有价值的探索，为构建更可靠的在线适应方法提供了新视角。