缺失输入处理机制

论文观察到，即使某个模态缺失，编码器仍可通过缺失输入处理机制进行适应，因此其更新不应被简单丢弃。

缺失输入处理机制指多模态模型在某一模态输入不可用时，仍能前向传播并产生梯度的设计，常见做法包括用可学习的缺失标记替代该模态的嵌入、用零填充后经掩码注意力屏蔽无效位置，或引入模态存在性嵌入。