概念文本捷径问题
文本捷径
多模态评估中的一种现象,模型仅依赖题目文本中的线索即可答对,无需真正理解图像,导致多模态能力被高估。
时间轴 (近 90 天)
10月23日
许多多模态基准在评估模型时仅看最终答案准确率,忽略模型是否真正依赖图像,常见问题是文本捷径导致多模态能力被高估。
待验证50%
多模态评估中的一种现象,模型仅依赖题目文本中的线索即可答对,无需真正理解图像,导致多模态能力被高估。
许多多模态基准在评估模型时仅看最终答案准确率,忽略模型是否真正依赖图像,常见问题是文本捷径导致多模态能力被高估。