多模态模型微调时不仅需要调整语言模型参数，往往还需冻结或微调模态编码器，并精心设计模态对齐策略。