LLaVA-1.5
开源视觉语言模型(VLM)系列,基于LLaMA架构结合视觉编码器,用于图文理解与多模态对话研究。
时间轴 (近 90 天)
在猫头鹰目标实验中,训练于偏好猫头鹰的策划者所选数据的学生模型,在无图像读出中表现出更高的目标对替代项似然比,该方向性偏移在LLaVA-1.5、Qwen2.5-VL、Qwen3-VL和Gemma 4上均出现。
在三个模型中,猫头鹰目标选择的学生得分高于所有数量匹配的随机重选学生;在LLaVA-1.5中,高于60个随机重选学生中的55个。
第一代学生能通过不显式提及猫头鹰的描述将偏好传给第二代,该代际传递在LLaVA-1.5和Qwen3-VL中均得到验证。
把LLaVA-1.5的token ID原样移植到两个词表不相交的模型上,F1直接跌到0.00;而使用分词器派生的读数,F1稳定保持在0.80到0.92之间。
主流开源多模态模型上下文长度通常在4K到32K之间,LLaVA-1.5为4096 token,Qwen-VL为8192 token,InternVL2扩展到32K
LLaVA-1.5及其后续工作引入了两层MLP甚至交叉注意力机制来增强跨模态信息融合
全部知识事实 (6)
在猫头鹰目标实验中,训练于偏好猫头鹰的策划者所选数据的学生模型,在无图像读出中表现出更高的目标对替代项似然比,该方向性偏移在LLaVA-1.5、Qwen2.5-VL、Qwen3-VL和Gemma 4上均出现。
50%待验证在三个模型中,猫头鹰目标选择的学生得分高于所有数量匹配的随机重选学生;在LLaVA-1.5中,高于60个随机重选学生中的55个。
50%待验证第一代学生能通过不显式提及猫头鹰的描述将偏好传给第二代,该代际传递在LLaVA-1.5和Qwen3-VL中均得到验证。
50%待验证把LLaVA-1.5的token ID原样移植到两个词表不相交的模型上,F1直接跌到0.00;而使用分词器派生的读数,F1稳定保持在0.80到0.92之间。
50%待验证主流开源多模态模型上下文长度通常在4K到32K之间,LLaVA-1.5为4096 token,Qwen-VL为8192 token,InternVL2扩展到32K
50%待验证LLaVA-1.5及其后续工作引入了两层MLP甚至交叉注意力机制来增强跨模态信息融合
50%