概念UMMs / Unified Multimodal Models
统一多模态模型
将多模态理解与生成任务统一在同一架构下的大模型,旨在同时处理文本理解和图像生成等多种模态任务
时间轴 (近 90 天)
11月2日
统一多模态模型(UMMs)在利用语言链式思维(CoT)辅助图像生成时表现不佳,无法继承大语言模型中的测试时缩放与细粒度可控性。
待验证50%
11月2日
研究者将UMMs中CoT辅助图像生成的失败归因于模态错配:推理发生在离散token空间,而图像生成运行在连续空间。
待验证50%
10月16日
研究团队提出了知识迁移探测(Knowledge Transfer Probing, KTP)协议,通过图像生成训练向模型注入新知识,再用纯文本问答来测试这些知识是否真正被模型学会。
待验证50%