概念
跨模态检索
在不同模态之间进行信息检索的技术,例如根据文本检索图像或根据语音检索文本,核心在于跨模态表示对齐
时间轴 (近 90 天)
11月3日
多模态嵌入的技术前提是将不同模态映射到同一个共享向量空间,使文本向量可以直接检索图像向量(跨模态检索)。
待验证50%
10月14日
对于构建跨模态检索、运动迁移或多schema生成系统的团队,建议不要假设共享架构会自动带来共享潜在空间,应用配对数据验证并显式引入少量配对监督。
待验证50%
在不同模态之间进行信息检索的技术,例如根据文本检索图像或根据语音检索文本,核心在于跨模态表示对齐
多模态嵌入的技术前提是将不同模态映射到同一个共享向量空间,使文本向量可以直接检索图像向量(跨模态检索)。
对于构建跨模态检索、运动迁移或多schema生成系统的团队,建议不要假设共享架构会自动带来共享潜在空间,应用配对数据验证并显式引入少量配对监督。