late-interaction
信息检索中的一类建模范式,为查询和文档的每个 token 保留独立嵌入向量,检索时通过 MaxSim 等操作计算细粒度相似度,召回精度通常优于单向量双塔模型,但索引体积和打分计算量更大。
时间轴 (近 90 天)
pplx-embed-v2-late 采用 late-interaction 架构,保留 token 级别表示并在检索阶段进行交互计算。
late-interaction 模型的索引体积显著大于单向量模型,每个文档需存储数百个向量,打分阶段计算量也更高,实际系统常结合向量量化(如 PLAID)加速。
late-interaction 是信息检索中的建模范式,由 ColBERT 系列工作推广,使用 MaxSim 等操作计算查询与文档 token 间最大相似度之和作为相关性分数。
部署 late-interaction 检索方案时需注意,向量数据库需支持多向量检索,存储开销远高于单向量索引,应评估磁盘成本。
后交互(late-interaction)架构保留token或patch级别的多向量表示,在检索阶段对查询与文档的所有子向量做细粒度匹配
多向量表示带来的存储与计算开销是后交互路线取代单向量嵌入方案需要权衡的核心代价
全部知识事实 (6)
pplx-embed-v2-late 采用 late-interaction 架构,保留 token 级别表示并在检索阶段进行交互计算。
50%待验证late-interaction 模型的索引体积显著大于单向量模型,每个文档需存储数百个向量,打分阶段计算量也更高,实际系统常结合向量量化(如 PLAID)加速。
50%待验证late-interaction 是信息检索中的建模范式,由 ColBERT 系列工作推广,使用 MaxSim 等操作计算查询与文档 token 间最大相似度之和作为相关性分数。
50%待验证部署 late-interaction 检索方案时需注意,向量数据库需支持多向量检索,存储开销远高于单向量索引,应评估磁盘成本。
50%待验证后交互(late-interaction)架构保留token或patch级别的多向量表示,在检索阶段对查询与文档的所有子向量做细粒度匹配
50%待验证多向量表示带来的存储与计算开销是后交互路线取代单向量嵌入方案需要权衡的核心代价
50%