BM25
BM25(Best Match 25)是信息检索领域广泛使用的经典排名算法,属于概率检索模型。它基于词频(TF)、逆文档频率(IDF)及文档长度归一化等因素计算查询词与文档的相关性得分,用于对搜索结果进行排序。BM25以稳健的关键词匹配能力著称,常作为文本检索系统的基线算法,并可与语义检索方法结合使用。
核心事实
时间轴 (近 90 天)
chatVia.ai每次查询并行运行基于pgvector的稠密向量相似度检索和Postgres内稀疏BM25关键词搜索,并用Reciprocal Rank Fusion合并排名
SchemagateRetriever的选择过程完全离线,依赖BM25加一个小型embedder,不发起任何模型调用。
多路召回结合向量检索、关键词检索(如BM25)、知识图谱等方式,能互补不同召回方式的盲区。
团队测试发现,BM25的关键词相关性比高维embedding空间中的模糊余弦相似度更可靠地命中精确匹配的交易复盘历史教训。
当前主流检索方案依赖词汇匹配(如BM25)或稠密向量相似度,两者都在预先定义的表示空间中工作,检索质量上限由该空间决定。
该研究的检索管线融合了稠密向量、BM25和交叉编码器重排序,并系统比较了128到1024个token的块大小、0到20%的重叠率以及四种检索器配置。
关键词匹配把查询切分为词项,依赖倒排索引与 TF-IDF 或 BM25 等统计信号判断相关性;语义匹配把整段上下文编码为稠密向量,用余弦相似度衡量语义接近程度。
BM25 在 TF-IDF 基础上引入了文档长度归一化和词频饱和,对长短不一的职位描述更为稳健
Beau Carnes 在 freeCodeCamp 课程中演示了在 PostgreSQL 内结合 BM25 关键词检索与向量检索,并用倒数排名融合(RRF)合并两路结果的方法。
课程中的计时显示原生全文检索查询约 0.3 毫秒、BM25 查询约 9 毫秒,但作者明确表示这不代表谁更快,因为前者返回零行、后者返回 10 行。
还有 40 条时间轴事件
全部知识事实 (20)
混合检索(Hybrid Search)将向量检索与BM25关键词检索的结果通过RRF(倒数排名融合)等算法合并,兼顾语义理解与精确匹配
90%已验证混合检索(Hybrid Search)融合稠密检索(Dense Retrieval)与稀疏检索(BM25)
80%已验证BM25(Best Matching 25)是由Stephen Robertson等人在1990年代提出的概率排序算法,基于词频、逆文档频率和文档长度归一化三个因素进行相关性打分
80%已验证BM25是基于词频统计的经典关键词检索算法,与向量检索形成互补
80%已验证BM25和TF-IDF是词法检索的经典代表,基于关键词的字面匹配与词频统计
75%已验证混合检索(将稠密向量检索与BM25稀疏检索结合)比单一方法在大多数基准上表现更好
75%已验证BM25是一种基于词频统计(TF-IDF改进版)的经典信息检索算法,属于稀疏检索方法
75%已验证BM25仍是Elasticsearch、Lucene等主流搜索引擎的默认排序算法
75%已验证BM25核心机制基于词频(TF)、逆文档频率(IDF)和文档长度归一化三个因子,参数k1通常取1.2-2.0,b通常取0.75
65%已验证BM25 是词袋模型,只关注词频不理解词序和语义,但对精确术语匹配更可靠,不存在向量检索的语义漂移问题
65%已验证混合检索(Hybrid Search)结合稠密向量语义相似性与BM25稀疏关键词匹配,两路结果经Re-Ranker模型重排后注入LLM上下文
65%已验证重排序(Re-ranking)机制在初步检索后引入交叉编码器(Cross-Encoder)对候选文档重新打分,提升输入大模型的上下文质量
65%已验证混合检索通过BM25关键词得分与向量相似度得分加权融合(通常采用RRF倒数排名融合算法),已成为RAG系统的主流范式
65%已验证混合检索结合BM25稀疏检索与向量稠密检索,通过RRF或线性加权合并排名结果
65%已验证BM25在精确词汇匹配场景(如产品型号、专有名词、合同条款编号)下比向量检索更稳定可靠
65%已验证实际生产中通常会结合向量相似度和关键词匹配两种方式进行混合检索
65%待验证Traditional search systems mostly rely on statistical algorithms like TF-IDF or BM25 that rank results by term frequency and uniqueness in documents
90%待验证Context Mode使用BM25算法检索相关内容,生成不超过2KB的Session Guide
85%待验证向量相似度与关键词BM25的混合检索能显著提升召回准确率
70%待验证BM25是Robertson等人在20世纪90年代提出的概率检索模型,是Elasticsearch等搜索引擎的核心排序算法
60%