TF-IDF

BM25和TF-IDF是词法检索的经典代表，基于关键词的字面匹配与词频统计

BM25是一种基于词频统计（TF-IDF改进版）的经典信息检索算法，属于稀疏检索方法

Traditional search systems mostly rely on statistical algorithms like TF-IDF or BM25 that rank results by term frequency and uniqueness in documents

TF-IDF将每封邮件表示为稀疏向量，通过词频和逆文档频率加权；逻辑回归是一种线性分类器，通过为每个词特征学习权重输出类别概率；在标签量有限时，该组合参数少、不易过拟合、训练推理快且权重可解释。

关键词匹配把查询切分为词项，依赖倒排索引与 TF-IDF 或 BM25 等统计信号判断相关性；语义匹配把整段上下文编码为稠密向量，用余弦相似度衡量语义接近程度。

BM25 在 TF-IDF 基础上引入了文档长度归一化和词频饱和，对长短不一的职位描述更为稳健

关键词检索模拟器采用词法匹配（基于BM25或TF-IDF等统计模型），而非嵌入向量的语义相似度，因此不能预测向量库的实际结果。

DSupport 的 RAG 实现按段落切分文章，使用 TF-IDF 做词权重向量化，可选接入 VoyageEmbedder 做语义检索，SearchKbTool 中的相关性截断值为 minScore = 0.25。

作者用LLM裁判识别可疑报告，AUROC为0.48（不优于随机），而简单的TF-IDF词频分类器AUROC为0.65。

相关度排序常见做法是类 TF-IDF / BM25 的加权模型，同时考虑字段权重；MiniSearch 允许为不同字段配置权重，并支持对前缀匹配、模糊匹配结果施加不同分数系数。

TF-IDF/BM25检索在词汇漂移（同一概念换了说法）时会失效，这是当前方案的已知局限，需要嵌入模型或查询改写来补足。

该系统的检索完全基于TF-IDF/BM25在进程内完成，不使用向量数据库或嵌入服务器，牺牲语义泛化能力换取可解释性和部署简洁性。

分类器同时使用TF-IDF词特征和all-MiniLM-L6-v2生成的句向量，两者拼接后训练balanced logistic regression分类器。

TF-IDF使用标题加最多1,500字符的描述，句向量使用标题加最多1,000字符的描述。

研究引入人类玩家和TF-IDF作为对照组基准

TF-IDF是一种不理解语义、只做词汇层面匹配的关键词权重方法，作为非神经网络基线其表现上限低于嵌入模型或大语言模型

对于文本较短且类别边界清晰的任务（如垃圾邮件过滤），TF-IDF 方案往往已经够用；语义细粒度要求高时 BERT 微调收益更显著

传统的 TF-IDF + 逻辑回归方案不依赖预训练，将文本转为词频统计向量后训练线性分类器，速度快、资源占用低，但语义理解能力不如 BERT

经典机器学习方法（如逻辑回归、SVM、朴素贝叶斯）配合TF-IDF或固定词向量等预计算文本特征，参数量极小，CPU推理延迟可低至毫秒级

TF-IDF中IDF衡量词在整个语料库中的稀有程度，出现在越多文档中的词IDF值越低