BEIR
信息检索领域的标准评测基准，用于评估文本检索模型在多种检索任务和领域上的零样本泛化能力
时间轴 (近 90 天)
DecisionRank 在通用和推理密集型检索基准上达到了 state-of-the-art 性能，包括 TREC DL、BEIR 和 BRIGHT。
作者在 BEIR 基准和 TREC Deep Learning 赛道上，使用开放权重的指令微调模型 Llama-3.1-8B-Instruct 作为评判者进行实验。
非结构化检索领域有MS MARCO、BEIR等广泛认可的基准，而结构化检索长期缺乏统一的跨域评测集。
业界常用 BEIR、MS MARCO 等公开基准来评估检索系统。
Recall@k衡量前k个检索结果中是否包含所有相关文档，nDCG@k考虑相关文档的排名位置并归一化使不同查询可比，两者是检索评估的黄金标准，BEIR基准即采用它们。
BEIR 是一个涵盖 18 个异质性数据集的零样本检索评测套件，测试域包括生物医学、金融、法律等
SAFE-QE 在 TREC 和 BEIR 两个基准检索集合上进行了评估
检索模型的准确率通常在 BEIR 和 MTEB 等标准测试集上进行评测
MTEB（Massive Text Embedding Benchmark）是目前最广泛引用的文本嵌入评测榜单，涵盖检索、分类、聚类等任务，使用的数据集包括MS MARCO、BEIR等
TREC系列评估主要关注文档检索的相关性排序，BEIR侧重于零样本跨域检索能力的评估
全部知识事实 (10)
DecisionRank 在通用和推理密集型检索基准上达到了 state-of-the-art 性能，包括 TREC DL、BEIR 和 BRIGHT。
50%待验证作者在 BEIR 基准和 TREC Deep Learning 赛道上，使用开放权重的指令微调模型 Llama-3.1-8B-Instruct 作为评判者进行实验。
50%待验证非结构化检索领域有MS MARCO、BEIR等广泛认可的基准，而结构化检索长期缺乏统一的跨域评测集。
50%待验证业界常用 BEIR、MS MARCO 等公开基准来评估检索系统。
50%待验证Recall@k衡量前k个检索结果中是否包含所有相关文档，nDCG@k考虑相关文档的排名位置并归一化使不同查询可比，两者是检索评估的黄金标准，BEIR基准即采用它们。
50%待验证BEIR 是一个涵盖 18 个异质性数据集的零样本检索评测套件，测试域包括生物医学、金融、法律等
50%待验证SAFE-QE 在 TREC 和 BEIR 两个基准检索集合上进行了评估
50%待验证检索模型的准确率通常在 BEIR 和 MTEB 等标准测试集上进行评测
50%待验证MTEB（Massive Text Embedding Benchmark）是目前最广泛引用的文本嵌入评测榜单，涵盖检索、分类、聚类等任务，使用的数据集包括MS MARCO、BEIR等
50%待验证TREC系列评估主要关注文档检索的相关性排序，BEIR侧重于零样本跨域检索能力的评估
50%