MTEB
MTEB（Massive Text Embedding Benchmark）是一个大规模文本嵌入模型评估基准，由Hugging Face等机构联合提出。它涵盖分类、聚类、语义文本相似度、检索、重排序等多种自然语言处理任务，支持多种语言，旨在对文本嵌入模型进行全面、系统的性能评测。MTEB附有公开排行榜，供研究者和开发者比较不同嵌入模型的综合表现，是该领域广泛采用的标准评估工具。
核心事实
时间轴 (近 90 天)
FaMTEB 是波斯语版本的 MTEB，汇集了多种波斯语嵌入评测任务，其中检索类任务用于衡量模型在查询-文档匹配上的能力。
nanoMTEB 是 MTEB 的精简子集，用于低成本评估检索与重排序模型的文本匹配能力；ViDoRe 是面向视觉文档检索的基准，V3 为其较新版本。
SpecMRL 在 MTEB 上的优势具有一致性，但尚未见独立复现或第三方分析。
在 MTEB 上的实验表明，SpecMRL 在所有评估的缩减维度上均优于 MRL。
研究者使用MTEB和MMTEB基准，覆盖18种语言，进行了超过200项单语评估。
MTEB在8种任务类型的58个数据集上对162个嵌入模型进行排名。
MTEB排名第一的嵌入模型在特定领域往往只能排第三或第四，有时更差。
在真实世界RAG管线中，MTEB排名前15的嵌入模型之间切换，会产生15到25个百分点的性能波动。
MTEB的检索任务报告nDCG@10。
MTEB的不同赛道（English v1、English v2、多语言和BEIR检索专用数据）使用不同测试集，分数不能直接跨赛道比较；建议按检索分数排序而非总体平均分，并在同一赛道内比较模型
还有 10 条时间轴事件
全部知识事实 (20)
EmbeddingGemma 2 在 MTEB Code 基准上得分从初代的 68.76 提升至 78.68，提升 9.92 分
75%待验证MTEB是评估嵌入模型性能的重要参考排行榜
70%待验证FaMTEB 是波斯语版本的 MTEB，汇集了多种波斯语嵌入评测任务，其中检索类任务用于衡量模型在查询-文档匹配上的能力。
50%待验证nanoMTEB 是 MTEB 的精简子集，用于低成本评估检索与重排序模型的文本匹配能力；ViDoRe 是面向视觉文档检索的基准，V3 为其较新版本。
50%待验证SpecMRL 在 MTEB 上的优势具有一致性，但尚未见独立复现或第三方分析。
50%待验证在 MTEB 上的实验表明，SpecMRL 在所有评估的缩减维度上均优于 MRL。
50%待验证研究者使用MTEB和MMTEB基准，覆盖18种语言，进行了超过200项单语评估。
50%待验证MTEB排名第一的嵌入模型在特定领域往往只能排第三或第四，有时更差。
50%待验证MTEB在8种任务类型的58个数据集上对162个嵌入模型进行排名。
50%待验证在真实世界RAG管线中，MTEB排名前15的嵌入模型之间切换，会产生15到25个百分点的性能波动。
50%待验证MTEB的检索任务报告nDCG@10。
50%待验证MTEB的不同赛道（English v1、English v2、多语言和BEIR检索专用数据）使用不同测试集，分数不能直接跨赛道比较；建议按检索分数排序而非总体平均分，并在同一赛道内比较模型
50%待验证EmbeddingGemma 2 在代码任务上比第一代 EmbeddingGemma 提升了约 14%（MTEB code 得分 78.68 对比 68.76）
50%待验证ConTEB 是专门针对上下文嵌入能力设计的公开评测集，区别于更通用的 MTEB
50%待验证检索模型的准确率通常在 BEIR 和 MTEB 等标准测试集上进行评测
50%待验证MTEB 涵盖检索、分类、聚类、语义相似度等多类任务，已成为嵌入模型排行榜的主流标准
50%待验证Voyage AI 的嵌入模型在 MTEB 等标准评测中表现突出，尤其擅长代码检索与长文档理解场景
50%待验证FastEmbed-rs所使用的量化模型在MTEB基准测试中相比全精度模型的性能下降通常控制在1-2%以内
50%待验证FastEmbed-rs所使用的量化模型通常采用INT8动态量化或静态量化，在MTEB基准测试中相比全精度模型的性能下降通常控制在1-2%以内
50%待验证BGE和E5系列在MTEB基准测试上表现出色，其中BGE-M3支持多语言、多粒度和多功能检索
50%