FastEmbed是由Qdrant开发的一款轻量级Python向量嵌入库,基于ONNX Runtime构建,支持在CPU环境下高效运行,无需依赖GPU。它提供文本、图像等多模态内容的向量化能力,内置多种预训练嵌入模型,适用于语义搜索、检索增强生成(RAG)等自然语言处理应用场景,具有安装简便、推理速度快、资源占用低的特点。
FastEmbed是由Qdrant团队开发的Python库,专门用于在本地环境中快速生成文本和图像的向量嵌入
FastEmbed采用ONNX Runtime作为推理引擎,不需要依赖PyTorch或TensorFlow
FastEmbed只支持特定的模型列表,并非所有Hugging Face上的模型都能直接使用
Google的KALM/Gemma系列等MTEB排行榜上排名最高的一些模型不在FastEmbed支持范围内
FastEmbed的embed()方法返回的是一个生成器(Generator),需要通过list()来触发实际的计算
FastEmbed默认嵌入模型在语义测试中,Apple与Microsoft的向量欧氏距离为0.78,比Apple与Bananas的距离0.877更近,正确识别了科技公司语义关联
FastEmbed支持图像嵌入,可使用Qdrant/resnet50-onnx等模型
Qdrant向量数据库在使用add方法添加文档时,如果没有手动提供嵌入向量,会自动调用FastEmbed在后台完成嵌入计算
FastEmbed的GPU加速目前仅支持NVIDIA显卡(需要安装CUDA驱动),AMD显卡暂不支持
FastEmbed可通过pip install fastembed安装CPU版本,通过pip install fastembed-gpu安装GPU版本
还有 2 条时间轴事件