sentence-transformers

OpenAI的text-embedding-ada-002和开源的sentence-transformers系列是常用的嵌入模型

Chroma可用于存储嵌入，sentence-transformers或Cohere的重排序器可用于重排序，且这些工具均免费。

使用 sentence-transformers 的关键在于理解三个环节：将文本编码成向量、对向量归一化、计算相似度。

在 sentence-transformers 中，模型会把一句话编码成一个固定维度的向量（如 384 维或 768 维），语义相近的句子在向量空间中距离更近。

EmbeddingGemma 2的上下文窗口从v1的2048 token扩展到8192，MTEB Code从68.76提升至78.68，已支持Ollama、llama.cpp、sentence-transformers、MLX、vLLM和浏览器端transformers.js；目前尚无v2的独立检索基准测试，SciFact分数0.7861属于v1

sentence-transformers 等轻量嵌入模型（参数量数亿级别）在 CPU 上的吞吐量已能满足日常增量索引需求，无需独立 GPU

1.2.3 版本将 sentence-transformers 依赖从 5.2.3 升级到 5.6.0

多重负样本排序损失（MNRL）在一批数据中把每个问题对应的段落作为正例，同批其余段落作为负例，无需手动收集负样本

若同一段文本在同一批中出现两次，损失函数会把重复段落当作错误答案，应使用no-duplicate sampler避免

常用嵌入模型包括OpenAI的text-embedding-ada-002和可本地运行的sentence-transformers

sentence-transformers可本地运行，在隐私敏感场景下尤为适用

Nils Reimers 最广为人知的工作是 sentence-transformers 开源库及其背后的 Sentence-BERT（SBERT）系列模型

项目采用 RAG 方案，通过 sentence-transformers 生成向量、FAISS 完成向量检索，对公司的数据表结构、KPI 定义和业务规则进行语义检索

常见的语义搜索实现方案包括 OpenAI 的 text-embedding 系列模型或开源的 sentence-transformers，并使用 Pinecone、Qdrant 等向量数据库

使用轻量级embedding模型如sentence-transformers的MiniLM每次推理需要几十毫秒，大型embedding模型可能达数百毫秒

本地可运行的 sentence-transformers 系列模型（如 all-MiniLM-L6-v2）能完全离线工作，而 OpenAI 的 text-embedding-3-small 等云端模型精度较高但需要联网

在 Reddit 机器学习板块，有用户提问如何真正学会 scikit-learn、PyTorch、sentence-transformers 这类 Python 库，并强调需要的是方法而不仅仅是资源。