Sentence Transformers
基于BERT/RoBERTa的开源句子嵌入框架,通过孪生网络结构训练,专为语义相似度计算和句子级别嵌入生成设计,广泛用于语义搜索和RAG场景
时间轴 (近 90 天)
本地化改造的动机是隐私:终端应用将数据流转限制在本地进程,Ollama 和 Sentence Transformers 本地推理,ChromaDB 落盘本地。
嵌入模型一旦确定就不能中途更换,否则新写入向量与旧向量维度不一致,ChromaDB 会报错,历史数据只能全部重建。
paraphrase-multilingual-MiniLM-L12-v2是Sentence Transformers库提供的多语言句子嵌入模型,它把12层Transformer编码器的输出通过平均池化压缩成384维向量,支持约50种语言。
模型首次使用时由encode()自动下载权重。
Sentence Transformers是在BERT、XLM-R等预训练模型之上做对比学习微调的框架,训练目标是让语义相似的句子向量彼此靠近。
使用paraphrase-multilingual-MiniLM-L12-v2模型进行语义检索,查询'Where is the kitten?'时,'The cat sat on the mat.'得分0.560排第一,西语'El gato duerme en la alfombra.'得分0.480排第二,两个句子没有任何共享单词。
OpenAI、Google 及各类开源模型(如 BERT、Sentence Transformers)生成的向量在维度、数值分布和语义排列方式上各不相同
全部知识事实 (7)
本地化改造的动机是隐私:终端应用将数据流转限制在本地进程,Ollama 和 Sentence Transformers 本地推理,ChromaDB 落盘本地。
50%待验证嵌入模型一旦确定就不能中途更换,否则新写入向量与旧向量维度不一致,ChromaDB 会报错,历史数据只能全部重建。
50%待验证paraphrase-multilingual-MiniLM-L12-v2是Sentence Transformers库提供的多语言句子嵌入模型,它把12层Transformer编码器的输出通过平均池化压缩成384维向量,支持约50种语言。
50%待验证模型首次使用时由encode()自动下载权重。
50%待验证Sentence Transformers是在BERT、XLM-R等预训练模型之上做对比学习微调的框架,训练目标是让语义相似的句子向量彼此靠近。
50%待验证使用paraphrase-multilingual-MiniLM-L12-v2模型进行语义检索,查询'Where is the kitten?'时,'The cat sat on the mat.'得分0.560排第一,西语'El gato duerme en la alfombra.'得分0.480排第二,两个句子没有任何共享单词。
50%待验证OpenAI、Google 及各类开源模型(如 BERT、Sentence Transformers)生成的向量在维度、数值分布和语义排列方式上各不相同
50%