向量嵌入
向量嵌入(Vector Embedding)是一种将离散数据(如文本、图像、音频等)映射为连续高维向量空间中稠密向量的技术。通过机器学习模型训练,语义相近的数据在向量空间中距离更接近,从而捕捉数据的语义关系与结构特征。广泛应用于语义搜索、推荐系统、自然语言处理、图像识别及跨模态检索等领域,是现代AI系统的核心基础技术之一。
核心事实
时间轴 (近 90 天)
大模型的上下文窗口有限,且每次调用都是无状态的,因此Agent要实现长期记忆通常需要将对话或文档转成向量嵌入(Embedding)存入向量数据库,通过相似度检索找回相关内容并拼接到Prompt中。
Semantic Router 是一种用于语义路由的开源工具,通常基于向量嵌入对用户查询进行意图分类,从而将请求动态分发到合适的处理逻辑或模型。
RAG系统先切分文档并转换为向量嵌入,通过余弦相似度等度量检索,相似度衡量语义接近程度而非事实正确性。
Transformer将token映射为高维向量,语义关系体现为向量空间中的几何结构——相似概念距离较近,形成簇和流形。
语义相似度检索衡量的是主题相关性而非答案蕴含性,一个段落可能主题相关却缺少回答问题所需的具体事实,这是诱发语言模型无根据推断的直接原因。
仓库智能是一组技术的集合,包括向量嵌入、AST(抽象语法树)解析和知识图谱,目的是让 AI 编程代理理解整个代码库的结构、依赖和关系,而不只是当前打开的那个文件。
向量嵌入把代码块转换成数值表示,检索出与代理当前任务语义最相似的部分,本质上是把检索增强生成(RAG)从文档搬到源代码上。
向量嵌入衡量的是「像不像」,而不是「连没连」,因此对调用与依赖的判定不提供保证。
向量嵌入、AST 解析和知识图谱三者互补:向量嵌入负责「找得到」,AST 解析负责「看得懂结构」,知识图谱负责「追得动关系」。
向量嵌入将文本片段映射为高维空间中的一组浮点数,语义相近的内容在该空间中距离较近
还有 8 条时间轴事件
全部知识事实 (20)
AI模型性能与数据投喂量正相关,企业为获得更精准的AI输出需不断输入业务细节
90%已验证RAG(检索增强生成)技术架构将文档切片、向量化、存入向量数据库,查询时先检索相关片段再交给模型生成回答
90%已验证RAG的工作原理分为检索阶段(将问题转为向量从知识库召回相关内容)和生成阶段(将召回上下文与问题输入模型作答)
80%已验证语义搜索的核心是向量嵌入技术,将代码片段和自然语言查询转换为高维向量,通过余弦相似度等方法计算语义距离
80%已验证大语言模型的预训练阶段本质上属于自监督学习,是一种特殊的非监督学习,模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证BM25和TF-IDF是词法检索的经典代表,基于关键词的字面匹配与词频统计
75%已验证向量嵌入通常将文本映射到512到4096维的高维空间
70%待验证AI应用中的向量通常是几百维到几千维的高维数据,维度越高承载的语义信息越丰富
85%待验证大模型的上下文窗口有限,且每次调用都是无状态的,因此Agent要实现长期记忆通常需要将对话或文档转成向量嵌入(Embedding)存入向量数据库,通过相似度检索找回相关内容并拼接到Prompt中。
50%待验证Semantic Router 是一种用于语义路由的开源工具,通常基于向量嵌入对用户查询进行意图分类,从而将请求动态分发到合适的处理逻辑或模型。
50%待验证RAG系统先切分文档并转换为向量嵌入,通过余弦相似度等度量检索,相似度衡量语义接近程度而非事实正确性。
50%待验证Transformer将token映射为高维向量,语义关系体现为向量空间中的几何结构——相似概念距离较近,形成簇和流形。
50%待验证语义相似度检索衡量的是主题相关性而非答案蕴含性,一个段落可能主题相关却缺少回答问题所需的具体事实,这是诱发语言模型无根据推断的直接原因。
50%待验证向量嵌入、AST 解析和知识图谱三者互补:向量嵌入负责「找得到」,AST 解析负责「看得懂结构」,知识图谱负责「追得动关系」。
50%待验证仓库智能是一组技术的集合,包括向量嵌入、AST(抽象语法树)解析和知识图谱,目的是让 AI 编程代理理解整个代码库的结构、依赖和关系,而不只是当前打开的那个文件。
50%待验证向量嵌入把代码块转换成数值表示,检索出与代理当前任务语义最相似的部分,本质上是把检索增强生成(RAG)从文档搬到源代码上。
50%待验证向量嵌入衡量的是「像不像」,而不是「连没连」,因此对调用与依赖的判定不提供保证。
50%待验证向量嵌入将文本片段映射为高维空间中的一组浮点数,语义相近的内容在该空间中距离较近
50%待验证对于中小规模场景,直接将相关文本粘贴进prompt往往比搭建基于向量嵌入的RAG系统更简单且效果不差
50%待验证部分跨平台AI记录工具支持语义搜索,即用自然语言提问直接检索历史会议内容,这种能力只有在数据集中时才能充分发挥
50%