ANN

常见的向量数据库包括ChromaDB、Milvus、Pinecone、Weaviate，它们针对高维向量的近似最近邻（ANN）搜索进行了专门优化

向量数据库的核心操作是近似最近邻搜索（ANN），通过HNSW、IVF等索引算法将相似度计算加速到毫秒级响应

向量数据库通过将代码片段转化为高维嵌入向量并进行近似最近邻（ANN）搜索，在不扩展上下文窗口的前提下实现按需记忆

近似最近邻ANN算法如HNSW和IVF通过牺牲微小精度换取数量级速度提升

传统RAG流程的离线阶段将文档切片并通过嵌入模型转化为向量存储在向量数据库中，在线阶段通过近似最近邻（ANN）算法检索相似文档片段

记忆库的存储成本与检索延迟挑战：库越大，最近邻搜索越慢，通常需要借助近似最近邻（ANN）索引来维持响应速度。

重排序（reranking）是RAG检索流水线中的常见环节：先用轻量、高速的ANN检索召回较大规模的候选集（如top-100），再用更精确但更昂贵的交叉编码器（cross-encoder）对候选逐对打分并重排。

近似最近邻（ANN）搜索的核心指标是召回率（recall@k），即近似结果中命中真实Top-k的比例；与之对应的是加速比（相对精确搜索的QPS提升倍数）。

工程上通常用召回率（返回结果中真正最近邻所占比例）来衡量 ANN 近似搜索带来的损失。

精确最近邻搜索需要将查询向量与库中每一条向量逐一比对，复杂度为 O(N·d)；ANN 搜索以较高概率返回足够接近的结果，将查询复杂度降到亚线性。

近似最近邻搜索（ANN）采用HNSW或IVF等算法，以少量召回率损失换取毫秒级响应，返回语义上最近的候选集而非事实上最相关的文档。

近似最近邻搜索（ANN）通过牺牲少量召回率将检索复杂度从精确最近邻的 O(N) 降低到近似 O(log N)，使毫秒级检索在数万级注册表下成为可能。

Retrieve-then-Plan（RtP）是目前业界工具发现领域占据主导地位的方案，其流程为：先对用户查询做嵌入编码，通过近似最近邻搜索拉回语义相似的候选工具，再注入提示词交由LLM执行规划。

ANN索引（尤其是图结构的HNSW）难以高效地做原地删除，通常采用'软删除+定期合并'的折中方案。

ANN索引（如HNSW、IVF-PQ）的核心权衡在于召回率与内存、构建时间的三角关系。

近似最近邻（ANN）索引结构（如 HNSW、IVF）需要在数据分布变化后重建或调优，否则召回率会下降。

HNSW 是一种分层可导航小世界索引结构，属于近似最近邻（ANN）策略，通过牺牲少量召回精度换取数量级的速度提升。

ANN 索引与距离度量绑定，HNSW 在构建时按某种度量组织近邻图，换用另一种度量通常需要重建索引。

多向量方案的代价是每篇文档需存储多个向量，索引体积通常是单向量方案的数倍到数十倍，对向量数据库存储和ANN搜索性能要求更高

向量检索常用的距离度量包括余弦相似度和点积，实际系统通常采用近似最近邻（ANN）索引结构如 HNSW 或 IVF 以速度换取少量精度损失