RAGFlow本地部署教程：Docker搭建企业级RAG知识库全流程

什么是RAG技术？

RAG（Retrieval Augmented Generation，检索增强生成）是当前大模型应用领域最关键的技术之一。虽然GPT、Claude、Llama、Gemini、通义千问等大模型能力已经相当强大，但在企业内部场景中仍然绕不开三个核心痛点：知识时效性不足、容易产生幻觉、缺乏数据隐私保护。

RAG技术由Meta AI研究院的Patrick Lewis等人于2020年在论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中正式提出。该论文的核心洞察是：参数化知识（存储在模型权重中）与非参数化知识（存储在外部检索库中）可以有机结合——前者提供语言理解和生成能力，后者提供可更新的事实性知识。这一思路打破了"更大模型=更好效果"的单一路径，为知识密集型任务提供了更经济、更灵活的解决方案。

RAG技术自2020年提出以来，已经发展出三大分支：基于微调（Fine-tuning）的RAG、基于运行链的RAG，以及结合两者的混合RAG。其核心思路并不复杂——在大模型生成答案之前，先从向量数据库中检索出与问题相关的信息，将检索到的内容注入提示词，让大模型根据这些真实数据来归纳总结。这样做能大幅减轻幻觉问题，显著提升回答的准确性。

RAG核心流程详解：提取、索引、检索、生成

第一步：提取（Extract）

企业内部的知识来源五花八门：PDF文档、图片（需OCR识别）、Excel表格、网页内容等。不管是结构化数据还是非结构化数据，都需要统一提取为可处理的文本。这一步看起来简单，但要做到完善支持各种格式，实际工作量相当大。

第二步：索引（Index）

提取出的文本需要进行分块处理——可以按句子分段，也可以按固定长度（如128或1024个Token）切分。分块后通过Embedding模型将文本转换为向量，存入向量数据库（如Chroma、Pinecone）或支持向量存储的Elasticsearch中。

Embedding（嵌入）是将文本转换为高维数值向量的过程，语义相近的文本在向量空间中距离更近。常用的Embedding模型包括OpenAI的text-embedding-ada-002、开源的BGE系列（北京智源研究院出品）、以及专为中文优化的M3E模型。向量数据库专门针对高维向量的近似最近邻（ANN）搜索进行了优化，使用HNSW、IVF等索引算法，能在毫秒级别完成百万量级向量的相似度检索，这是RAG系统实时响应的技术基础。

索引阶段还可以附加文件名、作者、标题、文件类型等元数据，甚至构建树结构或图结构来提升检索效率。

第三步：检索（Retrieve）

用户提出问题后，问题同样会被Embedding为向量，然后与向量数据库中的索引数据做相似度匹配。系统先找出相似度最高的若干条结果（如Top 100），再通过重排序（Rerank）模型筛选出最相关的几条交给大模型处理。这种两阶段检索策略既保证了召回率，又控制了Token消耗成本。

Rerank模型是这一策略的关键组件。第一阶段的向量检索采用双编码器架构，速度快但精度有限；第二阶段的Rerank模型采用交叉编码器架构，会将查询和每个候选文档拼接后一起输入，进行更精细的相关性打分。常用的Rerank模型包括Cohere Rerank、BGE-Reranker等。这种"粗排+精排"的两阶段策略在信息检索领域已有成熟实践，RAG将其引入大模型应用，在召回率与精确率之间取得了良好平衡。

第四步：生成（Generate）

将检索到的相关知识作为上下文，连同用户问题一起输入大模型，由大模型进行归纳总结并生成最终答案。

RAG技术的优势与挑战

三大核心优势

时效性强：与预训练或微调不同，RAG采用"外脑挂接