开源本地知识库工具,支持将个人文档转化为智能知识库,对接Ollama等本地大模型实现RAG检索增强生成
在AnythingLLM中将文本相似性阈值设为无限制可以提高知识库的召回率,尤其对小模型和中文场景效果显著
Ollama默认监听本地11434端口,AnythingLLM通过HTTP API与其通信
AnythingLLM是一款开源工具,能够将个人文档转化为智能知识库,支持对接Ollama等本地大模型实现RAG功能
AnythingLLM安装过程中会尝试自动下载额外依赖包,这些下载往往因网络问题导致安装中断或报错
AnythingLLM中将聊天模式切换为查询(Query)模式后,模型才会严格只基于检索到的文档片段回答
AnythingLLM的API默认运行在本地3001端口
AnythingLLM提供完整的RESTful API,支持工作区创建、文档上传、Embedding处理、对话问答等全部功能的程序化调用
AnythingLLM采用设备端优先架构,文档解析、向量化存储、AI推理全部在本地完成
对于7B参数模型的4-bit量化版本,通常需要至少8GB内存和现代多核CPU即可流畅运行,推理速度约为每秒10-30个token
AnythingLLM支持多模型(OpenAI、Anthropic、Ollama等)、RAG文档处理、多用户协作和Agent插件架构
还有 40 条时间轴事件