产品
Xinference
开源模型推理与服务框架，支持本地部署多种大语言模型、嵌入模型和多模态模型
时间轴 (近 90 天)
10月18日
Dify私有化部署的典型方式是使用Docker Compose编排Dify服务组件，模型侧通过Ollama、vLLM、Xinference等推理框架本地加载开源模型，再以OpenAI兼容接口接入Dify的模型供应商设置。
待验证50%
开源模型推理与服务框架，支持本地部署多种大语言模型、嵌入模型和多模态模型
Dify私有化部署的典型方式是使用Docker Compose编排Dify服务组件，模型侧通过Ollama、vLLM、Xinference等推理框架本地加载开源模型，再以OpenAI兼容接口接入Dify的模型供应商设置。