Ollama
Ollama 是一款开源的本地大语言模型运行框架,允许用户在个人计算机上部署和运行多种大型语言模型,无需依赖云端服务。它提供命令行界面与 REST API,支持 Llama、Mistral 等主流开源模型,并通过简洁的模型管理机制实现模型的下载、切换与运行,适用于开发者进行本地推理、调试与应用集成。
核心事实
时间轴 (近 90 天)
2024年7月,Ollama加入工具调用支持。
视频作者用约50行Python、Qwen 2.5(约5亿参数)和Ollama构建Agent,工具为计算器和天气查询(仅Pune和London,假数据),设置最多5步限制;在温度0、固定种子下做了8次完整运行,每次步骤和答案完全一致。
第三方聊天客户端接入 Ollama 时,base URL 需要加 /v1 后缀,否则可能因请求路径错误而连接失败。
Mac mini M4 加 Ollama 的部署流程无需编译和容器编排,有终端经验者半小时内可完成。
千问3.5 9B 可通过命令 ollama run 千问3.5:9b 拉取并运行。
Ollama 默认只监听本机回环地址,若要让局域网其他设备访问需设置 OLLAMA_HOST 环境变量。
千问3.5 默认可能开启思考模式,可通过添加 --force 参数关闭。
Ollama 的定位是提供一条离线、免费、隐私可控的备选路径,而非替代云端 AI。
MIT 协议覆盖的是 Ollama 软件本身,不覆盖其下载的各个模型;不同模型有各自的许可证,商用前需单独确认。
Ollama 是 GitHub 上拥有 18 万星的开源项目,采用 MIT 协议,完全免费,支持 Windows、Mac 和 Linux。
还有 40 条时间轴事件
全部知识事实 (20)
@ai-sdk/togetherai 是 Vercel AI SDK 官方提供的 TogetherAI 平台适配器,构建在 openai-compatible 基础包之上
90%已验证受限于消费级设备的算力和内存,本地能运行的模型规模通常远小于云端旗舰模型,在复杂推理、长上下文处理等任务上存在差距
90%已验证GGUF 已成为 llama.cpp、Ollama、LM Studio 等主流本地推理工具的事实标准格式
85%已验证Ollama提供类似Docker的一键式模型管理体验,vLLM通过PagedAttention实现高吞吐量批量推理,LM Studio面向桌面用户提供图形化界面
80%已验证Ollama Cloud是Ollama的云端延伸服务,为开发者提供托管式模型调用
80%已验证Ollama将本地大模型部署封装成单行命令并内置模型量化支持,简化了下载、量化和运行流程
80%已验证llama.cpp支持CPU与GPU的混合推理(层卸载),可将模型部分层加载到GPU显存、其余层保留在内存
80%已验证Ollama能够自动识别并利用机器上的计算资源,GPU和CPU均可调度
80%已验证Ollama提供标准API接口,支持Python、Java、Rust等多种编程语言调用
80%已验证Ollama本身完全免费且开源
80%已验证Ollama将本地模型部署简化为一条命令行指令,并提供与OpenAI兼容的本地API接口
80%已验证Ollama提供了类似Docker的模型管理体验,一行命令即可拉取和运行模型
80%已验证Open WebUI 支持 Ollama 和 OpenAI API 等多种后端
80%已验证AnythingLLM兼容OpenAI、Anthropic Claude、本地Ollama模型等多种LLM后端
80%已验证Ollama使用Go语言开发
80%已验证Ollama底层基于llama.cpp的推理引擎,原生支持GGUF格式的量化模型
80%已验证Ollama自动识别系统中的NVIDIA GPU并选择最优推理后端(CUDA、Metal或纯CPU),对Apple Silicon用户通过Metal API实现GPU加速
80%已验证Cube Studio支持vLLM、Ollama、MindIE等主流大模型推理引擎,并支持多机推理
80%已验证本地运行大模型意味着所有数据都不会离开用户的设备,具有隐私优势
80%已验证Spring AI支持OpenAI、Anthropic、Ollama等多种模型提供商,提供统一的API抽象层
80%