Ollama
Ollama 是一款开源的本地大语言模型运行框架,允许用户在个人计算机上部署和运行多种大型语言模型,无需依赖云端服务。它提供命令行界面与 REST API,支持 Llama、Mistral 等主流开源模型,并通过简洁的模型管理机制实现模型的下载、切换与运行,适用于开发者进行本地推理、调试与应用集成。
核心事实
时间轴 (近 90 天)
Ollama默认提供的模型多为4-bit量化版本(Q4_0或Q4_K_M格式)
Ollama将CUDA、cuDNN等底层依赖封装在内部,用户无需手动配置GPU环境
Ollama能够在模型超出显存容量时自动将部分模型层卸载到内存中由CPU处理(offloading技术)
Ollama本身完全免费且开源
Ollama提供标准API接口,支持Python、Java、Rust等多种编程语言调用
Ollama支持的模型包括Meta的Llama系列、Google的Gemma、阿里的通义千问等主流开源模型
Ollama的官方网站地址为ollama.com
Pixel Video支持多种大语言模型,包括GPT、通义千问、DeepSeek和Ollama
Ollama需要版本0.24或更新才能支持Codex启动器集成
通过命令'ollama run codex'可以启动Codex并选择本地安装的模型
还有 40 条时间轴事件
全部知识事实 (20)
Qwen3可以通过Ollama在本地部署运行
95%待验证llama.cpp、Ollama、vLLM等推理框架可让用户在消费级硬件上运行量化后的开源模型
95%待验证除DeepSeek外,Ollama还支持Qwen2.5-Coder、CodeGemma、Llama3等开源模型
90%待验证Ollama将CUDA、cuDNN等底层依赖封装在内部,用户无需手动配置GPU环境
90%待验证通过命令'ollama run codex'可以启动Codex并选择本地安装的模型
85%待验证Ollama默认提供的模型多为4-bit量化版本(Q4_0或Q4_K_M格式)
85%待验证Ollama的模型存储结构包含manifests和blobs两个子目录
85%待验证Proxy AI(ProxyAI)是一款开源的JetBrains IDE插件,支持连接OpenAI、Anthropic、本地Ollama等多种后端
85%待验证Claude Code可以配置为调用本地Ollama模型替代云端Claude模型进行推理
85%待验证通过Ollama部署Gemma 4的e4b版本,模型下载总计约9.6GB
85%待验证LangChain集成了Anthropic、AWS、Chroma向量数据库、Ollama等工具和服务
85%已验证Ollama内置了与OpenAI兼容的REST API,默认端口为11434
80%已验证Ollama支持macOS、Linux、Windows跨平台运行
80%已验证Spring AI 通过定义统一的 ChatModel、EmbeddingModel 等核心抽象接口,让上层业务代码与具体模型实现解耦
80%已验证Ollama是一款开源的本地大模型运行框架,支持在个人电脑上一键部署各种开源大语言模型
80%已验证Ollama底层基于llama.cpp的推理引擎,原生支持GGUF格式的量化模型
80%待验证Ollama于2023年推出,其设计灵感来源于Docker的容器化思想
80%待验证Ollama需要版本0.24或更新才能支持Codex启动器集成
80%部分验证主流的本地LLM部署方案包括Ollama(一键部署和管理本地模型)、LM Studio(图形化界面)和vLLM(高性能推理引擎)
75%已验证Ollama本身完全免费且开源
75%