Ollama入门指南：零基础本地部署开源大模型

为什么要在本地部署大模型

大家平时用的在线大语言模型，无论是 ChatGPT、DeepSeek^广告，还是百度文心一言、阿里通义千问^广告，本质上都是登录到服务商提供的网址，和他们托管好的模型进行对话。单纯聊天通常免费，但一旦涉及个性化开发——比如通过 API 调用模型、将其嵌入到自己的应用里，就需要申请 API Key 并按照返回的 token 量计费。

DeepSeek 的 API 价格相对便宜，早期注册还会赠送调用额度，但这类赠送如今已经取消。更关键的是，无论价格多低，只要走云端 API，就会持续产生费用，而且数据要经过第三方服务器。对于需要处理私有数据、或者想做大量调试开发的用户来说，这既是成本问题，也是数据安全问题。

随着 DeepSeek、LLaVA 等一批优秀模型陆续开源（OpenAI 的 GPT 系列并未开源），把这些开源模型直接部署到本地运行成为可能。本地运行意味着不用申请 Key、不用付费，开发调试时想调多少次调多少次。而要把这件事做得足够简单，就需要一个专门的工具——Ollama。

Token 是大语言模型计量文本的基本单位，可以粗略理解为"词片段"。对于中文，1个 token 大约对应0.6到1个汉字；对于英文，1个 token 约等于0.75个单词。云端 API 通常分别对"输入 token"（你发送给模型的内容）和"输出 token"（模型返回的内容）计费。一次看似简单的对话，加上系统提示词和上下文历史，实际消耗的 token 量往往远超预期。当需要大批量处理文档、反复调试 prompt、或构建需要多轮对话的应用时，token 费用会快速累积，这正是本地部署对高频开发者具有强烈吸引力的根本原因。

Ollama 到底是什么

Ollama 可以理解为一个管理各类开源大模型的平台工具。它的核心价值在于把原本复杂的本地部署流程彻底简化，让普通用户也能轻松把开源模型跑在自己的机器上。

通过 Ollama，你可以完成一整套模型管理操作：下载模型、运行模型、删除模型，甚至基于现有模型做个性化创建和训练，打造属于自己的私有模型。它提供了两种使用方式——一种是命令行（CLI）的交互式方式，另一种是 Web UI 图形界面，满足不同用户的使用习惯。

在跨平台支持上，Ollama 覆盖了 macOS、Windows、Linux 以及 Docker 环境。个人学习体验可以直接在 Windows 或 Mac 上安装；而企业场景则更适合用 Linux 或 Docker 来部署，便于集中管理和扩展。

Ollama 的核心特点

把 Ollama 的优势拆开来看，主要集中在几个方面。

开源免费，跨平台通用

Ollama 本身是开源免费的工具，不会额外产生授权费用。配合它所管理的开源模型，整条链路都能做到零付费使用。加上对主流操作系统和容器环境的全面支持，无论是个人电脑还是企业服务器，都能找到合适的部署方式。

自动调度 GPU 与 CPU 资源

这是 Ollama 最值得称道的地方之一。过去如果没有这类工具，想在本地跑大模型，你得自己搞定一整套复杂的 GPU 环境配置，还要考虑显卡是否被支持、驱动和依赖是否齐全。即便电脑支持 GPU，繁琐的环境搭建也足以劝退大多数人。

Ollama 把这些复杂度都隐藏了。它能充分利用机器资源，既可以调用 GPU，也可以使用 CPU，自动完成资源调度。这意味着没有独立显卡的用户也能跑起模型，大大降低了开源模型的使用门槛。

当然需要提醒的是，模型越大，对机器配置的要求越高。以 DeepSeek 最新的完整版模型为例，体积可能达到数百 GB，运行它自然需要更强悍的硬件。使用前要根据自己的机器情况，选择合适规模的模型。

大模型的运行对硬件的核心需求是内存带宽，而非单纯的计算能力。GPU 之所以跑模型更快，是因为其显存（VRAM）带宽远高于普通内存。Ollama 在有 GPU 时会优先将模型权重加载到显存中推理；若显存不足，它会自动将部分层卸载到内存甚至硬盘，以 CPU 补足算力，代价是速度明显下降。因此评估自己机器能否流畅运行某个模型，核心指标是显存容量：7B 参数的量化模型约需 4–6 GB 显存，13B 约需 8–10 GB，而完整未量化的大体积模型则可能需要数十乃至数百 GB。选择与自己硬件匹配的模型规模，是获得良好体验的关键前提。

丰富的 API 与命令行接口

Ollama 提供了完善的 API 和 CLI 操作方式。开发者可以通过 Python、Java 或其他语言来访问本地部署的模型，扩展性很强。

最常见、也最有价值的一种用法，是通过 API 与本地模型交互：在现有开源模型的基础上灌入公司或企业内部的私有知识库，构建私有领域的问答机器人。这类场景既保证了数据不出本地、保障隐私安全，又避免了云端 API 的持续费用，是 Ollama 在实际生产中的典型落地方式。

Ollama 在本地启动后会默认监听 http://localhost:11434，对外暴露兼容 OpenAI 格式的 REST API。这意味着大量已经适配 OpenAI 接口的开源框架和工具——例如用于构建 RAG（检索增强生成）应用的 LangChain、LlamaIndex，以及各类 Agent 框架——都可以几乎零修改地切换到 Ollama 本地模型。所谓 RAG（Retrieval-Augmented Generation），是指先从本地知识库中检索出与问题相关的文档片段，再将其作为上下文一并送入模型生成答案，从而让模型"知道"训练数据之外的私有信息。这是文章中提到的"灌入私有知识库构建问答机器人"的底层技术路径。

小结

归纳一下这节内容的几个重点。Ollama 是一个开源的大模型管理工具，借助它可以方便地把各类开源模型部署到本机，使用时不再按 token 付费。它的特点可以概括为三点：开源免费且跨平台；提供 API 与 CLI 两种方式管理和调用模型；资源利用灵活，GPU 和 CPU 都能用，显著降低了开源大模型的使用门槛。

理解了 Ollama 的定位和能力之后，下一步就可以进入实际的下载、安装与模型部署环节，真正把一个开源大模型跑在自己的电脑上。