Ollama
Ollama 是一款开源的本地大语言模型运行框架，允许用户在个人计算机上部署和运行多种大型语言模型，无需依赖云端服务。它提供命令行界面与 REST API，支持 Llama、Mistral 等主流开源模型，并通过简洁的模型管理机制实现模型的下载、切换与运行，适用于开发者进行本地推理、调试与应用集成。
核心事实
时间轴 (近 90 天)
Memesis 目前能支撑多智能体和并行任务，并可通过 Ollama 接入 Claude 和本地模型。
Ollama 在显存不足时会自动回退到 CPU 推理，速度会明显下降。
Ollama 是最省事的本地部署方式，一行安装、一行启动、模型自动下载，无需手动管理显卡调用。
在DSH中配置自定义模型时，API地址必须带上/v1路径（如http://localhost:11434/v1）。
Ollama官网安装包走外网，UP主实测下载可能需要一个小时左右，取决于网络状况。
在Ollama内置列表中可以直接下载千问3.5 4B、Gemma 4 2B、千问3.5 8B、千问3.5 2B等模型。
千问3.5 2B模型在测试中只输出了思考过程，没有给出实际回应。
创建Modelfile时，需新建txt文件并命名为Modelfile，保存时去掉.txt后缀。
在内存小于24GB的Mac上，Ollama默认只给模型约4000个token的上下文，而代理至少需要64000个token。
用Ollama在M4 Mac mini上运行7B级别模型总结维基百科页面，生成速度约为每秒13个token，但处理提示词花了2分20秒。
还有 40 条时间轴事件
全部知识事实 (20)
@ai-sdk/togetherai 是 Vercel AI SDK 官方提供的 TogetherAI 平台适配器，构建在 openai-compatible 基础包之上
90%已验证受限于消费级设备的算力和内存，本地能运行的模型规模通常远小于云端旗舰模型，在复杂推理、长上下文处理等任务上存在差距
90%已验证GGUF 已成为 llama.cpp、Ollama、LM Studio 等主流本地推理工具的事实标准格式
85%已验证Ollama提供类似Docker的一键式模型管理体验，vLLM通过PagedAttention实现高吞吐量批量推理，LM Studio面向桌面用户提供图形化界面
80%已验证Ollama Cloud是Ollama的云端延伸服务，为开发者提供托管式模型调用
80%已验证Ollama将本地大模型部署封装成单行命令并内置模型量化支持，简化了下载、量化和运行流程
80%已验证llama.cpp支持CPU与GPU的混合推理（层卸载），可将模型部分层加载到GPU显存、其余层保留在内存
80%已验证Ollama能够自动识别并利用机器上的计算资源，GPU和CPU均可调度
80%已验证Ollama提供标准API接口，支持Python、Java、Rust等多种编程语言调用
80%已验证Ollama本身完全免费且开源
80%已验证Ollama将本地模型部署简化为一条命令行指令，并提供与OpenAI兼容的本地API接口
80%已验证Ollama提供了类似Docker的模型管理体验，一行命令即可拉取和运行模型
80%已验证Open WebUI 支持 Ollama 和 OpenAI API 等多种后端
80%已验证AnythingLLM兼容OpenAI、Anthropic Claude、本地Ollama模型等多种LLM后端
80%已验证Ollama使用Go语言开发
80%已验证Ollama底层基于llama.cpp的推理引擎，原生支持GGUF格式的量化模型
80%已验证Ollama自动识别系统中的NVIDIA GPU并选择最优推理后端（CUDA、Metal或纯CPU），对Apple Silicon用户通过Metal API实现GPU加速
80%已验证Cube Studio支持vLLM、Ollama、MindIE等主流大模型推理引擎，并支持多机推理
80%已验证本地运行大模型意味着所有数据都不会离开用户的设备，具有隐私优势
80%已验证Spring AI支持OpenAI、Anthropic、Ollama等多种模型提供商，提供统一的API抽象层
80%