#本地部署大模型
共 48 篇相关文章
·6 分钟
本地部署大模型完全指南：工具选择与硬件配置
系统介绍如何在本地设备上部署运行开源大语言模型，涵盖硬件显存要求、量化技术原理、Ollama/LM Studio等主流工具链推荐，以及Llama、Qwen等模型选型建议，帮助开发者摆脱云端API依赖。
阅读全文 →
·9 分钟
本地部署大模型的5种方法：从入门到生产环境
详解本地部署大模型的5种主流方案：LlamaCPP、Ollama、LM Studio、vLLM/SGLang、MLX-LM，涵盖从个人开发到生产环境的完整选型指南，助你实现数据不出本地的AI私有化部署。
阅读全文 →
教程攻略·7 分钟
Ollama本地部署大模型：三步完成安装到对话
详细介绍如何使用Ollama在本地电脑部署大语言模型，涵盖下载安装、模型选择、一键部署到对话的完整流程，无需编程基础，支持离线运行且完全免费。
阅读全文 →
教程攻略·7 分钟
Ollama本地部署大模型完全指南：断网也能用的AI
详解Ollama本地部署开源大模型的完整流程，涵盖安装配置、模型选择、显存要求及实际效果对比。支持Llama 3、通义千问等主流模型，零成本、断网可用，轻松打造私有AI工作站。
阅读全文 →
教程攻略·5 分钟
Ollama本地部署大模型教程：安装配置到API调用全流程
详解Ollama本地部署开源大模型的完整流程，涵盖安装配置、模型选择与量化策略、Python代码调用API、性能优化等实战技巧，帮你快速在本地运行Qwen、Llama等大模型。
阅读全文 →
教程攻略·6 分钟
本地部署大模型怎么判断显存爆了？一文看懂显存监控方法
本地部署大模型时如何判断显存是否爆满？本文详解专用显存与共享GPU内存的区别，教你通过任务管理器快速判断显存溢出，并提供模型量化、上下文长度控制等避免爆显存的实用建议。
阅读全文 →
教程攻略·8 分钟
LocalAI教程：无需GPU本地部署大模型，Docker一键搞定
详解LocalAI本地部署教程，无需GPU即可运行近千种开源大模型。通过Docker一键部署，兼容OpenAI API接口，支持对话、文生图、语音等多模态功能，数据完全本地化，隐私安全有保障。
阅读全文 →
教程攻略·4 分钟
Ollama本地部署大模型教程：17万星标开源工具支持DeepSeek、Qwen、Kimi等主流模型
Ollama是GitHub上17万星标的开源本地大模型部署工具，一行命令即可运行DeepSeek、Qwen、Kimi-K2.5、GLM-5等主流模型。本文详解Ollama的核心优势、支持模型及本地推理的深层意义。
阅读全文 →
·15 分钟
jlens-gguf：为llama.cpp本地大模型带来雅可比透镜可视化与引导
jlens-gguf是一款开源工具，将Anthropic雅可比透镜（Jacobian Lens）可解释性方法引入GGUF与llama.cpp生态，支持模型内部观测、实时引导（steering）及abliteration操作，兼容dense与MoE架构，让本地推理用户也能探索大模型内部机制。
阅读全文 →
·19 分钟
Ollama+Dify+DeepSeek本地企业级知识库搭建全指南
手把手教你用Ollama+Dify搭建本地企业级RAG知识库，涵盖模型安装、IP监听配置、自定义微调模型导入、Embedding向量检索全流程，彻底摆脱云端API依赖，保障数据安全。
阅读全文 →
·13 分钟
用 Ollama 跑本地模型接入 Claude Code，AI 成本降低 99%
通过 Ollama 开源方案，将 Claude Code 等 AI 编程工具指向本地运行的开源模型，解锁 DeepSeek、Qwen3、Gemma 等数百个模型，在保持原有工作流不变的前提下，将 API 使用成本降至接近于零。本文详解配置方法、硬件要求与竞品对比。
阅读全文 →
llmfit：一条命令检测硬件能跑哪些本地大模型
·15 分钟
llmfit：一条命令检测硬件能跑哪些本地大模型
llmfit 是用 Rust 编写的开源命令行工具，无需下载模型即可预判本地硬件能否运行指定 LLM。覆盖数百种模型与 Ollama、llama.cpp 等主流推理后端，帮助开发者在本地部署大模型前快速完成硬件适配评估，避免反复试错。
阅读全文 →
·15 分钟
V100显卡选购对决：4×16G PCIe与2×32G SXM哪个更值？
实测对比4张V100 16G原生PCIe与2张V100 32G SXM转接PCIe方案的推理性能。从预处理速度、输出速度到性价比，深度解析多卡堆叠的功耗墙与带宽瓶颈，帮你找到本地大模型部署的最优解。
阅读全文 →
·16 分钟
Mesh LLM：用多台旧电脑拼出虚拟超级显卡跑大模型
Mesh LLM 是一款开源分布式推理框架，通过模型分层拆分，将多台普通设备聚合成「虚拟超级显卡」，让小显存机器也能运行数百GB的超大语言模型。本文详解其工作原理、跨平台安装体验，以及网络带宽这一不可回避的物理瓶颈。
阅读全文 →
·13 分钟
从零构建离线RAG应用：PDF文档本地问答完整指南
详解如何用Ollama、ChromaDB和Flask搭建完全离线的RAG应用，实现PDF文档本地问答。涵盖文档切分、向量化存储、检索增强生成及防幻觉设计，数据不出本地，无需API付费。
阅读全文 →
·5 分钟
Ollama入门：本地部署开源大模型的利器
Ollama是免费开源的大模型管理平台，支持一键部署DeepSeek等开源模型到本地，兼容macOS、Windows、Linux和Docker，提供API与命令行双模式，助你零成本构建私有化AI应用。
阅读全文 →
·9 分钟
LangChain V1.3实战教程：RAG、多智能体与工程化思维全解析
深入解析LangChain V1.3核心理念：从RAG检索增强生成到多智能体工作流，掌握LangGraph、Chain、DeepAgent三大模块，学习Token精准把控与Human-in-the-loop机制，成为AI应用开发的真正掌控者。
阅读全文 →
·9 分钟
统一内存架构揭秘：迷你PC如何运行70B大模型
为什么配备统一内存的迷你PC能跑70B大模型，RTX 4090却束手无策？本文深度解析显存墙与统一内存架构的核心差异，帮助开发者和AI爱好者做出更明智的本地部署硬件选择。
阅读全文 →
