#本地部署
共 415 篇相关文章
Ollama入门指南：本地跑大模型的最低门槛工具
Ollama是本地跑大模型的最低门槛工具，三条命令完成安装到对话。本文讲解其「管家加引擎」分层设计、本地与云端边界、模型库生态及选型建议，适合入门读者快速建立认知。
本地大模型怎么选？四个标准帮你精准对号入座
本地部署大模型如何从开源社区海量文件中选对版本？用参数量、格式量化、上下文、许可证四个标准建立筛选漏斗，附 GGUF/AWQ 格式区分与 Q4_K_M 量化推荐，告别瞎下错误文件。
LiteLLM 智能路由实战：本地 LLM 的大小模型自动分流
LiteLLM 作为统一网关，为本地 LLM 实现大小模型自动路由。本文结合 Pi Coding Agent 实测，解析启发式与 LLM 两种分类器的工作原理，演示 Ollama、MLX 多模型按任务复杂度智能分流的完整工作流。
APTV调用本地大模型：零成本实现电视直播AI中文字幕实时翻译
APTV 直播源播放器支持调用本地大模型实现电视直播 AI 中文字幕实时翻译。本文详解基于 Ollama 和千问 2.5 7B 模型的零成本配置方案，涵盖服务端部署与客户端设置。
普通电脑如何本地跑大模型？显存、量化与Ollama全解析
本地部署大模型为何总是失败？本文一次讲透显存与内存的区别、量化（Q4/Q5/Q8）、7B/8B参数量、KV Cache、GPU Offload，以及用 LM Studio 和 Ollama 从选模型到加载测试的完整新手部署流程。
Ollama决策模型实测：90毫秒做出带概率分布的判断
Ollama决策模型实测解析：不生成文本只做概率判断，平均90毫秒一次决策、本地零费用。详解Choice/Null/Score四种问题类型、Confidence正确用法、工具审核与基准数据，以及上生产前必须知道的六条约束。
n8n + Ollama 本地化AI自动化：PDF摘要不上云实战
手把手教你用 n8n 和 Ollama 搭建完全本地化的AI自动化流程：PDF丢进文件夹自动生成摘要，不上云、无API Key。涵盖Docker安装、Llama 3.2模型配置、六节点工作流及四大常见踩坑修复。
Ollama v0.40.0 发布：本地大模型运行再升级
开源本地大模型运行工具 Ollama 发布 v0.40.0 版本，修复了 embedding 嵌入请求的 413 与 400 状态码路由问题，提升 API 规范性与开发者集成体验。
35美元淘到54GB显存：9张P106矿卡捡漏实录
一位Reddit用户仅花35美元淘到闲置矿机，获得9张P106（GTX 1060）共54GB显存。本文解析P106矿卡的规格、本地AI推理价值，以及多卡方案背后的功耗、带宽与兼容性等隐性成本。
8G显存本地部署Qwen3-VL 27B：接入ComfyUI生成视频保姆级教程
阿里Qwen3-VL 27B开源多模态模型本地部署保姆级教程：8G显存即可运行，通过LM Studio部署并接入ComfyUI，配合MiniMax H3生成AI视频，附量化版本选择与低显存工作流使用方法。
一台机器跑8并发：Qwen3本地部署多任务实测
B站UP主实测在一台英伟达设备上用懒猫微服AI平台跑Qwen3 Flash Next模型，实现8路并发多任务并行。本文解析本地部署方案的硬件选择、并发表现及企业应用场景。
Ollama v0.40.0发布：Apple Silicon默认启用MLX推理引擎
Ollama 发布 v0.40.0 预发布版本，在 Apple Silicon 设备上默认启用 MLX 推理引擎，并新增 gemma4、qwen3 系列及多款 Decision 模型支持，为 Mac 本地大模型部署带来性能优化。
Strata本地部署Qwen3 Next 125B：消费级显卡跑大模型实战指南
Strata开源项目让消费级6G/8G显卡也能本地运行Qwen3 Next 125B大模型。本文详解其内存调度技术原理、模型版本选择、安装流程与上下文配置技巧，附实测速度数据与避坑指南。
Hermes Agent OS 详解：把AI工具整合成本地操作系统
Hermes Agent OS 是一个把零散 AI 工具整合成本地操作系统的方案，通过智能层、执行层、研究层和记忆库四层架构，为 AI 提供共享记忆与安全审批机制，面向非技术用户实现客户开发等自动化工作流。
亚马逊开源Strands Decider 2B决策模型，本地部署成新趋势
亚马逊推出开源决策模型Strands Decider 2B，支持本地部署并在JetBench表现出色。本文梳理轻量化模型趋势、大模型一体机竞争逻辑转变、AI自我迭代及AI造假治理等最新动向。
APTV+Ollama本地模型：0成本实现AI中文字幕实时翻译
本教程详解如何用 APTV 配合 Ollama 本地大模型，0成本实现全球电视直播的 AI 中文字幕实时翻译，涵盖 Ollama 安装、模型下载、APTV 参数配置及脚本优化连接速度的完整流程。
AMD 395核显跑Qwen3大模型：Windows下的本地部署实测
B站UP主开源GFX1151 Engine，让AMD 395核显在Windows上运行Qwen3 Flash-Next大模型。实测速度约900token、显存全占96G，本文详解部署流程、性能瓶颈与实用建议。
12GB显存跑180B大模型？Strata引擎本地部署深度解析
Strata推理引擎如何让12GB显存的RTX 5070跑起180B参数的Qwen大模型？本文深度解析其MoE稀疏激活、四层存储调度、CPU-GPU协同与投机解码架构，并核查44.8 token/s与"快3倍"数据的可信度。
8G显存本地跑Qwen3.8-27B：保姆级部署与AI视频创作教程
Qwen3.8-27B 是阿里新一代开源权重模型，在 Artificial Analysis 复杂能力榜排名第26。本文详解如何用 LM Studio 在 8G 显存本地部署，并接入 ComfyUI 为 MiniMax 视频工作流生成提示词，附新手友好的保姆级教程。
8G显存本地跑125B大模型：Qwen3 Flash部署实战
基于Scrata框架在8G/12G显存显卡上本地部署Qwen3 Flash大型MOE模型的完整实战指南，涵盖模型量化选择、国内镜像站下载避坑、思考强度配置等关键步骤，32G内存起步即可运行。