#本地部署
共 414 篇相关文章
TrailLens Audio：用本地Gemma 3打造离线自然观察助手
TrailLens Audio 是一款开源徒步伴侣应用，基于本地运行的 Gemma 3 4B 和 Kokoro 82M 实现离线物种识别与语音讲解，并通过 Pocket Quest 功能引导用户放下手机、重返自然。本文解析其技术栈与设计理念。
本地部署大模型选型指南：别再盯着参数和排行榜
如何为自己的硬件选择本地大语言模型？本文提供一套六步法：从任务需求出发、合理预算内存、权衡量化、理解可用上下文、核查许可证与安全性，并通过可复现测试做最终决策，告别盲目看参数和排行榜。
开源文生图模型选型指南：从Qwen到FLUX.2的本地部署全攻略
一份开源文生图模型选型与本地部署指南，涵盖Qwen-Image-2.1、FLUX.2、Ideogram、Ming-Image等主流模型评测，以及ComfyUI部署、显存优化与许可证选择要点。
用n8n+Qwen搭建本地化记账助手：拍照即入账的隐私方案
一套基于 n8n、Qwen 和 Ollama 的本地化记账助手方案：拍照小票发到 Telegram，自动识别商家、日期、金额并写入表格，数据不上云、无需订阅，附金额校验机制与隐私保护思路。
本地Gemma视觉模型补全地图盲区：为膝痛者规划"随处可坐"散步路线
开源项目 Bench to Bench 用本地运行的 Gemma 视觉模型识别街景照片中的座位，为膝痛者规划"随处可坐"的散步路线，补全 OpenStreetMap 的数据盲区。文章解析其"模型负责看、代码负责决策"的架构与人工核验结果。
本地离线AI实测：16任务揭示小模型选型陷阱
Lastbrowser 团队用 16 个浏览器任务、770 次尝试评测 29 个本地离线 AI 配置，揭示小模型选型中的速度与可靠性权衡、评分 Bug、MTP 加速及评测方法本身的陷阱。
Strata开源项目：家用PC本地跑125B模型快云端5倍
开源项目Strata让1250亿参数大模型在家用游戏PC本地运行，速度比云端快3到5倍。本文解析其显卡、CPU、内存、固态硬盘协同调度的门铃机制与推测解码技术，并附本地与云端实测对比。
Walk Tutor：边走路边练算法，离线语音DSA教练实战
Walk Tutor 是一个完全离线运行的开源语音算法教练，基于 faster-whisper、Ollama + Gemma 3 1B 和 pyttsx3 构建。它让你边走路边练算法，并通过代码判定+模型反馈的巧妙设计解决了小模型不可靠的问题。
停电也能触发健康提醒：本地Gemma如何在断网时让程序员走出户外
尼日利亚开发者打造开源工具 Light don go：笔记本停电切换电池时，本地运行的 Gemma 4 E2B 模型离线生成提醒，让程序员走出户外。深度解析其断网设计、代码与 AI 职责分离的工程取舍。
一张24GB显卡跑三个AI服务：实测只用了17.8GB
一位家庭 AI 实验者在单张 24GB RTX 3090 上同时运行 Whisper 转录、TTS 语音与嵌入模型，7 天实测显存占用 17.8GB、峰值 23.4GB 且零溢出。本文揭示常驻服务显存为权重的 1.2–2.5 倍，并给出本地 LLM 显卡选型的实用建议。
本地AI智能体的耐久性测试：运行时才是真正的基准
一位开发者在迷你主机上对本地AI智能体做了连续30天以上的耐久性基准测试，提出「运行时才是真正的基准」。涵盖内存卡死阈值、沙箱爆炸半径评分、U型召回曲线、性能腐烂与分档路由成本等五大发现。
本地部署Qwen3.5：用Ollama与OpenClaw打造免费AI智能体
手把手教你用Ollama在本地免费运行Qwen3.5，搭配OpenClaw构建全天候AI智能体。涵盖环境准备、模型拉取、Apidog测试、性能优化与安全加固的完整流程。
零成本搭建企业级本地化AI知识库：RAG实战入门指南
手把手搭建企业级本地化AI知识库系统：基于RAG检索增强生成技术，零成本实现文档问答与智能客服。详解系统架构、本地部署的数据安全优势与灵活性，小白也能入门的LLM实战指南。
FieldClass AI：让本地小模型把课本变成户外实验
FieldClass AI 是一款开源AI学习工具，用本地运行的 Gemma 3 1B 模型把课本概念变成户外实验。它采用「Python掌管事实、模型只写文字」的架构，兼顾隐私、离线与零成本，是边缘AI教育应用的实用范例。
VLM-Seek 1.5 10B 本地部署实测：秒级视觉定位能否落地
B站UP主实测开源视觉模型 VLM-Seek 1.5 10B 本地部署全流程：从环境配置、显卡架构踩坑到快递流水线、橘猫等真实场景定位实测，验证秒级响应与自然语言找目标能力，并给出显存门槛与双卡方案建议。
12GB显卡跑1250亿参数大模型？Stratavie装机实测全流程
B站UP主实测：用一张12GB显卡配64GB内存，通过开源推理引擎Stratavie跑起1250亿参数的Qwen3.8 Flash Next模型，RTX 5070实现每秒94 token。本文详解稀疏激活、GSQ-RCO量化、四层仓库原理、一键装机与跑分数据。
32G显存跑Qwen3 MoE大模型？实测本地部署新方案
AMD R9700 32G显存实测跑Qwen3 MoE量化版：256K上下文、80 tokens/s出词速度，比27B稠密模型快25%。本文解析Straighta分级调度如何把几十G权重塞进32G显存，并实测智商、接入方式与三大现存坑点。
deepseek-harness 实测：开源插件化框架值得用吗？
deepseek-harness 是一个主打「一切皆插件」的开源本地推理框架，支持自托管、免费使用与隐私保护。本文梳理其核心特性、部署方式与实测观察，并提醒读者理性看待营销式宣传。
单张RTX显卡同时跑Ollama与ComfyUI不爆显存的实战指南
如何在单张16GB RTX显卡上同时运行Ollama本地大模型推理与ComfyUI图像生成而不爆显存？本文详解显存预算、时间与优先级调度、静态/动态分区、模型量化选择、队列管理与监控排障的完整实战方案。
实战微调gpt-oss-20b：Unsloth训练到Ollama部署全流程
手把手实战：用 Unsloth 以 QLoRA 单卡微调 gpt-oss-20b，仅需约 14GB 显存，并导出 GGUF 部署到 Ollama。重点解析 Harmony 聊天模板与 <|return|> 停止符如何避免模型输出乱码或无限生成。