#本地部署
共 429 篇相关文章
n8n + Ollama 本地化AI自动化：PDF摘要不上云实战
手把手教你用 n8n 和 Ollama 搭建完全本地化的AI自动化流程：PDF丢进文件夹自动生成摘要，不上云、无API Key。涵盖Docker安装、Llama 3.2模型配置、六节点工作流及四大常见踩坑修复。
Ollama v0.40.0 发布：本地大模型运行再升级
开源本地大模型运行工具 Ollama 发布 v0.40.0 版本，修复了 embedding 嵌入请求的 413 与 400 状态码路由问题，提升 API 规范性与开发者集成体验。
35美元淘到54GB显存：9张P106矿卡捡漏实录
一位Reddit用户仅花35美元淘到闲置矿机，获得9张P106（GTX 1060）共54GB显存。本文解析P106矿卡的规格、本地AI推理价值，以及多卡方案背后的功耗、带宽与兼容性等隐性成本。
8G显存本地部署Qwen3-VL 27B：接入ComfyUI生成视频保姆级教程
阿里Qwen3-VL 27B开源多模态模型本地部署保姆级教程：8G显存即可运行，通过LM Studio部署并接入ComfyUI，配合MiniMax H3生成AI视频，附量化版本选择与低显存工作流使用方法。
一台机器跑8并发：Qwen3本地部署多任务实测
B站UP主实测在一台英伟达设备上用懒猫微服AI平台跑Qwen3 Flash Next模型，实现8路并发多任务并行。本文解析本地部署方案的硬件选择、并发表现及企业应用场景。
Ollama v0.40.0发布：Apple Silicon默认启用MLX推理引擎
Ollama 发布 v0.40.0 预发布版本，在 Apple Silicon 设备上默认启用 MLX 推理引擎，并新增 gemma4、qwen3 系列及多款 Decision 模型支持，为 Mac 本地大模型部署带来性能优化。
Strata本地部署Qwen3 Next 125B：消费级显卡跑大模型实战指南
Strata开源项目让消费级6G/8G显卡也能本地运行Qwen3 Next 125B大模型。本文详解其内存调度技术原理、模型版本选择、安装流程与上下文配置技巧，附实测速度数据与避坑指南。
Hermes Agent OS 详解：把AI工具整合成本地操作系统
Hermes Agent OS 是一个把零散 AI 工具整合成本地操作系统的方案，通过智能层、执行层、研究层和记忆库四层架构，为 AI 提供共享记忆与安全审批机制，面向非技术用户实现客户开发等自动化工作流。
亚马逊开源Strands Decider 2B决策模型，本地部署成新趋势
亚马逊推出开源决策模型Strands Decider 2B，支持本地部署并在JetBench表现出色。本文梳理轻量化模型趋势、大模型一体机竞争逻辑转变、AI自我迭代及AI造假治理等最新动向。
APTV+Ollama本地模型：0成本实现AI中文字幕实时翻译
本教程详解如何用 APTV 配合 Ollama 本地大模型，0成本实现全球电视直播的 AI 中文字幕实时翻译，涵盖 Ollama 安装、模型下载、APTV 参数配置及脚本优化连接速度的完整流程。
AMD 395核显跑Qwen3大模型：Windows下的本地部署实测
B站UP主开源GFX1151 Engine，让AMD 395核显在Windows上运行Qwen3 Flash-Next大模型。实测速度约900token、显存全占96G，本文详解部署流程、性能瓶颈与实用建议。
12GB显存跑180B大模型？Strata引擎本地部署深度解析
Strata推理引擎如何让12GB显存的RTX 5070跑起180B参数的Qwen大模型？本文深度解析其MoE稀疏激活、四层存储调度、CPU-GPU协同与投机解码架构，并核查44.8 token/s与"快3倍"数据的可信度。
8G显存本地跑Qwen3.8-27B：保姆级部署与AI视频创作教程
Qwen3.8-27B 是阿里新一代开源权重模型，在 Artificial Analysis 复杂能力榜排名第26。本文详解如何用 LM Studio 在 8G 显存本地部署，并接入 ComfyUI 为 MiniMax 视频工作流生成提示词，附新手友好的保姆级教程。
8G显存本地跑125B大模型：Qwen3 Flash部署实战
基于Scrata框架在8G/12G显存显卡上本地部署Qwen3 Flash大型MOE模型的完整实战指南，涵盖模型量化选择、国内镜像站下载避坑、思考强度配置等关键步骤，32G内存起步即可运行。
Strata神项目实测：12G显卡本地跑176B千问大模型
开源项目Strata通过GPU+CPU+内存+SSD三层存储整机协同，让12G显卡也能流畅跑176B的Qwen3.8 Flash Next大模型，短聊天速度达93 token/s。本文详解其核心技术、量化档位选择与部署方法。
单张RTX 5090跑125B大模型：Strata实测Qwen3.8 Flash Next
开源框架Strata让单张RTX 5090搭配64GB内存成功运行1250亿参数的Qwen3.8 Flash Next，实测短对话解码每秒113 Token。本文解析其MoE专家调度、KV缓存分层与MTP投机解码三层机制及部署门槛。
Qwen3.8-Flash-Next无审查版本地部署教程：8GB显卡跑大模型
本文详解Qwen3.8-Flash-Next无审查版大模型的本地部署全流程，涵盖Strata推理引擎、MTP加速配置、量化版本选择与8GB显卡运行实测，并客观分析这类本地模型的能力与风险。
A卡部署Qwen3实战：Strata引擎本地跑大模型全流程避坑指南
本文完整记录在AMD RX 7900 XTX显卡上使用Strata引擎部署Qwen3.8 Flash大模型的全过程，涵盖分支选择、多线程下载、HipBLASLt调优表对齐、CPU图像识别及版本升级，重点剖析A卡部署的关键坑点与性能数据。
RTX3090极限挑战125B大模型：三级缓存让推理提速5倍
RTX 3090（24GB显存）加24GB内存部署125B参数Flash Next大模型实测：通过三级缓存、Q2K量化和计算重叠三步优化，生成速度从每秒1.83个token提升到9-10个，峰值18。深度解析MoE模型本地部署的带宽瓶颈与优化思路。
RTX 3090实测Qwen3 27B：峰值60 Token/s能跑动吗
RTX 3090实测Qwen3 27B大模型：Q4量化、MTP加速峰值超48 token/s，四路并发吞吐125.5 token/s，并接入Agent成功做出坦克小游戏。附24GB显存本地部署的量化选择、长上下文天花板与实操建议。