#本地部署
共 437 篇相关文章
Ollama 发布 v0.35.1-rc2：本地大模型运行工具的持续迭代
开源本地大模型工具 Ollama 发布 v0.35.1-rc2 候选版本，本次更新修复了 CI 构建上下文缺失问题，并通过 GitHub 验证签名。本文解读该版本改动及 Ollama 的社区价值。
48GB MacBook本地实测：11类前沿开源AI模型能力全景
在一台48GB MacBook Pro（M5 Max）上实测11类前沿开源AI模型：大语言、Agent、生成、视觉、3D、视频、世界模型、机器人、医疗、安全与领域基础模型。详解各方向能力边界、实测数据与真实案例，帮你判断本地部署的可行性。
过拟合推理引擎崛起：专用化如何重塑AI本地部署
一批名为Strata、ninfer、DwarfStar的"过拟合推理引擎"正在崛起，它们放弃通用性、专注单一硬件与模型的极致性能优化。本文解析这类专用推理运行时的技术逻辑、价值主张及其对AI本地部署民主化的意义。
8GB显存本地跑大模型：低配玩家的模型选择指南
8GB显存加16GB内存能否流畅运行本地大模型？本文从r/LocalLLaMA社区热帖出发，解析低配硬件下的模型选择、QAT量化技术与MoE架构，为入门级本地AI玩家提供实用参考。
Qwen3 27B + DeepSeek Harness：本地AI告别前沿大模型
实测新版 Qwen3 27B 模型升级与 DeepSeek Harness 工具框架组合：模型进步明显但未到质变，工具框架带来「DeepSeek 时刻」，让本地 AI 彻底摆脱对云端前沿大模型的依赖。附量化精度与显存带宽选购建议。
Ollama本地部署大模型教程：6G显存也能跑的保姆级指南
基于B站实操教程，详解如何用Ollama在本地部署大模型，6G显存也能跑。澄清DeepSeek本地部署真相，附按显存选模型指南与完整安装步骤。
B站开源Index-Translate实测：150语言本地部署，企业级翻译终于能用了
B站开源Index-Translate翻译模型实测：基于千问后训练，支持150种语言、2B/9B/35B三个版本，原生JSON输出、数字术语处理、本地部署，9B版本翻译质量超越谷歌翻译，专为企业级工程落地设计。
ODS本地AI服务器搭建指南：一站运行聊天、图像与视频模型
ODS（OSMantic）本地AI服务器搭建教程：基于Docker一站式部署，运行开源聊天模型、ComfyUI图像视频生成、Perplexer深度研究与语音功能，数据完全私有、无需订阅费。附安装步骤与硬件要求解析。
本地部署MiniMax开源视频模型：懒猫算力舱一键方案实测
本文实测演示通过懒猫模型商店与雷神T5000算力舱一键部署MiniMax开源视频模型的方案，涵盖640P快速出片与1344P高清生成效果、软件与算力分层架构，以及只付电费的本地化成本模型，适合AI短视频与漫剧创作者参考。
B站开源Index-Translate翻译模型：家用电脑本地部署全教程
Bilibili 开源 Index-Translate 翻译模型，支持 150 种语言，2B 版本仅需约 2GB 显存即可本地运行。本文详解如何通过 LM Studio 部署并接入沉浸式翻译，附实测效果与配置步骤。
免费本地部署的开源大模型实测：消费级显卡也能跑
一个开源仓库一周斩获5000+ Star，可帮助用户在本地免费部署125B参数大模型，12G显卡即可运行，支持100万Token上下文、代码生成和图片识别。本文实测其部署体验与能力边界。
单卡7900XTX跑84GB大模型：解码破百token实测与调优解析
AMD 7900XTX搭配64GB内存实测跑动84GB权重的千问3.8 Flash Next模型，解码速度破百token/s，预填充平均900。本文拆解实测性能、智力对比与SGLang+MTP调优关键，为本地大模型部署提供参考。
无GPU也能跑大模型？老旧DDR3服务器的本地推理性价比探讨
一场Reddit讨论探讨了无GPU本地部署大模型的可行性：用老旧DDR3多路服务器靠内存带宽跑Qwen 3.8 Flash，以及4bit量化、KV缓存与上下文长度的实用权衡与电费成本争议。
本地跑AI编程模型全攻略：Ollama+VS Code+Cline实战
手把手教你用 Ollama + VS Code + Cline 在本地电脑免费运行 AI 编程模型。涵盖按显存选模型、SWE-bench 跑分对比、MCP 配置及无审查模型玩法，零成本、零 Token 限制、完全私密。
Mac 本地跑 AI 完整教程：Ollama 安装与模型选择指南
手把手教你在 Mac 上免费运行本地 AI 模型：Ollama 引擎安装、终端运行 DeepSeek，以及用 Docker + Open WebUI 搭建 ChatGPT 式界面，附不同内存机型的模型选择建议。
本地大模型部署入门：Ollama与vLLM部署qwen3实战解析
本地大模型部署入门教程：解析Ollama与vLLM两大部署工具的核心差异，梳理显存平衡、高并发、服务化等部署目标，并介绍如何用vLLM部署qwen3-0.6B模型。
用C++和NVIDIA TensorRT RTX构建本地AI应用实战指南
NVIDIA推出TensorRT RTX示例项目，帮助开发者用C++构建高性能本地AI应用。本文解析本地推理的核心挑战、可移植模型格式、跨系统GPU加速方案及Do Inference Now样例的实践价值。
llama.cpp 合并 MTP 支持：Qwen Flash Next 推理加速实测
llama.cpp 合并 PR #29761，为 Qwen Flash Next 添加 MTP 多 token 预测支持，开发者 am17an 耗时 17 小时完成。本文解析 MTP 加速原理、GGUF 量化部署及对本地大模型用户的意义。
