#本地大模型
共 46 篇相关文章
16GB显存是多数人的天花板：本地大模型的现实与未来
为什么16GB甚至12GB显存才是多数人跑本地大模型的现实上限？本文解析小显存下的AI能力现状——量化模型让agentic编程成为可能，同时探讨世界知识的硬性限制与超越Transformer架构的未来方向。
Ollama入门指南：让本地电脑轻松运行大模型
Ollama 让大模型在本地电脑离线运行，无需联网、免费无 token。本文详解 Ollama 的安装、命令行与 Web UI 使用、模型下载与管理方法，以及运行大模型的硬件要求。
普通家用电脑跑本地大模型实测：哪些值得留下？
普通家用电脑能跑动哪些本地大语言模型？B站UP主用 Geekom mini 主机实测 Gemma、GPT-OSS、Qwen3 等多款模型的 Token 生成速度，最终筛选出 Qwen3 27B 与 Gemma 26B 两款值得日常使用的模型，并总结 MoE 架构与显存分配的关键作用。
低显存本地大模型对决：Bonsai 2量化版为何胜出
Reddit 用户在 RTX 5090 上横评 Bonsai 2 27B、Gemma 4 12B 与 Qwen 3.5 9B。基于三元量化的 Bonsai 用 7.2GB 显存实现更优的日式体素宝塔渲染效果，展现低显存本地大模型的量化新趋势。
本地运行AI模型全指南：从原理到四种实操方式
一篇通俗的本地运行AI模型完整指南：讲清模型文件、量化、推理引擎与硬件四大核心模块，并演示LM Studio、Ollama、Docker Model Runner和纯代码四种运行方式，帮你在自己电脑上跑起第一个大模型。
别只看 tok/s！开源本地大模型体检工具 LLST 实测详解
本地大模型只看 tok/s 远远不够。开源工具 LLST 用 102 道能力基准 + 长上下文梯度压力测试，实测双 7900 XTX 运行千问 3 Flash Next，全面还原模型能力、性能衰减与首 token 延迟。
美国RTX 5090炒到9千美元？飞台北抢购反而更划算
美国RTX 5090被炒到9000美元，Reddit网友算了笔账：飞台北往返机票加显卡本体仅约5千美元。这个段子背后，是本地AI大模型热潮下高端显卡供需失衡的真实写照。
ComfyUI Assistant：内嵌工作流的AI助手，可读取并编辑节点图
ComfyUI Assistant 是一款嵌入 ComfyUI 的 AI 助手扩展，可直接读取和编辑工作流节点图，支持添加/删除/连接节点、编辑提示词，并针对 LM Studio、Ollama 等本地 LLM 优化。
本地大模型社区：重现互联网黄金时代的技术热潮
硬件短缺意外点燃了本地大模型（Local LLM）社区的技术热情。从 Strix Halo 上 llama.cpp 优化带来的性能翻倍，到重现互联网黄金时代的探索精神，本文解析稀缺如何催生真正的技术能力。
产品体验WhichLLM：一键检测你的电脑最适合跑哪个本地大模型
WhichLLM 是一款开源工具，能自动检测电脑硬件配置，结合权威评测数据推荐最适合本地运行的大语言模型。支持模拟任意显卡配置、过滤虚假评测、一键下载开聊，帮你告别选模型的纠结。
产品体验Qwen 3.6 vs Gemma 4：本地AI编程模型实战开发深度对比
通过Tauri框架开发Markdown编辑器，实测对比Qwen 3.6与Gemma 4两款本地大模型在规划能力、代码生成、开发效率等方面的表现差异，帮助开发者选择最适合的本地AI编程模型。
教程攻略Ollama教程：一键本地部署DeepSeek、Qwen等大模型
详解Ollama本地运行大模型的完整指南，支持DeepSeek、Qwen、Kimi-K2.5等主流开源模型，涵盖安装使用、模型生态、隐私优势及企业私有化部署场景，GitHub 17万Star的热门开源工具。
教程攻略Ollama教程：本地运行大模型的完整指南（2025最新）
详解Ollama本地部署大语言模型的完整教程，支持DeepSeek、Qwen、Kimi-K2.5等主流模型。17万Star开源项目，一键安装即可在本地运行LLM，保护数据隐私，零API成本。
教程攻略Ollama教程：本地一键运行DeepSeek、Qwen等大模型完整指南
详解Ollama开源工具的安装使用方法，支持DeepSeek、Qwen、Kimi-K2.5、GLM-5等主流大模型本地部署，17万Star的最受欢迎本地大模型运行框架，助你实现离线AI推理与隐私保护。
教程攻略Ollama教程：本地运行DeepSeek等大模型的最简方案
详解Ollama本地部署大模型的完整指南，支持DeepSeek、Qwen、Kimi-K2.5等主流模型。了解这款17万Star开源工具如何实现一键安装、离线推理，以及适用场景与生态集成方案。
AnythingLLM完全指南：本地部署的隐私AI知识库工具
AnythingLLM完全指南：本地部署的隐私AI知识库工具
深度解析AnythingLLM这款GitHub近6万Star的开源AI工具，涵盖本地部署、RAG知识库构建、隐私保护等核心功能，帮助你快速搭建私有AI助手。
教程攻略Ollama教程：17万Star的本地大模型运行框架深度解析
深度解析Ollama开源项目，一行命令本地运行DeepSeek、Qwen、Kimi-K2.5等主流大模型。详解安装使用、模型生态、技术架构及适用场景，助你快速上手本地LLM部署。
教程攻略Ollama教程：17万Star的本地大模型运行框架详解
深入解析Ollama本地大模型运行框架，支持DeepSeek、Qwen、Kimi-K2.5等主流模型一键部署。了解Ollama的安装使用、模型生态、技术架构及隐私优势，助你零门槛在本地运行大语言模型。
教程攻略Ollama教程：一条命令本地运行DeepSeek等大模型
Ollama是GitHub上17万Star的开源工具，支持DeepSeek、Qwen、Kimi-K2.5等主流大模型本地运行。本文详解Ollama的核心优势、支持模型、技术架构及数据隐私价值，帮你快速上手本地AI部署。
产品体验AnythingLLM：6万Star本地AI知识库，隐私优先的RAG平台
深度解析AnythingLLM开源AI平台：支持本地部署、零配置开箱即用、内置RAG文档问答和向量数据库。了解这款6万Star项目如何实现隐私优先的一站式AI生产力体验，以及企业知识库、个人研究等实际应用场景。