#本地部署大模型
共 62 篇相关文章
·9 分钟
苹果芯片LLM推理速度实测：Apple Silicon本地大模型性能全解析
深度解析Apple Silicon芯片本地LLM推理速度实测数据，涵盖M系列芯片内存带宽、模型量化精度、MLX框架优化等关键因素，为Mac本地部署大模型提供选购与配置参考。
阅读全文 →
·9 分钟
Agent智能体开发入门：从概念到实战的完整指南
深入解析AI Agent智能体的核心架构与开发实战，涵盖自动化营销、智能客服、投资分析三大落地场景，以及单智能体与多智能体协作机制，帮助初学者快速掌握Agent开发思维与实践路径。
阅读全文 →
·15 分钟
jlens-gguf：为llama.cpp本地大模型带来雅可比透镜可视化与引导
jlens-gguf是一款开源工具，将Anthropic雅可比透镜（Jacobian Lens）可解释性方法引入GGUF与llama.cpp生态，支持模型内部观测、实时引导（steering）及abliteration操作，兼容dense与MoE架构，让本地推理用户也能探索大模型内部机制。
阅读全文 →
·19 分钟
Ollama+Dify+DeepSeek本地企业级知识库搭建全指南
手把手教你用Ollama+Dify搭建本地企业级RAG知识库，涵盖模型安装、IP监听配置、自定义微调模型导入、Embedding向量检索全流程，彻底摆脱云端API依赖，保障数据安全。
阅读全文 →
·13 分钟
用 Ollama 跑本地模型接入 Claude Code，AI 成本降低 99%
通过 Ollama 开源方案，将 Claude Code 等 AI 编程工具指向本地运行的开源模型，解锁 DeepSeek、Qwen3、Gemma 等数百个模型，在保持原有工作流不变的前提下，将 API 使用成本降至接近于零。本文详解配置方法、硬件要求与竞品对比。
阅读全文 →
llmfit：一条命令检测硬件能跑哪些本地大模型
·15 分钟
llmfit：一条命令检测硬件能跑哪些本地大模型
llmfit 是用 Rust 编写的开源命令行工具，无需下载模型即可预判本地硬件能否运行指定 LLM。覆盖数百种模型与 Ollama、llama.cpp 等主流推理后端，帮助开发者在本地部署大模型前快速完成硬件适配评估，避免反复试错。
阅读全文 →
·15 分钟
V100显卡选购对决：4×16G PCIe与2×32G SXM哪个更值？
实测对比4张V100 16G原生PCIe与2张V100 32G SXM转接PCIe方案的推理性能。从预处理速度、输出速度到性价比，深度解析多卡堆叠的功耗墙与带宽瓶颈，帮你找到本地大模型部署的最优解。
阅读全文 →
·16 分钟
Mesh LLM：用多台旧电脑拼出虚拟超级显卡跑大模型
Mesh LLM 是一款开源分布式推理框架，通过模型分层拆分，将多台普通设备聚合成「虚拟超级显卡」，让小显存机器也能运行数百GB的超大语言模型。本文详解其工作原理、跨平台安装体验，以及网络带宽这一不可回避的物理瓶颈。
阅读全文 →
·13 分钟
从零构建离线RAG应用：PDF文档本地问答完整指南
详解如何用Ollama、ChromaDB和Flask搭建完全离线的RAG应用，实现PDF文档本地问答。涵盖文档切分、向量化存储、检索增强生成及防幻觉设计，数据不出本地，无需API付费。
阅读全文 →
·5 分钟
Ollama入门：本地部署开源大模型的利器
Ollama是免费开源的大模型管理平台，支持一键部署DeepSeek等开源模型到本地，兼容macOS、Windows、Linux和Docker，提供API与命令行双模式，助你零成本构建私有化AI应用。
阅读全文 →
·9 分钟
LangChain V1.3实战教程：RAG、多智能体与工程化思维全解析
深入解析LangChain V1.3核心理念：从RAG检索增强生成到多智能体工作流，掌握LangGraph、Chain、DeepAgent三大模块，学习Token精准把控与Human-in-the-loop机制，成为AI应用开发的真正掌控者。
阅读全文 →
·9 分钟
统一内存架构揭秘：迷你PC如何运行70B大模型
为什么配备统一内存的迷你PC能跑70B大模型，RTX 4090却束手无策？本文深度解析显存墙与统一内存架构的核心差异，帮助开发者和AI爱好者做出更明智的本地部署硬件选择。
阅读全文 →
·14 分钟
4090跑Qwen3 27B为何这么慢？本地推理性能优化实战
RTX 4090运行Qwen3 27B模型推理耗时超400秒？本文深入分析显存溢出、CPU卸载拖累等核心原因，并提供量化选型、GPU层配置等针对性优化方案，帮你彻底解决本地大模型部署的性能瓶颈。
阅读全文 →
·14 分钟
三星芯片单年利润超40年总和：AI浪潮引发存储涨价危机
三星芯片部门单年利润预计超过过去40年总和，季度利润同比暴增19倍，超越英伟达成全球最赚钱公司。AI数据中心疯狂抢占HBM与DRAM产能，导致DDR5内存、SSD价格持续攀升，本地大模型玩家硬件成本大幅抬高。
阅读全文 →
·14 分钟
Dify本地部署实战：Docker环境搭建AI应用平台全流程
详解Dify本地部署全流程：从Docker环境配置、源码拉取、容器启动到首次访问，手把手带你搭建私有化AI应用开发平台，适配Linux、Windows、Mac多平台，助力企业级AI应用快速落地。
阅读全文 →
·9 分钟
本地跑大模型是幻觉？开放权重的真实价值与硬件门槛
开放权重≠能本地运行。本文深度拆解GLM 5.2、DeepSeek等大模型的硬件门槛、显存瓶颈、电费成本与并行限制，揭示开源大模型真正的价值：推动云端竞争，而非让普通人在家复刻前沿效果。
阅读全文 →
·14 分钟
AMD Ryzen AI Halo开发套件：4000美元本地大模型利器对标苹果英伟达
AMD正式发布Ryzen AI Halo本地AI开发套件，售价约4000美元，搭载128GB统一内存，支持本地运行70B大模型。本文深度解析其配置亮点、定价策略及在本地AI算力市场的竞争格局，并梳理Anthropic大模型可解释性研究等科技要闻。
阅读全文 →
·12 分钟
Ollama入门：本地免费部署大语言模型的利器
Ollama是一款免费开源的大语言模型管理工具，支持macOS、Windows、Linux和Docker，可将DeepSeek等开源模型部署到本地，无需API付费，保障数据隐私，轻松搭建私有知识库。
阅读全文 →
