#本地大模型推理
共 21 篇相关文章
·11 分钟
苹果M7 Ultra芯片曝光：1.5TB统一内存能否重塑本地AI推理格局
Reddit社区曝光苹果M7 Ultra芯片规格，最高1.5TB统一内存或支持本地运行所有主流开源大模型。本文深度解析其技术架构、定价争议、内存带宽瓶颈及苹果生态锁定问题，探讨这款芯片对本地大模型部署的实际意义。
阅读全文 →
·9 分钟
统一内存架构揭秘：迷你PC如何运行70B大模型
为什么配备统一内存的迷你PC能跑70B大模型，RTX 4090却束手无策？本文深度解析显存墙与统一内存架构的核心差异，帮助开发者和AI爱好者做出更明智的本地部署硬件选择。
阅读全文 →
·14 分钟
AMD Ryzen AI Halo开发套件：4000美元本地大模型利器对标苹果英伟达
AMD正式发布Ryzen AI Halo本地AI开发套件，售价约4000美元，搭载128GB统一内存，支持本地运行70B大模型。本文深度解析其配置亮点、定价策略及在本地AI算力市场的竞争格局，并梳理Anthropic大模型可解释性研究等科技要闻。
阅读全文 →
·13 分钟
AMD显卡跑本地大模型：卸载Ollama换LM Studio，速度翻7倍
AMD显卡用户跑本地大模型屡遭黑屏掉卡？本文复盘Ollama三大致命痛点，详解迁移至LM Studio后token速度从5提升至36的完整方案，含ROCm配置、投机采样开启及GFX版本避坑指南。
阅读全文 →
·15 分钟
Ollama：175K Star本地大模型一键运行工具
Ollama是GitHub上超175K Star的开源本地大模型运行工具，基于Go语言开发，支持Llama、Mistral、Qwen等主流模型，三步即可完成本地部署，开箱即用，适合开发者与AI爱好者快速上手本地LLM推理。
阅读全文 →
·10 分钟
4000美元4张RTX3090本地运行GLM-5.2全攻略
详解如何用4块二手RTX 3090 SXM4显卡搭建本地AI推理服务器，通过Llama.cpp和Unsloth IQ量化方案运行GLM-5.2开源模型，实测Token生成速度、GPU利用率及代码生成质量。
阅读全文 →
·11 分钟
本地部署免费AI智能体：千问3.5+Hormis打造全能助手
详解如何用Ollama+千问3.5-9B+Hormis框架在本地免费部署AI智能体，实现网页抓取、桌面操作、文件管理等功能。涵盖环境配置、上下文扩展、驱动搭建全流程，低配电脑也能运行。
阅读全文 →
·11 分钟
Llama.cpp Windows本地部署教程：免编译三步运行大模型
详解Llama.cpp在Windows系统上的免编译本地部署方法。从下载预编译包、配置CUDA依赖到运行GGUF量化模型，三步完成大模型本地推理，支持GPU加速与Web界面，适合零基础用户快速上手。
阅读全文 →
·10 分钟
Spring AI + Ollama：零成本本地运行大模型实战
详解Spring AI与Ollama集成方案，在本地免费运行Llama、Gemma等开源大模型。涵盖环境搭建、依赖配置、代码实战，仅需换依赖和配置即可从OpenAI无缝切换到本地推理。
阅读全文 →
·8 分钟
雷神猎刃S 2026款评测：i9-13900HX+RTX 5060配置解析与选购建议
深度解析雷神猎刃S 2026款游戏本，搭载i9-13900HX处理器与RTX 5060 16GB显卡，国补后约6671元。详细拆解CPU/GPU性能、AI建模能力、适用人群及购买策略，帮你判断这款笔记本是否值得入手。
阅读全文 →
·9 分钟
本地部署大模型的5种方法：从入门到生产环境
详解本地部署大模型的5种主流方案：LlamaCPP、Ollama、LM Studio、vLLM/SGLang、MLX-LM，涵盖从个人开发到生产环境的完整选型指南，助你实现数据不出本地的AI私有化部署。
阅读全文 →
·7 分钟
Gemma 4 12B：Google开源模型笔记本即可本地运行
Google发布Gemma 4 12B开放权重模型，12B参数量级可在笔记本电脑本地运行。本文解析其性能优势、本地部署价值及开源生态竞争格局，助开发者快速上手评估。
阅读全文 →
产品体验·9 分钟
Google Gemma 4实测：手机离线运行+Ollama部署教程
实测Google Gemma 4开源模型在三台手机上的离线运行表现，详解Dense与MOE架构区别，附Ollama + Claude Code完整部署教程。从1B到31B四款模型覆盖手机到工作站全场景，4GB显存即可运行。
阅读全文 →
产品体验·8 分钟
WhichLLM：一键检测你的电脑最适合跑哪个本地大模型
WhichLLM 是一款开源工具，能自动检测电脑硬件配置，结合权威评测数据推荐最适合本地运行的大语言模型。支持模拟任意显卡配置、过滤虚假评测、一键下载开聊，帮你告别选模型的纠结。
阅读全文 →
教程攻略·10 分钟
llama.cpp MTP加速部署指南：配置步骤与性能实测
详解llama.cpp如何启用MTP多Token预测加速技术，涵盖CUDA环境配置、桌面端设置、模型选择及实测性能数据，Qwen3 27B实测近60 Token/s。
阅读全文 →
教程攻略·9 分钟
oMLX+MTP+Qwen3.6：本地AI编程速度突破新极限
使用oMLX推理引擎结合MTP多令牌预测技术和Qwen3.6 35B模型，在Apple Silicon Mac上实现86.7 tokens/s的本地编程速度，5分钟内完成全栈应用开发的完整实战解析。
阅读全文 →
教程攻略·6 分钟
本地部署大模型怎么判断显存爆了？一文看懂显存监控方法
本地部署大模型时如何判断显存是否爆满？本文详解专用显存与共享GPU内存的区别，教你通过任务管理器快速判断显存溢出，并提供模型量化、上下文长度控制等避免爆显存的实用建议。
阅读全文 →
科技前沿·4 分钟
Qwen3.6 MTP加速实测：单GPU推理飙到220 token/s
Qwen3.6实验性MTP-GGUF版本实测，单GPU将35B-A3B模型推理速度提升至220 token/s，比原版快1.4倍且精度零损失。详解MTP原理、最优Draft Tokens策略及RTX 5090实测数据。
阅读全文 →
