#Ollama GPU推理
共 37 篇相关文章
·8 分钟
Apple Silicon虚拟机加速LLM推理实践指南
深入探讨如何在macOS虚拟机环境中利用Apple Silicon统一内存架构加速llama.cpp推理，涵盖Metal后端配置、内存分配、量化格式选择等优化策略，帮助开发者在虚拟化环境中实现接近裸机的LLM推理性能。
阅读全文 →
·11 分钟
24GB显存跑本地LLM？实际可用显存没那么多
详解24GB显卡跑本地大语言模型时显存的真实可用量。从模型权重、KV缓存到运行时余量，拆解显存三大消耗桶，提供结构化规划方法和实操建议，帮你避免OOM踩坑。
阅读全文 →
·17 分钟
Meta开源本地化Agent AI模型：边缘智能体的新起点
Meta发布面向本地化Agentic AI的开放权重模型，支持本地部署与自由定制。本文深入解析其在隐私安全、边缘计算、开发者生态方面的意义，以及本地智能体AI面临的现实挑战。
阅读全文 →
·12 分钟
Qwen3系列深度解析：开源大模型的多模态野心与未来展望
深度解析阿里巴巴通义千问Qwen3系列最新动态，探讨其在多模态视觉理解、中文能力、开源生态等方面的核心优势，以及对开发者和行业的深远影响。
阅读全文 →
·16 分钟
Homebench：本地大模型速度、内存与质量三维评测工具详解
Homebench是一款开源的本地大模型评测工具，从速度、内存占用和输出质量三个维度综合评估LLM在本地硬件上的真实表现，帮助开发者做出最优的模型选型和量化方案决策。
阅读全文 →
·15 分钟
Cursor Auto模式计费变动：查询开始消耗按需额度
Cursor近期将Auto模式查询从included免费额度改为消耗On-Demand按需额度，影响大量依赖默认模式的开发者。本文分析计费变动原因、额度耗尽后的影响及开发者应对策略。
阅读全文 →
·13 分钟
Vao2开源信息聚合器：本地AI摘要+多源RSS整合的隐私优先方案
Vao2是一款开源个人信息聚合器，整合新闻、YouTube、GitHub和RSS订阅到单一信息流，通过Ollama本地AI生成内容摘要，兼顾隐私保护与零成本使用，适合重视数据主权的技术用户。
阅读全文 →
·12 分钟
本地部署LLM打造交易机器人：硬件选型与模型推荐
详解如何用AMD RX 7800 XT 16GB显存本地部署大语言模型驱动量化交易机器人，涵盖ROCm生态现状、7B-14B模型推荐（Qwen2.5、Llama 3.1）、Ollama/LM Studio部署方案及系统架构设计。
阅读全文 →
·15 分钟
DeepSeek-V4-Flash本地部署实测：8000美元硬件逼近前沿模型
DeepSeek-V4-Flash-0731智能指数达50分，几乎追平五个月前最强闭源模型的51分。本文解析其本地部署方案、硬件配置要求及开源模型追赶前沿的深层意义。
阅读全文 →
·6 分钟
RX 9060 XT vs RTX 5060 Ti：本地AI显卡怎么选
RX 9060 XT与RTX 5060 Ti同为16GB显存，本地AI推理该选谁？从CUDA生态、ROCm兼容性、LLM推理性能到实际使用体验，全面对比两款显卡在本地AI场景中的优劣与适用人群。
阅读全文 →
·10 分钟
零成本打造RAG与AI Agent项目：开源工具实战指南
预算有限也能做出高质量AI项目。本文详解如何用Ollama、Groq、Chroma等开源免费工具，从零搭建RAG检索增强生成系统和多Agent协作工作流，附垂直领域项目方案与作品集打造建议。
阅读全文 →
TradingSpy：本地优先开源AI交易助手，数据隐私不妥协
·12 分钟
TradingSpy：本地优先开源AI交易助手，数据隐私不妥协
TradingSpy是一款本地运行、隐私优先的开源AI交易助手，无需上传数据至云端。本文深度解析其架构设计、开源价值与局限性，帮助交易者评估是否适合自己的需求。
阅读全文 →
·14 分钟
零基础3个月掌握大模型：从入门到就业的完整学习路线
AI人才缺口持续扩大，大模型开发成为高薪新赛道。本文详解零基础学习大模型的三阶段路线：Python与Transformer基础→Agent与LLM核心模块→微调与私有化部署，助你系统入门、拿到AI offer。
阅读全文 →
·14 分钟
GDScript+Vulkan在Godot中运行Gemma大语言模型实验
开发者仅凭GDScript与Vulkan计算着色器，无需llama.cpp或外部依赖，在Godot 4引擎内完整运行Gemma大语言模型。本文深入解析其技术架构、性能表现与实际价值，探讨游戏引擎原生运行LLM的可行性。
阅读全文 →
·15 分钟
生产级LLM部署指南：模型选型、GPU配置与推理引擎全解析
深度解析大语言模型生产部署的完整决策框架：从开源与闭源模型选型、GPU显存配置，到vLLM等主流推理引擎对比，帮助工程团队构建高效、可扩展的LLM推理服务。
阅读全文 →
本地编程Agent实战：用开源模型替代Claude订阅的完整指南
·15 分钟
本地编程Agent实战：用开源模型替代Claude订阅的完整指南
本文深度解析本地编程Agent的核心概念、搭建优势与现实挑战，对比Claude Code等商业方案，帮助开发者用开放权重模型实现零订阅费、数据本地化的AI编程工作流。
阅读全文 →
·14 分钟
三星芯片单年利润超40年总和：AI浪潮引发存储涨价危机
三星芯片部门单年利润预计超过过去40年总和，季度利润同比暴增19倍，超越英伟达成全球最赚钱公司。AI数据中心疯狂抢占HBM与DRAM产能，导致DDR5内存、SSD价格持续攀升，本地大模型玩家硬件成本大幅抬高。
阅读全文 →
·6 分钟
本地部署大模型完全指南：工具选择与硬件配置
系统介绍如何在本地设备上部署运行开源大语言模型，涵盖硬件显存要求、量化技术原理、Ollama/LM Studio等主流工具链推荐，以及Llama、Qwen等模型选型建议，帮助开发者摆脱云端API依赖。
阅读全文 →
