#ROCm
共 59 篇相关文章
·12 分钟
Ollama为何快速崛起？拆解本地大模型工具的成功逻辑
Ollama如何从小众开源项目成长为开发者默认选择？本文从产品设计、技术策略、生态建设三个维度，拆解Ollama在本地大语言模型工具领域快速崛起的核心逻辑，以及它对AI工具开发者的启示。
阅读全文 →
·8 分钟
GBrain本地部署实操：12步深度检索精度超传统RAG 31%
传统RAG落地频繁翻车？开源方案GBrain通过12步深度检索流水线+知识图谱，实现精度提升31%，支持完全本地离线部署，数据不出网、大幅降低API成本，附完整部署流程与配套脚本。
阅读全文 →
·10 分钟
AI周报：GPT-5.6三档发布、开源推理框架与机器人安全全线突破
本周AI行业重磅：OpenAI发布GPT-5.6三档模型（Sol/Terra/Luna），编程基准达91.9%；DeepSeek联合北大开源DSpark推理框架提速85%；Prime Intellect仅28台H200训练万亿参数模型；Anthropic Claude入驻Slack，具身智能安全成焦点。
阅读全文 →
·12 分钟
Unsloth v0.1.463-beta：修复Studio崩溃与llama-server权限问题
Unsloth发布v0.1.463-beta版本，修复Studio在llama-server服务发现时因access-denied权限错误导致崩溃的问题。适用于多用户服务器及Windows环境用户，提升大模型微调框架稳定性。
阅读全文 →
·17 分钟
Unsloth重磅更新：DeepSeek-V4支持与NVFP4量化导出全解析
Unsloth v0.1.481-beta正式发布，新增DeepSeek-V4-Flash完整支持、NVFP4/FP8/imatrix GGUF多格式量化导出，GRPO训练提速1.3倍，MoE训练加速3-5倍，Studio升级为OpenAI兼容API服务系统，覆盖微调、导出、推理全链路。
阅读全文 →
·14 分钟
AMD Ryzen AI Halo开发套件：4000美元本地大模型利器对标苹果英伟达
AMD正式发布Ryzen AI Halo本地AI开发套件，售价约4000美元，搭载128GB统一内存，支持本地运行70B大模型。本文深度解析其配置亮点、定价策略及在本地AI算力市场的竞争格局，并梳理Anthropic大模型可解释性研究等科技要闻。
阅读全文 →
·17 分钟
Ollama+Hermes本地AI部署：打造100%私有的个人AI操作系统
用Ollama+Hermes构建完全私有的本地AI系统：零费用、无速率限制、数据不出本地。本文详解部署步骤、模型选择技巧及私有/云端混合工作流，助你真正"拥有"AI而非"租用"AI。
阅读全文 →
·14 分钟
Unsloth重磅更新：支持NVFP4量化导出与DeepSeek-V4训练
Unsloth v0.1.48-beta版本发布，新增NVFP4/FP8量化导出、OpenAI兼容API热切换、MoE训练提速3-5倍、GRPO提速1.3倍，全面覆盖大模型微调、量化与本地部署全链路。
阅读全文 →
·8 分钟
Unsloth v0.1.45发布：Gemma 4 MTP加速、全平台修复与Studio全面升级
Unsloth v0.1.45-beta正式发布，带来Gemma 4多token预测（MTP）完整支持、AMD ROCm与NVIDIA Blackwell硬件适配、全新Hub下载管理器与紧凑型RAG系统，助力本地大模型微调与推理提速。
阅读全文 →
·14 分钟
AMD MI355X运行GLM5.2：推理成本仅为英伟达Blackwell的一半
AMD MI355X在运行GLM5.2大模型时实现单节点2626 tokens/秒吞吐量，总拥有成本仅为英伟达Blackwell的一半。本文深度解析这一性价比优势背后的技术逻辑、ROCm生态进展，以及对AI算力市场格局的深远影响。
阅读全文 →
·9 分钟
Unsloth重磅更新：支持DiffusionGemma与Gemma 4 MTP，推理速度提升2倍
Unsloth最新版本v0.1.464-beta新增DiffusionGemma、Gemma 4 MTP和MiniMax-M3支持，推理速度提升约2倍。同时带来全新Hub页面、文档RAG问答、张量并行优化及Cloudflare加密隧道，覆盖CUDA/ROCm/Windows全平台。
阅读全文 →
·7 分钟
AMD Ryzen AI Halo本地AI开发套件深度解析：4000美元值不值？
AMD Ryzen AI Halo开发套件定价4000美元，搭载128GB统一内存与XDNA 2 NPU，主打本地大模型推理。本文深度解析其架构优势、性能局限、与Mac Studio的对比，以及软件生态挑战，助你判断是否适合你的AI开发需求。
阅读全文 →
·12 分钟
Ollama入门：本地免费部署大语言模型的利器
Ollama是一款免费开源的大语言模型管理工具，支持macOS、Windows、Linux和Docker，可将DeepSeek等开源模型部署到本地，无需API付费，保障数据隐私，轻松搭建私有知识库。
阅读全文 →
·15 分钟
284B大模型跑进MacBook：DeepSeek本地推理的真实突破与门槛
Redis之父用纯C引擎将284B参数DeepSeek模型压缩至76GB，在MacBook Pro上实现每秒26Token的本地推理。本文拆解MoE架构、非对称量化技术原理，直面硬件门槛与质量代价，厘清本地AI推理的真实边界。
阅读全文 →
·13 分钟
AMD显卡跑本地大模型：卸载Ollama换LM Studio，速度翻7倍
AMD显卡用户跑本地大模型屡遭黑屏掉卡？本文复盘Ollama三大致命痛点，详解迁移至LM Studio后token速度从5提升至36的完整方案，含ROCm配置、投机采样开启及GFX版本避坑指南。
阅读全文 →
·15 分钟
Ollama：175K Star本地大模型一键运行工具
Ollama是GitHub上超175K Star的开源本地大模型运行工具，基于Go语言开发，支持Llama、Mistral、Qwen等主流模型，三步即可完成本地部署，开箱即用，适合开发者与AI爱好者快速上手本地LLM推理。
阅读全文 →
·14 分钟
银行医院为何必须用Local AI？本地大模型私有化部署全解析
云端AI随用随取，为何银行、医院仍要自建Local AI？本文深度解析本地大模型私有化部署的核心驱动力、完整技术栈（Ollama、RAG、向量数据库），以及知识问答、合规审查等落地场景，帮你看清企业级AI部署的必然趋势。
阅读全文 →
·11 分钟
本地部署免费AI智能体：千问3.5+Hormis打造全能助手
详解如何用Ollama+千问3.5-9B+Hormis框架在本地免费部署AI智能体，实现网页抓取、桌面操作、文件管理等功能。涵盖环境配置、上下文扩展、驱动搭建全流程，低配电脑也能运行。
阅读全文 →
