#CPU推理
共 85 篇相关文章
·8 分钟
本地部署无审查AI模型完全指南：从硬件到实操
详细讲解如何从零搭建本地无审查AI模型，涵盖硬件要求、Ollama安装、text-generation-webui配置、模型量化格式选择及abliteration技术原理，助你完全离线运行大语言模型。
阅读全文 →
·13 分钟
腾讯混元大模型从1.5TB压缩至200GB，性能保留98%
腾讯将混元大模型从1.5TB压缩至约200GB的GGUF格式，性能保留约98%。本文解析量化压缩技术原理、GGUF格式的生态价值，以及这一成果对本地部署和开源社区的深远影响。
阅读全文 →
·13 分钟
Vois 2.0评测：月付10美元无限语音合成，能替代ElevenLabs吗
Vois 2.0是一款桌面端AI语音合成工具，主打无限生成、无按字符计费，支持100+声音、语音克隆、多说话人时间线及600+语言。月付10美元锁价，定位为ElevenLabs平价替代方案。
阅读全文 →
科技前沿
每日AI新鲜事·08月26日晚间版：GLM-5.3来袭与机器人破百米纪录
·1 分钟
每日AI新鲜事·08月26日晚间版：GLM-5.3来袭与机器人破百米纪录
2026年08月26日（周三）晚间版 AI新闻速递+热点深度讨论
阅读全文 →
·10 分钟
用废旧硬件在家搭建本地AI推理平台完整指南
详解如何利用闲置废旧硬件搭建本地AI推理平台，涵盖硬件选型、显存需求、推理框架选择（llama.cpp/Ollama）、模型量化等关键环节，低成本实现隐私安全的本地大模型部署。
阅读全文 →
·15 分钟
VoiceGecko：完全本地运行的开源语音转文字工具
VoiceGecko 是一款开源桌面语音转文字工具，完全本地运行，无需云端处理。支持快捷键触发、即时转录，兼顾隐私保护与低延迟体验，适合开发者、AI用户和内容创作者提升输入效率。
阅读全文 →
·8 分钟
Ollama本地部署AI大模型完整指南：安装配置与性能调优
详细讲解Ollama本地部署大模型的完整流程，包括安装配置、模型下载管理、上下文长度调优实测，以及接入DeepSeek Harness等智能体工具的方法，帮助新手零成本运行本地AI大模型。
阅读全文 →
·15 分钟
本地AI Agent部署太慢？轻量级优化实战指南
本地部署AI Agent速度慢、频繁超时？本文从Agent框架隐藏开销、硬件瓶颈出发，提供精简配置、轻量工具选择、模型量化等针对性优化方案，并介绍通过Telegram Bot远程交互的实用技巧。
阅读全文 →
·14 分钟
自托管LLM技术栈：从终端统一管理本地AI集群的完整指南
深入解析如何自托管LLM技术栈，涵盖推理引擎选型、模型管理、向量数据库配置等核心组件，探讨从终端统一管理本地AI集群的实践方案、硬件要求与技术挑战。
阅读全文 →
·15 分钟
Unsloth量化实测：NVFP4提速1.5倍，动态GGUF压缩83.5%体积
Unsloth基于改进版Dynamic算法为Qwen3.8-27B推出NVFP4和动态GGUF两种量化方案。NVFP4实现1.5倍推理加速且保留92%-97%准确率，动态GGUF将54.7GB模型压缩至9GB。深入解析量化策略、适用场景与部署选择。
阅读全文 →
·12 分钟
Opus 5发布：Token效率与智能双升级，编程体验更优
Anthropic发布Opus 5模型，核心亮点是跨领域Token效率显著提升，同时智能水平再创新高。在编程任务中表现出色，响应更快、成本更低，标志着大模型竞争进入效率优化新阶段。
阅读全文 →
·8 分钟
Chatterbox-Nano：完全本地运行的开源浏览器TTS语音合成插件
Chatterbox-Nano是一款本地优先的开源浏览器TTS扩展，支持Firefox和Chrome，文本数据永不离开本机。支持选中朗读、整页播报、语音实验室定制音色，CPU即可运行，无需云端服务。
阅读全文 →
·15 分钟
中国开源大模型崛起：从Reddit漫画看全球AI格局变化
一则Reddit热门漫画折射出中国开源大模型的全球影响力。从DeepSeek、Qwen到GLM，中国AI模型凭借开源策略和快速迭代，正在改变全球开发者的选择格局，本文深度解析这一趋势背后的行业信号。
阅读全文 →
·12 分钟
Qwen3-27B本地部署教程：8GB显存运行顶级开源模型实测
详解Qwen3-27B本地部署全流程，包括模型下载、llama.cpp配置、量化版本选择。实测编码能力、多模态视觉识别与Agent工作流表现，8GB显存即可运行的顶级开源大模型。
阅读全文 →
·11 分钟
Qwen 3.8 Max深度解析：性能、基准测试与开源生态全面评估
深度解析阿里通义千问Qwen 3.8 Max旗舰模型，涵盖基准测试性能、数学推理与代码生成能力评估，以及开源社区反馈与开发者部署指南，助你全面了解这款国产大模型新标杆。
阅读全文 →
·12 分钟
llama.cpp图形化启动器Linux版实测：两种安装方式详解
实测llama.cpp图形化启动器Linux版，对比手动编译与Snap两种安装方式的优劣，涵盖启动命令差异、已知Bug及与Ollama和LM Studio的定位区别，助你快速在Linux上部署本地大模型。
阅读全文 →
·10 分钟
Meta Muse Glimmer vs 通义千问：30B开源模型高考数学实测对比
Meta新发布的30B开源模型Muse Glimmer与通义千问3.6 27B在高考数学题上的实测对比，从语义正确率、格式规范性等多维度评测，揭示两款模型的真实实力差距与开源生态竞争格局。
阅读全文 →
·13 分钟
英伟达Nemotron开源MoE模型：笔记本即可本地运行的大语言模型
英伟达推出Nemotron系列开源MoE模型，采用混合专家架构实现稀疏激活，可在笔记本电脑或DGX Spark本地高效运行。本文解析MoE架构原理、本地部署优势及Nemotron从轻量本地到云端Ultra的分层策略。
阅读全文 →
