#本地推理
共 54 篇相关文章
Unsloth v0.1.910-beta 发布：Flint 编程代理、MO…
Unsloth v0.1.910-beta 发布：Flint 编程代理、MOSS-Image 与 NVIDIA Bolt E4B 本地可跑
Unsloth v0.1.910-beta 发布，带来 Recursive Flint 编程代理、OpenMOSS 的 MOSS-Image 文生图模型与 NVIDIA Nemotron 3.5 Bolt E4B，并新增 MLX MoE SSD 专家卸载、REAP 专家剪枝与 OpenAI 兼容微调 API。
本地AI模型为何慢？内存带宽才是速度天花板
本地AI模型运行慢的根源是内存带宽而非算力。每生成一个token模型都要完整重读全部参数，速度上限约等于内存带宽除以模型大小。以M5 Max为例，614GB/s带宽跑17GB模型理论约36 tokens/秒，实测31 tokens/秒。
在Linux ARM设备上本地运行Phi-3-mini：MLC LLM实战指南
手把手教你在Linux ARM设备（如树莓派5）上使用MLC LLM本地运行微软Phi-3-mini模型，涵盖安装、模型下载、量化选择与性能注意事项，实现离线LLM推理。
Strot：一次编译LLM意图，本地无限运行决策
Strot项目在Hacker News展示将LLM意图一次性编译为本地决策逻辑，无需反复调用模型。本文分析其编译式思路的优势、技术实现与适用边界，探讨LLM应用降本增效的新路径。
Hazim Reseller Agent：本地化SEO商品描述生成CLI
Hazim Reseller Agent 是一款 Python CLI 工具，为 eBay、Etsy 高频转售者本地生成 SEO 优化的商品描述，支持 JSON 规格输入、确定性模板兜底和模型无关的本地推理管线。
GLM-5.3-Flash本地部署：NVIDIA FP4需两张Blackwell
GLM-5.3-Flash 本地部署全解析：NVIDIA FP4-Local 检查点需两张 RTX PRO 6000 Blackwell 或双 DGX Spark，显存约 166 GiB，精度损失仅 0.8 点。对比 GGUF、MLX 各版本体积与运行路径，给出 vLLM 启动参数与 llama.cpp 避坑要点。
NVIDIA Nemotron 3.5 Bolt 74B-A9B 登陆 Ollama：24GB 显存跑本地 VLM
NVIDIA Nemotron 3.5 Bolt 74B-A9B 视觉语言模型上线 Ollama，采用原生 2-bit 量化与 MoE 架构，24GB 内存即可本地运行日常 Agent 任务。本文解析其架构设计、应用场景与本地多模态 Agent 的趋势意义。
零API零泄露：本地AI开发者助手DevWhisper实战解析
DevWhisper是一款100%离线的AI会议助手，用whisper.cpp本地转写音频，配合Ollama上的Qwen2.5-Coder提取技术任务并起草客户邮件。零API成本、零数据泄露，专为自由开发者和独立顾问设计，解决云端工具的NDA合规与订阅费问题。
本地恋爱聊天Copilot：322M判断+Gemma起草，数据不出电脑
Laya-Heart 是一个跑在本地电脑上的情侣聊天 Copilot：322M 的判断模型 Laya 读潜台词，Gemma 4 E2B 起草回复，默认不向云端发送任何内容。本文拆解它的本地推理优化、微调结果与安全设计。
实测deepseek-harness：开源推理框架的体验与真相
实测 deepseek-harness 开源推理框架：解析其"一切皆插件"架构、自托管与隐私优势、本地推理的真实性能表现，以及上手部署的三种路径与潜在坑点。
Listing Lab：本地AI文案工具，帮独立卖家零订阅生成商品文案
Listing Lab是一款面向Etsy、eBay卖家的本地AI文案工具，基于SmolLM2和Transformers.js在浏览器内完成推理，无需订阅和API费用，隐私数据不出设备。
PocketLedger：自由职业者的本地AI记账工具
PocketLedger 是一款面向自由职业者的本地 AI 记账工具，用 Ollama 运行 Qwen2.5-VL 3B 提取收据信息，数据存于本地 SQLite，无需云端账户，支持多币种、CSV 导出和人工复核。
VIDRAFT开源六大项目：从GraphRAG到量子纠错
VIDRAFT在GitHub开源六个项目：ONGRID实现可验证GraphRAG，FINAL Bench评估模型元认知，POCKET支持笔记本本地推理，ZTC零token判断答案可信度，另有量子基准评分工具与聚合排行榜。
PrintBrief：本地AI把混乱消息变成印刷订单
PrintBrief 是一款面向小型印刷店的本地 AI 助手，通过 Ollama 运行 Gemma 3 4B 解析混乱客户消息，提取印刷参数、检测缺失信息并生成确定性报价，客户数据不出本机。
Ollama决策模型实测：本地推理速度远超Claude
实测 Ollama 决策模型：0.8B 小模型在本地完成邮件分类与评分任务，速度比 Claude API 快两倍以上，还能在 Dell Pro Max 上做图像分类。本文整理部署步骤、速度对比数据与多模态实测结果。
微软要让AI编程免费？本地运行MAI模型或终结API付费
微软将MAI代码模型优化至Windows本地运行，开发者或无需为每次AI编程请求支付API费用。本文分析本地AI编程的成本逻辑、微软意图与开发者可期待的变局。
一张RTX 5090跑125B编程模型：吞吐瓶颈与调优实录
实测一张RTX 5090运行125B MoE编程模型：单人144 tokens/s，8人并发每人仅19 tokens/s。解析投机解码缺失、cgroup线程配额与VRAM预留两大性能陷阱，以及接入Claude Code的配置方法。
哪款 Mac 跑哪个 LLM 最快？实测数据告诉你
基于 Hacker News 热门项目 Which Mac runs which LLM 的实测分析，梳理不同型号 Mac 运行本地大语言模型的速度差异，解读内存带宽与容量的关键作用，并给出选购与部署建议。
Llama Windows：在系统托盘一键运行本地LLM
Llama Windows 是一款免费开源工具，把 llama.cpp 推理引擎装进 Windows 11 系统托盘，支持一键下载 GGUF 模型、图形化对话，并暴露 OpenAI 兼容的本地 API，大幅降低本地 LLM 的配置门槛。
旧电脑跑本地AI模型：量化、上下文与CPU推理实战
在8GB内存、无独显的老旧电脑上运行本地AI模型？本文分享实战经验：选择7B-9B模型与Q4_K_M量化，限制上下文窗口至4096-8192，调整CPU线程数为物理核心数，并解释量化原理与内存占用规则，帮助你用旧硬件跑起可用的语言模型。