共 175 篇相关文章

Kimi K3作为当前最强开源大模型正式发布,性能逼近闭源前沿模型。本文深度解析其无护栏特性、蒸馏浪潮的战略价值、视觉质量优势,以及AI市场泡沫与修正信号,帮助开发者和研究者把握本地AI部署的核心机遇。

手把手教你用Cherry Studio、MCP协议和Ollama搭建本地AI智能体与知识库,涵盖环境配置、文件操作、网页爬取、终端控制及本地RAG知识库全流程,数据不出本地,隐私有保障。

手把手教你用Ollama+Dify搭建本地企业级RAG知识库,涵盖模型安装、IP监听配置、自定义微调模型导入、Embedding向量检索全流程,彻底摆脱云端API依赖,保障数据安全。

通过 Ollama 开源方案,将 Claude Code 等 AI 编程工具指向本地运行的开源模型,解锁 DeepSeek、Qwen3、Gemma 等数百个模型,在保持原有工作流不变的前提下,将 API 使用成本降至接近于零。本文详解配置方法、硬件要求与竞品对比。
llmfit:一条命令检测硬件能跑哪些本地大模型
llmfit 是用 Rust 编写的开源命令行工具,无需下载模型即可预判本地硬件能否运行指定 LLM。覆盖数百种模型与 Ollama、llama.cpp 等主流推理后端,帮助开发者在本地部署大模型前快速完成硬件适配评估,避免反复试错。

阿里千问第五代模型Qwen3全面解析:6款Dense与MoE架构模型覆盖0.6B至235B,全球首款开源混合推理模型,旗舰235B性能追平Gemini 2.5 Pro,开发者与企业部署的完整参考指南。

一张二手RTX 3090,一个16.8GB的GGUF文件,Qwen3.6 27B即可本地离线运行。SWE-bench得分77分媲美Claude Sonnet,MTP技术让推理速度提升至59 token/s。无订阅、无云端、数据不出门,本地AI编程助手完整部署指南。
跨平台MicroVM沙箱:让AI代码在隔离环境安全运行
深入解析跨平台MicroVM沙箱技术:支持Windows/Mac/Linux三大系统,内置策略引擎实现细粒度访问控制。探讨MicroVM与容器的区别、AI Agent安全执行环境搭建,以及多租户代码隔离方案。

Mesh LLM 是一款开源分布式推理框架,通过模型分层拆分,将多台普通设备聚合成「虚拟超级显卡」,让小显存机器也能运行数百GB的超大语言模型。本文详解其工作原理、跨平台安装体验,以及网络带宽这一不可回避的物理瓶颈。

深入解析无审查AI模型的运作原理:审查如何被移除、自学习是否真实存在、本地部署所需硬件配置。涵盖Ollama、LM Studio、Llama、量化技术等核心知识,帮你厘清开源AI生态的真实面貌。
苹果SpeechAnalyzer vs Whisper:速度、准确率与隐私全…
苹果WWDC 2025发布SpeechAnalyzer API,主打设备端本地运行、零延迟、免费。本文深度对比SpeechAnalyzer与OpenAI Whisper在转录准确率、处理速度、隐私保护和跨平台能力上的差异,帮助开发者选出最适合自己场景的语音识别方案。

Reddit社区曝光苹果M7 Ultra芯片规格,最高1.5TB统一内存或支持本地运行所有主流开源大模型。本文深度解析其技术架构、定价争议、内存带宽瓶颈及苹果生态锁定问题,探讨这款芯片对本地大模型部署的实际意义。

QuantaMind是一款免费开源的本地AI Agent可靠性测试工具,采用pass^k评分与确定性评分机制,支持多步序列测试与故障注入,覆盖Ollama、llama.cpp、vLLM等主流部署方案,帮助团队在上线前发现隐藏的序列级失败风险。
Clawk:为AI编程助手创建用完即弃的Linux沙箱隔离环境
AI编程助手(Claude Code、Cursor等)直接运行于本地机器存在严重安全隐患。Clawk项目提出核心解决方案:为AI智能体提供一次性disposable Linux虚拟机,彻底隔离SSH密钥、API令牌等敏感数据,构建更安全的AI编程工作流。
本地7B量化模型信息抽取:难点分析与工程优化策略
在16GB内存限制下,使用Qwen 2.5 7B量化模型从保险、金融合同中抽取60+结构化字段,为何效果不理想?本文深度拆解任务复杂度根因,提供任务拆分、语义分块、GBNF约束、RAG检索等可落地优化方案,助你在不换模型的前提下显著提升本地LLM信息抽取质量。
PrismML突破:270亿参数大模型如何跑进iPhone?
初创公司PrismML将阿里Qwen 3.6大模型从54GB压缩至4GB以内,实现270亿参数全激活在iPhone 17 Pro本地运行。本文解析其压缩技术原理、与苹果稀疏架构的差异,以及端侧AI的商业价值与待验证的关键疑问。

一位大学生围绕Ollama构建了近4万行代码的Mac应用,核心是与聊天模型彻底解耦的持久记忆系统:独立嵌入模型+本地向量索引+自愈机制,切换8B/32B模型时记忆无缝延续,附带AES256加密保险库与本地语音模式。

在16GB内存M4 Mac mini上实测Ornith 1.0 9B开源模型的智能体编程能力。塔防游戏任务对比9B与35B模型,揭示小参数模型在代码生成精度上的本质局限,以及本地AI编程工具的真实边界。
Relm:让本地大模型成为R语言原生对象的开源工具
Relm将本地大语言模型封装为R语言原生对象,支持本地推理、数据隐私保护与可解释性分析。本文深度解析其核心设计理念、差异化亮点及适用场景,为R语言数据科学家提供LLM集成新思路。

想用本地Ollama运行Gemma 3 12B并将其打造成AI Agent?本文系统讲解工具调用、n8n/LangChain/CrewAI框架对比、上下文限制等实战要点,助你快速构建可落地的本地智能体。