#GGUF
共 108 篇相关文章
KeyType：macOS免费开源的系统级AI自动补全工具
·5 分钟
KeyType：macOS免费开源的系统级AI自动补全工具
KeyType是一款基于MIT协议的macOS系统级AI文本补全工具，支持本地LLM推理和自选模型。覆盖浏览器、备忘录、邮件等所有输入框，按Tab即可补全，数据完全不出本机，是Cotypist的免费开源替代方案。
阅读全文 →
深度解读·9 分钟
大模型训练全流程解析：预训练、SFT微调与偏好对齐通俗详解
详解大模型训练三大核心阶段：预训练、有监督微调(SFT)、偏好对齐(DPO/PPO)，涵盖LoRA、模型蒸馏量化剪枝等关键技术，帮助开发者理解从Base Model到Chat Model的完整流程。
阅读全文 →
教程攻略·7 分钟
OpenClaw本地部署教程：10分钟接入微信飞书钉钉
详解OpenClaw（小龙虾）本地部署全流程，涵盖Windows安装、云部署、微信/飞书/钉钉多平台接入及自定义Skills编写，零基础用户10分钟即可完成部署上手。
阅读全文 →
科技前沿·7 分钟
DeepSeek-V3.2发布：编程与数学能力跻身全球第一梯队
DeepSeek-V3.2版本发布，编程、数学和Agent开发能力追平Gemini 3.0 Pro，刷新开源模型SOTA记录。本文详解V3.2性能提升亮点、适用场景及部署建议。
阅读全文 →
产品体验·9 分钟
Google Gemma 4实测：手机离线运行+Ollama部署教程
实测Google Gemma 4开源模型在三台手机上的离线运行表现，详解Dense与MOE架构区别，附Ollama + Claude Code完整部署教程。从1B到31B四款模型覆盖手机到工作站全场景，4GB显存即可运行。
阅读全文 →
产品体验·8 分钟
WhichLLM：一键检测你的电脑最适合跑哪个本地大模型
WhichLLM 是一款开源工具，能自动检测电脑硬件配置，结合权威评测数据推荐最适合本地运行的大语言模型。支持模拟任意显卡配置、过滤虚假评测、一键下载开聊，帮你告别选模型的纠结。
阅读全文 →
教程攻略·9 分钟
一人管三机：本地Agent部署与多机协同运维实战
通过部署Cloud Code和Hermes等多个AI Agent，实现一人管理三台物理主机的高效运维。详解Ventoy单文件部署方案、BTRFS+RAW Image技术选型、Agent分工策略与风险控制，打造最小代价最大产出的个人运维体系。
阅读全文 →
教程攻略·10 分钟
llama.cpp MTP加速部署指南：配置步骤与性能实测
详解llama.cpp如何启用MTP多Token预测加速技术，涵盖CUDA环境配置、桌面端设置、模型选择及实测性能数据，Qwen3 27B实测近60 Token/s。
阅读全文 →
教程攻略·11 分钟
前端AI全栈开发实战：PNPM MonoRepo架构搭建多模态应用
详解前端AI全栈开发的工程化实践，从PNPM MonoRepo架构设计、TurboRepo构建优化到LangChain多模态应用完整链路，涵盖子包规划、AI引擎封装、Ollama模型调用等核心环节，助力前端开发者快速切入AI全栈赛道。
阅读全文 →
教程攻略·7 分钟
AnythingLLM安装配置教程：本地知识库搭建与API调用指南
详解AnythingLLM本地知识库的安装避坑、Ollama模型配置、文档向量化、知识库召回率优化及API调用方法，帮助你快速搭建私有智能问答系统。
阅读全文 →
产品体验·7 分钟
Hertzman木马人：免费免安装的本地大模型部署工具评测
详细评测Hertzman木马人本地推理引擎，涵盖一键部署、智能硬件推荐、OpenAI兼容API接口等核心功能，并与LM Studio进行性能对比，帮你快速上手本地大模型。
阅读全文 →
教程攻略·7 分钟
PyCharm配置本地DeepSeek模型实现AI辅助编程完整教程
详细介绍如何通过Ollama在PyCharm中配置本地DeepSeek模型，实现免费、隐私安全的AI辅助编程。包含安装步骤、插件配置、使用技巧及硬件建议。
阅读全文 →
产品体验·11 分钟
OpenHuman深度解析：上下文优先的开源私人AI Agent
深度解析OpenHuman开源私人AI Agent，详解其上下文优先架构、Rust+React混合方案、内存树记忆系统、Token Juice压缩引擎及多模型动态路由，全面评估其安全设计与竞品优势。
阅读全文 →
教程攻略·7 分钟
pnpm Monorepo全栈AI工程化实战：搭建多模态对话系统
详解如何用pnpm Monorepo架构搭建全栈AI多模态对话系统，涵盖本地模型集成、图片理解、流式对话等核心功能，提供工程化最佳实践与落地方案。
阅读全文 →
教程攻略·10 分钟
CrewAI+FastAPI搭建多Agent协作应用实战指南
详解如何使用CrewAI框架搭建多Agent协作系统，结合FastAPI封装为API服务。涵盖Agent、Task、Crew核心概念解析，支持GPT、通义千问、Ollama三种大模型接入方案，附完整代码示例与模型效果对比。
阅读全文 →
教程攻略·7 分钟
PyCharm AI助手深度体验：本地补全、Edit模式与实用技巧
详解PyCharm AI Assistant新特性：免费本地AI补全、云端增强生成、Chat与Edit双模式切换、上下文精准管理等功能，帮助Python开发者快速上手并提升编码效率。
阅读全文 →
教程攻略·9 分钟
Claude Agent SDK+LiteLLM+本地大模型：零成本搭建智能体平台
详解如何通过LiteLLM Proxy将Claude Agent SDK的API请求重定向到本地大模型，在保留完整Agent框架能力的同时将推理成本降为零。含架构设计、实战演示与企业级部署方案。
阅读全文 →
产品体验·9 分钟
Mac本地跑Qwen3.6-27B：4种方案实测对比
实测对比Mac本地运行Qwen3.6-27B的4种方案，包括GGUF、MLX Diflash和MTP-LX。MTP-LX 4bit方案以43.6 tok/s速度领先，编码、写作、推理质量均可圈可点，附安装配置指南。
阅读全文 →
