#GGUF
共 108 篇相关文章
深度解读·9 分钟
LLM 0.32重构：消息序列与流式分片如何重塑Python LLM交互
Simon Willison发布LLM 0.32a0 alpha版本，引入消息序列输入和类型化流式分片输出两大核心变化，重新定义Python大语言模型交互抽象层，支持多轮对话预填充、混合类型输出处理及响应序列化，同时保持完全向后兼容。
阅读全文 →
产品体验·10 分钟
PyGPT：开源桌面AI助手，一站式集成GPT/Claude/Ollama等多模型
深度解析PyGPT开源桌面AI助手，支持GPT-4、Claude、Gemini、Ollama本地模型等多模型集成，内置RAG知识管理、智能体、语音交互、图像生成等功能，适用于开发者、内容创作者和企业用户。
阅读全文 →
产品体验·6 分钟
灵雀AI Agent框架：私有化部署的自主可控方案
灵雀（lingque）是一款基于Python的开源AI Agent框架，支持完全私有化部署，数据不出域。本文深入分析其技术特点、适用场景及与LangChain等框架的差异化优势。
阅读全文 →
科技前沿·8 分钟
Kimi-K2.5开源：月之暗面最强模型来了，GitHub星标飙升
月之暗面正式开源旗舰模型Kimi-K2.5，GitHub星标突破1900。本文解读Kimi-K2.5的战略意义、技术生态、与DeepSeek和Qwen的竞争格局，以及开发者如何快速上手这款国产开源大模型。
阅读全文 →
产品体验·9 分钟
AnythingLLM完全指南：本地部署的隐私AI助手
深度解析AnythingLLM开源项目，一款隐私优先、零配置的本地AI生产力工具。支持RAG知识库、多模型切换、文档对话，GitHub近6万Star，适合企业和个人本地部署使用。
阅读全文 →
教程攻略·7 分钟
Ollama教程：一键本地部署DeepSeek、Qwen等大模型
详解Ollama本地运行大模型的完整指南，支持DeepSeek、Qwen、Kimi-K2.5等主流开源模型，涵盖安装使用、模型生态、隐私优势及企业私有化部署场景，GitHub 17万Star的热门开源工具。
阅读全文 →
教程攻略·7 分钟
Unsloth教程：本地微调大模型速度提升数倍，显存节省60%
Unsloth是GitHub 63K星标的开源大模型微调工具，支持Gemma 4、Qwen3、DeepSeek等模型。通过底层内核优化实现训练加速数倍、显存大幅降低，消费级GPU即可完成微调，提供Web UI图形界面，适合个人开发者和企业私有化部署。
阅读全文 →
教程攻略·8 分钟
Ollama教程：本地运行大模型的完整指南（2025最新）
详解Ollama本地部署大语言模型的完整教程，支持DeepSeek、Qwen、Kimi-K2.5等主流模型。17万Star开源项目，一键安装即可在本地运行LLM，保护数据隐私，零API成本。
阅读全文 →
教程攻略·7 分钟
Ollama教程：本地一键运行DeepSeek、Qwen等大模型完整指南
详解Ollama开源工具的安装使用方法，支持DeepSeek、Qwen、Kimi-K2.5、GLM-5等主流大模型本地部署，17万Star的最受欢迎本地大模型运行框架，助你实现离线AI推理与隐私保护。
阅读全文 →
科技前沿·8 分钟
Osaurus：macOS原生离线AI代理框架，5000+星标开源项目解析
深度解析Osaurus——专为macOS打造的原生AI代理框架，支持完全离线运行、持久化记忆、加密身份验证和任意模型接入。基于Swift和C构建，充分利用Apple Silicon性能，GitHub已获5100+星标。
阅读全文 →
产品体验·7 分钟
中文预训练模型资源库：覆盖LLM与多模态的5500+ Star开源项目
awesome-pretrained-chinese-nlp-models 是GitHub上5500+ Star的中文预训练模型索引项目，系统收录BERT、ChatGLM、Qwen等大语言模型及多模态模型，按任务、规模、领域分类，帮助开发者快速完成中文NLP模型选型。
阅读全文 →
教程攻略·8 分钟
Ollama教程：本地运行DeepSeek等大模型的最简方案
详解Ollama本地部署大模型的完整指南，支持DeepSeek、Qwen、Kimi-K2.5等主流模型。了解这款17万Star开源工具如何实现一键安装、离线推理，以及适用场景与生态集成方案。
阅读全文 →
科技前沿
AnythingLLM完全指南：本地部署的隐私AI知识库工具
·7 分钟
AnythingLLM完全指南：本地部署的隐私AI知识库工具
深度解析AnythingLLM这款GitHub近6万Star的开源AI工具，涵盖本地部署、RAG知识库构建、隐私保护等核心功能，帮助你快速搭建私有AI助手。
阅读全文 →
产品体验·7 分钟
AnythingLLM完全指南：本地部署的隐私AI生产力工具
深度解析AnythingLLM开源项目，一款支持本地部署的隐私优先AI工具。涵盖RAG文档对话、多模型支持、AI Agent等核心功能，零配置即可运行，GitHub近6万Star。
阅读全文 →
产品体验·7 分钟
Chatbox：支持多模型的开源AI桌面客户端详解
Chatbox是一款GitHub近4万Star的开源AI客户端，支持ChatGPT、Claude、Gemini及本地模型，提供跨平台桌面应用、数据本地存储、Prompt管理等功能，是统一管理多种AI对话服务的理想选择。
阅读全文 →
产品体验·8 分钟
GitHub 8200星LLM资源库：覆盖训练推理Agent全链路
深度解析GitHub万星项目awesome-LLM-resources，涵盖LLM数据处理、模型训练、推理优化、Agent开发、多模态生成等全生命周期资源，中文友好，适合各阶段开发者快速定位所需工具与教程。
阅读全文 →
教程攻略·8 分钟
Ollama教程：17万Star的本地大模型运行框架深度解析
深度解析Ollama开源项目，一行命令本地运行DeepSeek、Qwen、Kimi-K2.5等主流大模型。详解安装使用、模型生态、技术架构及适用场景，助你快速上手本地LLM部署。
阅读全文 →
产品体验·9 分钟
AnythingLLM完全指南：本地部署的隐私AI工具，6万Star的开源神器
深度解析AnythingLLM这款隐私优先的开源AI生产力工具，涵盖本地部署、RAG文档对话、多模型支持等核心功能，帮你搭建安全可控的私有AI工作台。
阅读全文 →
产品体验·10 分钟
Chatbox开源AI客户端完整测评：多模型支持的跨平台桌面工具
深度测评Chatbox开源AI客户端，支持GPT-4、Claude、Gemini等多模型接入，覆盖Windows/macOS/Linux跨平台使用。本文详解核心功能、技术架构、适用场景及与同类工具对比，帮你判断是否值得安装。
阅读全文 →
教程攻略·8 分钟
Ollama教程：17万Star的本地大模型运行框架详解
深入解析Ollama本地大模型运行框架，支持DeepSeek、Qwen、Kimi-K2.5等主流模型一键部署。了解Ollama的安装使用、模型生态、技术架构及隐私优势，助你零门槛在本地运行大语言模型。
阅读全文 →