#GGUF
共 108 篇相关文章
教程攻略·6 分钟
AI建站实战指南：零代码搭建企业官网的工具与方法
深度解析AI建站工具如何帮助中小企业零代码搭建官网。对比通义灵码、OpenCloud等主流方案，分析真实门槛与注意事项，助你大幅降低建站成本。
阅读全文 →
教程攻略·5 分钟
Ollama本地部署大模型教程：安装配置到API调用全流程
详解Ollama本地部署开源大模型的完整流程，涵盖安装配置、模型选择与量化策略、Python代码调用API、性能优化等实战技巧，帮你快速在本地运行Qwen、Llama等大模型。
阅读全文 →
教程攻略·6 分钟
Docker Model Runner使用教程：一条命令本地运行AI模型
详解Docker Model Runner的安装配置与实战用法，通过Docker Compose集成本地AI模型，兼容OpenAI API接口，实现零配置本地部署LLM大模型，附完整聊天应用开发示例。
阅读全文 →
产品体验·5 分钟
QwenCoder本地部署实测：能否替代付费AI编程助手？
实测QwenCoder 80B本地部署效果，对比Gemini、Claude等付费AI编程工具。详解硬件配置、LM Studio部署方案及实际编程能力测试结果，帮你判断本地模型能否省下AI订阅费。
阅读全文 →
教程攻略·7 分钟
DeepSeek本地部署教程：Ollama一键安装运行指南
详细讲解如何通过Ollama在本地部署DeepSeek R1大模型，包括安装步骤、模型版本选择、硬件配置要求及进阶玩法，零基础10分钟搞定私有化AI部署。
阅读全文 →
教程攻略·6 分钟
本地部署大模型怎么判断显存爆了？一文看懂显存监控方法
本地部署大模型时如何判断显存是否爆满？本文详解专用显存与共享GPU内存的区别，教你通过任务管理器快速判断显存溢出，并提供模型量化、上下文长度控制等避免爆显存的实用建议。
阅读全文 →
产品体验·4 分钟
DeepSeek V4 vs Qwen3.6实测：8大类150场景深度对比评测
使用BenchLocal工具对DeepSeek V4 Pro、V4 Flash与Qwen3.6 27B进行8大类85场景实测对比，涵盖工具调用、代码调试、推理数学等维度，V4 Pro总分领先6%但数学推理意外翻车，Qwen3.6 Q6在智能体场景媲美V4 Pro。
阅读全文 →
产品体验·4 分钟
Qwen3.6-27B开源模型评测：27B参数实现旗舰级代码与多模态能力
阿里Qwen3.6-27B开源模型深度解析：270亿参数稠密架构，单卡即可部署，代码生成能力超越前代旗舰。本文详解其技术优势、基准测试成绩、硬件配置方案及实际部署建议，助你低成本获得旗舰级AI编程与多模态理解能力。
阅读全文 →
教程攻略·6 分钟
Hermes + Qwen3.6 本地部署教程：零成本搭建私有AI Agent
详细教程教你用Hermes Agent搭配Qwen3.6开源大模型，在本地零成本部署私有AI助手。涵盖WSL环境配置、模型下载启动、Telegram机器人对接及开机自启设置，实现无限Token、数据私有的AI Agent体验。
阅读全文 →
教程攻略·5 分钟
vLLM与SGLang本地部署教程：性能提升3-8倍的实战指南
详解vLLM和SGLang本地部署全流程，对比LM Studio性能差距，通过Docker+AI助手三步完成部署。涵盖SGLang与vLLM选型建议、5090显存优化、Qwen3模型推荐及Cherry Studio接入方法。
阅读全文 →
科技前沿·4 分钟
Qwen3.6 MTP加速实测：单GPU推理飙到220 token/s
Qwen3.6实验性MTP-GGUF版本实测，单GPU将35B-A3B模型推理速度提升至220 token/s，比原版快1.4倍且精度零损失。详解MTP原理、最优Draft Tokens策略及RTX 5090实测数据。
阅读全文 →
行业洞察·5 分钟
企业大模型选型指南：Llama3.1、Qwen2.5、DeepSeek深度对比
企业如何选择开源大模型？本文从模型能力、硬件需求、业务场景三个维度，深度对比Llama 3.1、Qwen 2.5、DeepSeek、Mistral等主流开源模型，提供选型决策框架与实践建议。
阅读全文 →
产品体验·10 分钟
星火WinShape实测：Windsurf自动换号无限用Claude Opus靠谱吗
实测星火WinShape插件实现Windsurf账号自动无感切换，批量管理账号持续使用Claude Opus模型。详细拆解使用流程、核心功能与风险分析，并推荐更稳妥的合规替代方案。
阅读全文 →
教程攻略·4 分钟
Token自由实现指南：低成本使用Codex与GPT的5个省钱策略
详解如何实现Token自由，涵盖模型选择、中转API、Prompt优化、免费额度利用等5大策略，帮助开发者大幅降低GPT和Codex的API调用成本，轻松节省Token开支。
阅读全文 →
教程攻略·4 分钟
DeepSeek+RAGFlow本地部署AI知识库教程（2025最新）
手把手教你用DeepSeek+RAGFlow+Ollama本地部署个人AI知识库。涵盖RAG原理解析、Ollama安装、Docker部署RAGFlow、知识库创建与调优全流程，数据完全私有，零基础可上手。
阅读全文 →
科技前沿·10 分钟
Step 3.5 Flash深度解析：1960亿参数开源模型击败Gemini的秘密
深度解析阶跃星辰Step 3.5 Flash开源模型：1960亿参数MoE架构仅激活110亿，编码速度350 token/秒，支持256K上下文窗口，可本地部署。详解其如何在Agent和编码任务中击败Gemini 3 Flash。
阅读全文 →
产品体验·8 分钟
GitHub 8K Star：最全LLM大模型资源宝库深度解析
深度解析GitHub热门项目awesome-LLM-resources，涵盖多模态生成、AI Agent、MCP协议、模型训练推理、o1模型、小语言模型等LLM核心方向，8200+ Star社区验证的大语言模型学习资源一站式导航。
阅读全文 →
产品体验·8 分钟
AnythingLLM：本地部署的全能AI知识库工具深度解析
深度解析AnythingLLM开源项目，一款隐私优先、零配置的本地AI生产力平台。支持RAG文档对话、多模型接入、知识库管理和AI Agent，GitHub近6万星标，适合企业和个人本地部署使用。
阅读全文 →
产品体验·11 分钟
Chatbox开源AI客户端：近4万Star，一站式管理多模型对话
深度解析GitHub近4万Star的开源AI客户端Chatbox，支持GPT-4、Claude、Gemini等多模型一键切换，数据本地存储保护隐私，跨平台桌面应用。详解核心功能、适用场景及与Jan、TypingMind等同类产品对比。
阅读全文 →
产品体验·12 分钟
Hugging Face Transformers：16万Star开源AI模型框架深度解析
深度解析Hugging Face Transformers开源框架，涵盖核心架构、多模态模型支持、社区生态及发展趋势。了解这个16万Star项目如何成为AI开发者的必备工具，以及如何快速上手预训练模型的推理与微调。
阅读全文 →