#模型量化
共 94 篇相关文章
深度解读·8 分钟
AI模型部署流水线摩擦：TensorRT如何系统性消除推理优化瓶颈
深入解析AI模型从训练到生产部署中的流水线摩擦问题，详解TensorRT自动化优化、ONNX模型导出、Triton推理服务器等关键技术，提供消除部署瓶颈的最佳实践方案。
阅读全文 →
深度解读·13 分钟
Hugging Face Transformers：16万星开源AI框架全面解析
全面解析GitHub 16万星的Hugging Face Transformers框架，从核心架构、多模态模型支持到大模型量化推理优化，帮助开发者快速掌握预训练模型的加载、微调与高效部署。
阅读全文 →
产品体验·12 分钟
Hugging Face Transformers：16万Star开源AI模型框架深度解析
深度解析Hugging Face Transformers开源框架，涵盖核心架构、多模态模型支持、社区生态及发展趋势。了解这个16万Star项目如何成为AI开发者的必备工具，以及如何快速上手预训练模型的推理与微调。
阅读全文 →
教程攻略·9 分钟
OpenAI开源GPT-OSS：16G显存跑O4级模型，部署教程全解析
OpenAI正式开源GPT-OSS系列模型（20B/120B），采用MOE架构+FP4混合精度，单卡4090即可运行O3级推理模型。本文详解核心技术、性能评测及Ollama/vLLM等四种本地部署方案。
阅读全文 →
产品体验·9 分钟
MeMo开源AI Agent平台深度评测：长期记忆+MCP协议+多Bot协作实战
深度评测开源AI Agent平台MeMo，详解长期记忆系统、MCP协议接入、多Bot容器化隔离、全渠道部署等核心功能，附安装配置教程与使用建议，帮你快速上手智能体开发。
阅读全文 →
产品体验·8 分钟
Sim Studio：近万Star开源AI Agent工作流平台深度解析
深度解析开源AI工作流平台Sim Studio，GitHub近10K Star，采用Apache 2.0协议，支持完全本地部署和Ollama本地大模型接入。与Dify、n8n横向对比，零代码拖拽构建AI Agent智能体。
阅读全文 →
教程攻略·9 分钟
Ollama+OpenCode本地部署AI编程：零成本替代Cursor的完整方案
详细教程：通过Ollama本地部署千问3 Coder大模型，配合OpenCode开源编程工具，实现零成本AI编程。涵盖环境搭建、代码生成、自动调试全流程，附硬件配置建议。
阅读全文 →
教程攻略·8 分钟
GPT-OSS开源模型本地部署教程：实测效果与显存占用分析
详细介绍OpenAI开源GPT-OSS模型的本地部署全流程，使用Ollama在RTX 4090上实测20B版本的中文理解、逻辑推理等能力表现，分析MoE架构下的显存占用与硬件需求。
阅读全文 →
教程攻略·10 分钟
2025年大模型转型路线图：基础→框架→实战三阶段规划
系统梳理2025年AI大模型应用开发转型路线，涵盖Python基础、Transformer架构、LangChain与LlamaIndex框架、RAG检索增强生成、Agent开发、模型微调三大核心技能，附实战项目建议，助你2-3个月完成转型。
阅读全文 →
教程攻略·9 分钟
Google AI Studio免费使用指南：零成本玩转Gemini满血版
详解Google AI Studio免费使用方法，涵盖界面布局、Temperature等核心参数设置、Build零代码构建应用及免费额度策略，助你零成本体验Gemini 2.5 Pro等顶级模型的全部能力。
阅读全文 →
科技前沿·9 分钟
Hugging Face开源Agent生态全解：从本地部署到AI自动训练
深度解析Hugging Face开源Agent生态系统：开源模型已追平闭源表现，本地Agent部署方案对比（Hermes/LLama/Plandex），Skills系统实现对话式自动训练模型，MCP集成实战案例，一文掌握AI Agent开发全链路。
阅读全文 →
教程攻略·9 分钟
小智AI+MCP协议+STM32：语音控制智能家居实战方案
详解小智AI通过MCP协议与STM32双机通信实现智能家居语音控制的完整方案，涵盖步进电机精准控制、灯光风扇加湿器开关控制，以及MCP协议在嵌入式硬件领域的落地实践。
阅读全文 →
产品体验·9 分钟
戴森Find+Follow空气净化风扇评测：AI摄像头追踪人员位置精准送风
戴森发布Find+Follow Purifier Cool空气净化无叶风扇，首次搭载AI摄像头实现人员位置追踪和定向送风。本文详解其核心技术原理、隐私考量及智能家居主动感知趋势。
阅读全文 →
教程攻略·7 分钟
Gemma 4部署DGX Spark实战：本地AI超算+开源大模型全解析
深度解析Google Gemma 4模型在NVIDIA DGX Spark上的部署方案。涵盖DGX Spark硬件架构、Gemma 4技术亮点、本地AI部署优势及开发者实践指南，助你掌握桌面级AI超算的最新玩法。
阅读全文 →
教程攻略·9 分钟
AI科研全流程实战：从LLM选型到N8N自动化工作流搭建指南
深度解析AI驱动科研全流程方法论，涵盖LLM模型选型、Python数据分析自动化、Zotero文献管理、Overleaf论文写作、本地LLM部署及N8N自动化工作流搭建，助你从AI聊天升级为AI做科研。
阅读全文 →
产品体验·6 分钟
1Panel开源面板：集成AI Agent的新一代服务器管理工具
1Panel是一款基于Go语言开发的开源服务器管理面板，原生支持Ollama模型部署和AI Agent编排。GitHub超35000 Star，提供Web可视化界面管理网站、数据库、防火墙等，适合个人开发者和中小企业运维使用。
阅读全文 →
科技前沿·6 分钟
DeadEnd-CLI：开源AI渗透测试工具黑盒基准达81%通过率
DeadEnd-CLI是一款开源AI代理式渗透测试工具，在XBOW基准测试中以KIMI K2.5模型实现81%全黑盒通过率。支持多模型兼容、完全自托管部署，为安全团队提供低成本自动化渗透测试方案。
阅读全文 →
产品体验·6 分钟
IBM Granite 4.1开源模型：21种GGUF量化版本SVG生成实测对比
IBM发布Granite 4.1系列Apache 2.0开源大模型，Unsloth提供21种GGUF量化变体。Simon Willison用鹈鹕骑自行车SVG提示词逐一测试，揭示3B模型量化精度与输出质量的真实关系。
阅读全文 →
教程攻略·7 分钟
GitHub 8K Star：最全LLM大语言模型资源库深度解析
深度解析GitHub热门项目awesome-LLM-resources，8200+ Star的LLM资源宝库，覆盖多模态、AI Agent、MCP协议、模型训练推理、辅助编程等核心方向，为AI从业者提供系统性学习路线图。
阅读全文 →
产品体验·6 分钟
localOCR：本地部署的开源OCR方案，支持Gemma-4等视觉模型
localOCR是一款基于Gemma-4、Llama 3.2等视觉语言模型的本地OCR开源工具，支持离线运行，保障数据隐私。本文详解其技术架构、多模型支持、适用场景及相比传统OCR的核心优势。
阅读全文 →