#训练后量化
共 12 篇相关文章
·9 分钟
vLLM深度解析：PagedAttention如何实现高吞吐量LLM推理
深入解析vLLM高吞吐量LLM推理引擎的核心技术，包括PagedAttention内存管理、连续批处理机制、分布式部署方案，以及与TensorRT-LLM等方案的对比和适用场景建议。
阅读全文 →
产品体验·4 分钟
Qwen3.6-27B开源模型评测：27B参数实现旗舰级代码与多模态能力
阿里Qwen3.6-27B开源模型深度解析：270亿参数稠密架构，单卡即可部署，代码生成能力超越前代旗舰。本文详解其技术优势、基准测试成绩、硬件配置方案及实际部署建议，助你低成本获得旗舰级AI编程与多模态理解能力。
阅读全文 →
教程攻略·11 分钟
NVIDIA Model Optimizer训练后量化(PTQ)实战指南
深入解析NVIDIA Model Optimizer训练后量化(PTQ)工作流，涵盖INT8/INT4量化原理、校准方法、RTX GPU优化策略及大语言模型量化部署最佳实践，助你在消费级显卡上高效运行大模型。
阅读全文 →
深度解读·13 分钟
Hugging Face Transformers：16万星开源AI框架全面解析
全面解析GitHub 16万星的Hugging Face Transformers框架，从核心架构、多模态模型支持到大模型量化推理优化，帮助开发者快速掌握预训练模型的加载、微调与高效部署。
阅读全文 →
产品体验·12 分钟
Hugging Face Transformers：16万Star开源AI模型框架深度解析
深度解析Hugging Face Transformers开源框架，涵盖核心架构、多模态模型支持、社区生态及发展趋势。了解这个16万Star项目如何成为AI开发者的必备工具，以及如何快速上手预训练模型的推理与微调。
阅读全文 →
产品体验·9 分钟
awesome-LLM-resources：GitHub 8000+ Star的LLM资源大全深度解析
深度解析GitHub万星项目awesome-LLM-resources，涵盖AI Agent、模型训练、MCP协议、多模态生成等LLM十大核心方向，为研究人员和开发者提供最全面的大语言模型资源索引指南。
阅读全文 →
教程攻略·13 分钟
Hugging Face Transformers：16万星AI模型框架深度解析与实战指南
深入解析Hugging Face Transformers开源框架的核心特性、技术架构与生态系统。涵盖多框架支持、50万+预训练模型调用、全模态任务覆盖及快速上手代码示例，助你高效构建AI应用。
阅读全文 →
产品体验·11 分钟
Hugging Face Transformers：16万Star背后的技术架构与生态解析
深入解析Hugging Face Transformers开源框架，涵盖技术架构、四大模态支持、Pipeline API用法及与Hub生态整合。了解这个16万Star项目如何成为AI开发者必备工具，以及它在大模型时代的战略地位与未来方向。
阅读全文 →
产品体验·13 分钟
Hugging Face Transformers：16万Star背后的技术架构与实战指南
深入解析Hugging Face Transformers开源框架，涵盖核心架构、Pipeline API、模型微调、多模态支持等关键技术，帮助开发者快速掌握这个拥有16万GitHub Star的AI模型定义框架。
阅读全文 →
教程攻略·15 分钟
Ollama完全指南：一行命令本地运行DeepSeek等大模型
Ollama是GitHub 17万Star的开源工具，支持一行命令本地运行DeepSeek、Qwen、Kimi-K2.5等主流大模型。本文详解Ollama的模型生态、核心优势、应用场景及为何它成为本地LLM部署的事实标准。
阅读全文 →
产品体验·17 分钟
Hugging Face Transformers：16万Star开源框架深度解析
深度解析Hugging Face Transformers开源框架，涵盖核心功能、API设计、模型生态及实战代码示例。了解这个16万Star项目如何降低AI使用门槛，推动大语言模型、计算机视觉和多模态AI的民主化发展。
阅读全文 →
产品体验·16 分钟
Hugging Face Transformers：16万Star AI框架核心架构与实战指南
全面解析Hugging Face Transformers开源框架，涵盖pipeline API三行代码跑模型、Hub生态80万预训练模型整合、Trainer训练工具链及多模态支持。掌握这个16万Star AI框架的核心用法与技术架构。
阅读全文 →