#NVIDIA Model Optimizer
共 16 篇相关文章
教程攻略·11 分钟
NVIDIA Model Optimizer训练后量化(PTQ)实战指南
深入解析NVIDIA Model Optimizer训练后量化(PTQ)工作流，涵盖INT8/INT4量化原理、校准方法、RTX GPU优化策略及大语言模型量化部署最佳实践，助你在消费级显卡上高效运行大模型。
阅读全文 →
·12 分钟
分布式AI系统：训练、推理与生产部署工程实践指南
深入解析分布式AI系统的完整工程链路，涵盖数据并行、模型并行、张量并行等训练策略，以及生产级推理优化（KV缓存、模型量化、弹性伸缩）与云端部署实践，助力AI工程师从调参迈向系统架构设计。
阅读全文 →
·11 分钟
非均匀张量并行：NVIDIA提升LLM训练Goodput的容错新方案
NVIDIA提出非均匀张量并行技术，通过允许GPU承担不同计算负载，在硬件故障时无需回滚检查点即可继续训练，显著提升大规模LLM训练的有效产出（Goodput），为超大规模模型训练容错能力提供关键解决方案。
阅读全文 →
·11 分钟
NVFP4量化实战：NVIDIA模型优化器压缩大模型指南
深入解析NVFP4量化技术：使用NVIDIA Model Optimizer将Nemotron 3 Ultra压缩为FP4格式检查点，实现显存占用降低75%，提升推理吞吐量。涵盖量化原理、校准流程与Blackwell架构协同优化实践。
阅读全文 →
·9 分钟
LLM基础设施建设全解析：从GPU集群到推理优化的核心挑战
深入解析LLM基础设施建设的核心挑战与关键技术栈，涵盖GPU集群管理、模型推理优化、分布式训练流程、成本控制与可观测性建设，为技术团队提供系统性的LLM Infra实践指南。
阅读全文 →
教程攻略·11 分钟
NCCL Inspector详解：GPU集群通信实时监控与Prometheus集成实践
深入解析NVIDIA NCCL Inspector工具，介绍其与Prometheus深度集成实现GPU集群通信实时监控的方案，涵盖慢节点定位、告警配置、Grafana可视化等实际应用场景，助力大规模分布式训练性能优化。
阅读全文 →
产品体验·10 分钟
Cube Studio深度解析：腾讯开源一站式MLOps平台
深度解析腾讯音乐开源的Cube Studio一站式AI平台，涵盖架构设计、分布式训练、大模型微调推理、国产化适配等核心能力，帮助企业高效落地MLOps全流程。
阅读全文 →
产品体验·9 分钟
Cube Studio：腾讯开源云原生AI平台全面解析
深度解析腾讯音乐开源的Cube Studio云原生AI平台，涵盖分布式训练、大模型微调推理、Pipeline编排、国产化适配等核心能力，助力企业快速构建一站式MLOps基础设施。
阅读全文 →
产品体验·8 分钟
Cube Studio：腾讯开源一站式AI平台，MLOps全流程深度解析
深度解析腾讯音乐开源的Cube Studio云原生AI平台，涵盖Notebook开发、Pipeline编排、分布式训练、大模型微调、推理部署及国产化适配等核心能力，助力企业快速构建MLOps全流程基础设施。
阅读全文 →
产品体验·7 分钟
GitHub 8000+ Star：awesome-LLM-resources最全大语言模型资源库解析
深度解析GitHub万星项目awesome-LLM-resources，涵盖LLM模型训练、多模态生成、AI Agent、MCP协议、辅助编程等十余个方向，为开发者提供最全面的大语言模型学习资源地图。
阅读全文 →
产品体验·9 分钟
awesome-LLM-resources：GitHub 8000+ Star的LLM资源大全深度解析
深度解析GitHub万星项目awesome-LLM-resources，涵盖AI Agent、模型训练、MCP协议、多模态生成等LLM十大核心方向，为研究人员和开发者提供最全面的大语言模型资源索引指南。
阅读全文 →
产品体验·12 分钟
Cube Studio深度解析：腾讯开源一站式云原生AI平台
深度解析腾讯开源AI平台Cube Studio，覆盖分布式训练、大模型微调、推理部署、VGPU虚拟化及国产化适配等核心功能，帮助企业构建MLOps全流程一站式AI基础设施。
阅读全文 →
产品体验·17 分钟
Hugging Face Transformers：16万Star开源框架深度解析
深度解析Hugging Face Transformers开源框架，涵盖核心功能、API设计、模型生态及实战代码示例。了解这个16万Star项目如何降低AI使用门槛，推动大语言模型、计算机视觉和多模态AI的民主化发展。
阅读全文 →
产品体验·10 分钟
Cube Studio深度解析：腾讯开源一站式MLOps平台实战指南
深度解析腾讯开源AI平台Cube Studio的架构设计与核心能力，涵盖大模型训练微调、vLLM推理部署、分布式训练框架生态、昇腾国产化适配及VGPU算力管理，帮助企业快速构建私有化MLOps全流程。
阅读全文 →
产品体验·10 分钟
Hugging Face Transformers：16万Star背后的AI开源框架深度解析
深入解析Hugging Face Transformers开源框架，涵盖核心功能、Pipeline API用法、生态协同、大模型支持及未来挑战，帮助开发者全面了解这个16万Star的AI模型定义框架。
阅读全文 →
产品体验·14 分钟
Cube Studio：腾讯开源一站式AI平台，大模型训练到推理全覆盖
深度解析腾讯音乐开源的Cube Studio云原生AI平台，涵盖分布式训练、DeepSeek大模型微调、vLLM推理部署、VGPU算力管理等核心功能，支持华为昇腾国产化生态，助力企业构建私有AI基础设施。
阅读全文 →