#NVFP4
共 11 篇相关文章
NVFP4强化学习训练：4位量化稳定性挑战与工程实践
·5 分钟
NVFP4强化学习训练：4位量化稳定性挑战与工程实践
深入解析NVIDIA NVFP4（4位浮点）在强化学习训练中的稳定性挑战。从FP16到FP4的精度演进、RL场景的数值不稳定根因，到混合精度策略、动态缩放等工程解法，揭示大模型低精度训练的核心权衡。
阅读全文 →
·11 分钟
Unsloth发布Qwen3.6 NVFP4量化：2.5倍提速，零精度损失
Unsloth针对Qwen3.6系列发布NVFP4量化版本，采用W4A4真4bit张量核心运算，相比NVIDIA官方实现最高2.5倍推理加速，MMLU-Pro等多项基准测试精度持平甚至超越BF16全精度，本地部署效率大幅提升。
阅读全文 →
·17 分钟
Unsloth重磅更新：DeepSeek-V4支持与NVFP4量化导出全解析
Unsloth v0.1.481-beta正式发布，新增DeepSeek-V4-Flash完整支持、NVFP4/FP8/imatrix GGUF多格式量化导出，GRPO训练提速1.3倍，MoE训练加速3-5倍，Studio升级为OpenAI兼容API服务系统，覆盖微调、导出、推理全链路。
阅读全文 →
·14 分钟
Unsloth重磅更新：支持NVFP4量化导出与DeepSeek-V4训练
Unsloth v0.1.48-beta版本发布，新增NVFP4/FP8量化导出、OpenAI兼容API热切换、MoE训练提速3-5倍、GRPO提速1.3倍，全面覆盖大模型微调、量化与本地部署全链路。
阅读全文 →
·11 分钟
NVFP4量化实战：NVIDIA模型优化器压缩大模型指南
深入解析NVFP4量化技术：使用NVIDIA Model Optimizer将Nemotron 3 Ultra压缩为FP4格式检查点，实现显存占用降低75%，提升推理吞吐量。涵盖量化原理、校准流程与Blackwell架构协同优化实践。
阅读全文 →
产品体验·4 分钟
Qwen3.6量化版本地部署实测：NVFP4、APEX、Q4、Q6哪个最值得选
实测Qwen3.6系列7-8个量化模型在工具调用、命令行操作、Bug修复、数学推理等8大维度的表现，对比NVFP4、APEX、Q4、Q6量化方案，附总分排名与选购建议，帮你找到最适合本地部署的量化版本。
阅读全文 →
·12 分钟
Laguna S 2.1深度评测：1180亿参数编程模型本地部署实战
深入评测Poolside发布的Laguna S 2.1开源编程模型，解析其MoE架构、强化学习训练方法、DGX Spark本地部署技巧及实际编程能力测试，探讨80亿激活参数如何实现智能体编程。
阅读全文 →
科技前沿
大佬观点·第1期：AI工具公司卷大模型，基准造假危机
·1 分钟
大佬观点·第1期：AI工具公司卷大模型，基准造假危机
每周五盘点本周行业大佬的发言和官方公告
阅读全文 →
教程攻略·9 分钟
大模型命名规则解析：参数量、量化格式与显存需求速查
系统拆解大模型命名规则，解释32B参数量、AWQ/GGUF量化格式的含义，提供4-bit量化显存估算公式与速查表，涵盖MOE模型显存陷阱、IMatrix量化推荐及按显存档位的模型选择建议。
阅读全文 →
教程攻略·5 分钟
vLLM与SGLang本地部署教程：性能提升3-8倍的实战指南
详解vLLM和SGLang本地部署全流程，对比LM Studio性能差距，通过Docker+AI助手三步完成部署。涵盖SGLang与vLLM选型建议、5090显存优化、Qwen3模型推荐及Cherry Studio接入方法。
阅读全文 →
深度解读·8 分钟
微软Tutel：MoE模型加速库深度解析，支持FP4/FP8低精度计算
深度解析微软开源Tutel MoE优化库，支持FP8、NVFP4、MXFP4多精度计算，适配DeepSeek、Kimi-K2、Qwen3等主流MoE模型，解决All-to-All通信瓶颈与显存管理难题。
阅读全文 →