#MXFP4
共 5 篇相关文章
·17 分钟
Q8_K_XL与MXFP4命名之争：FP8≠Q8_0的量化真相
深入解析大模型量化格式Q8_K_XL与MXFP4的命名差异，剖析FP8与Q8_0的本质区别，澄清"8-bit即无损"的常见误解，帮助本地部署用户选对量化版本。
阅读全文 →
·15 分钟
Unsloth发布DeepSeek V4 Flash量化版：162GB实现无损运行
Unsloth团队发布DeepSeek V4 Flash 0731的UD动态量化版本，提供从162GB无损到83GB极限压缩共六个版本。采用MXFP4+BF16混合精度方案，为本地部署大模型提供完整精度梯度选择。
阅读全文 →
·11 分钟
NVFP4量化实战：NVIDIA模型优化器压缩大模型指南
深入解析NVFP4量化技术：使用NVIDIA Model Optimizer将Nemotron 3 Ultra压缩为FP4格式检查点，实现显存占用降低75%，提升推理吞吐量。涵盖量化原理、校准流程与Blackwell架构协同优化实践。
阅读全文 →
科技前沿·6 分钟
SGLang v0.5.12.post1发布：DeepSeek V4稳定性修复与Blackwell适配
SGLang v0.5.12.post1稳定性补丁详解，包含12项关键修复，涵盖DeepSeek V4乱码与崩溃问题、NIXL PD分离式推理逻辑修复、Blackwell B300架构适配及冷启动性能优化。
阅读全文 →
深度解读·8 分钟
微软Tutel：MoE模型加速库深度解析，支持FP4/FP8低精度计算
深度解析微软开源Tutel MoE优化库，支持FP8、NVFP4、MXFP4多精度计算，适配DeepSeek、Kimi-K2、Qwen3等主流MoE模型，解决All-to-All通信瓶颈与显存管理难题。
阅读全文 →