#低精度训练

共 2 篇相关文章

NVFP4强化学习训练：4位量化稳定性挑战与工程实践

深入解析NVIDIA NVFP4（4位浮点）在强化学习训练中的稳定性挑战。从FP16到FP4的精度演进、RL场景的数值不稳定根因，到混合精度策略、动态缩放等工程解法，揭示大模型低精度训练的核心权衡。

深度解析微软开源Tutel MoE优化库，支持FP8、NVFP4、MXFP4多精度计算，适配DeepSeek、Kimi-K2、Qwen3等主流MoE模型，解决All-to-All通信瓶颈与显存管理难题。