Nemotron 3.5
英伟达开发的开放权重大语言模型,已获得大量实际使用
时间轴 (近 90 天)
后训练管线覆盖监督微调与强化学习,强化学习部分同时用了 RLVR 与 RLHF。
MTP boosting 在概率性 draft sampling 下把投机解码的接受长度最多提升了 21.8%。
推理优化在 GB200 上达到每 GPU 最高 4,856 输出 token/s,同时维持每用户至少 50 token/s 的体验下限。
通过并行智能体执行与自验证来探索测试时扩展(test-time scaling)。
Nemotron 3.5配方:从更大的Nemotron-3教师进行1T token蒸馏,配合多教师MOPD后训练,以及一个提升MTP接受长度的步骤,把接受长度从21.8%提升到4.61。
英伟达据传正在训练Nemotron 4,其Nemotron 3.5已获得大量使用
NVFP4量化方案相比BF16基线实现了1.5倍的推理加速,同时在top-1准确率上保留了92%到97%的水平
全部知识事实 (7)
后训练管线覆盖监督微调与强化学习,强化学习部分同时用了 RLVR 与 RLHF。
50%待验证MTP boosting 在概率性 draft sampling 下把投机解码的接受长度最多提升了 21.8%。
50%待验证推理优化在 GB200 上达到每 GPU 最高 4,856 输出 token/s,同时维持每用户至少 50 token/s 的体验下限。
50%待验证通过并行智能体执行与自验证来探索测试时扩展(test-time scaling)。
50%待验证Nemotron 3.5配方:从更大的Nemotron-3教师进行1T token蒸馏,配合多教师MOPD后训练,以及一个提升MTP接受长度的步骤,把接受长度从21.8%提升到4.61。
50%待验证英伟达据传正在训练Nemotron 4,其Nemotron 3.5已获得大量使用
50%待验证NVFP4量化方案相比BF16基线实现了1.5倍的推理加速,同时在top-1准确率上保留了92%到97%的水平
50%