Fireworks平台支持Nemotron 3 Ultra后训练：一站式微调与部署

Fireworks训练平台再扩展：Nemotron 3 Ultra现已支持后训练

Fireworks AI近日宣布其训练平台新增对NVIDIA Nemotron 3 Ultra模型的后训练支持，用户可以在同一基础设施上完成模型的微调与部署，实现"训练即上线"的无缝工作流。

Nemotron 3 Ultra：领先的美国开放权重模型

Nemotron 3 Ultra是NVIDIA推出的开放权重大语言模型，被Fireworks称为"领先的美国开放权重模型"。Nemotron系列是NVIDIA在大语言模型领域的重要产品线，其命名延续了NVIDIA以天文学和科幻元素命名产品的传统。Nemotron 3 Ultra作为该系列的旗舰版本，在多项基准测试中展现了与闭源顶级模型相当的能力。NVIDIA推出开放权重模型的战略意图十分明确——通过提供高质量的基础模型来推动其GPU硬件和CUDA生态的采用，形成"开放模型吸引开发者→开发者需要GPU训练和推理→GPU销售增长"的正向飞轮。

作为开放权重模型，它允许开发者在其基础上进行定制化训练，这使得后训练（post-training）能力变得尤为重要。这里需要区分"开放权重"与"开源"的概念：开放权重意味着模型的参数权重文件公开可用，开发者可以下载、部署和微调，但模型的训练数据、训练代码和完整的技术细节不一定完全公开。这与真正意义上的开源（如Linux那样代码、文档全部开放）有所不同，但对于绝大多数应用场景而言，开放权重已经足以满足定制化需求。

开放权重模型的核心价值在于可定制性。企业和开发者可以根据自身业务场景对模型进行针对性优化，而不必从头训练一个大模型。Nemotron 3 Ultra的开放特性，加上Fireworks平台的训练能力，为开发者提供了一条从基础模型到生产部署的完整路径。

Fireworks平台支持的后训练方式

Fireworks平台为Nemotron 3 Ultra提供了多种后训练选项，覆盖不同定制需求。在理解这些后训练方式之前，有必要厘清大模型开发的完整流程：首先是预训练阶段，模型在海量文本数据上学习语言的基本规律和世界知识，这一阶段通常需要数千张GPU运行数周甚至数月，成本可达数百万乃至上亿美元；然后是后训练阶段，在预训练模型的基础上，通过相对少量但高质量的数据对模型进行行为调整和能力增强。后训练之所以成为当前AI应用落地的关键环节，是因为预训练模型虽然拥有广泛的知识，但其输出往往不够精准、不符合特定业务需求，甚至可能产生不安全的内容。后训练正是弥合"通用能力"与"专业应用"之间鸿沟的桥梁。

SFT（监督微调）

监督微调（Supervised Fine-Tuning）是最常见的模型定制方法，通过高质量的指令-响应对数据来调整模型行为，使其更好地适应特定任务或领域需求。其工作原理是向模型展示大量"输入-期望输出"的示例，通过反向传播更新模型参数，使模型学会在类似输入下产生符合预期的输出。例如，一家医疗公司可以用数千条医学问答对数据对模型进行SFT，使其在医学领域的回答更加专业和准确。SFT的效果高度依赖训练数据的质量——少量高质量数据往往比大量低质量数据更有效，这也是业界常说的"数据质量大于数据数量"原则的体现。

DPO（直接偏好优化）

DPO（Direct Preference Optimization）是一种对齐技术，通过人类偏好数据直接优化模型输出，无需训练额外的奖励模型。相比传统的RLHF（基于人类反馈的强化学习）方法，DPO更加简洁高效。

要理解DPO的价值，需要先了解它所替代的RLHF流程。传统RLHF包含三个步骤：首先进行SFT，然后用人类偏好数据训练一个独立的奖励模型（Reward Model），最后用PPO（近端策略优化）等强化学习算法，以奖励模型的评分为信号来优化语言模型。这个流程虽然有效——ChatGPT的成功很大程度上归功于RLHF——但工程复杂度极高，奖励模型的训练不稳定，PPO的超参数调优也极具挑战性。

2023年由斯坦福大学研究团队提出的DPO方法巧妙地绕过了这些问题。DPO的核心洞察是：可以将奖励模型的训练和强化学习优化合并为一个单一的监督学习目标。具体来说，DPO直接使用"偏好对"数据（即对同一输入的两个不同输出，标注哪个更好），通过一个简洁的损失函数直接更新语言模型参数。这不仅大幅简化了训练流程，还避免了奖励模型可能带来的"奖励黑客"（reward hacking）问题，即模型学会欺骗奖励模型而非真正提升输出质量。正因如此，DPO正在迅速成为模型对齐领域的主流选择。

LoRA与全参数训练

在训练策略上，平台同时支持LoRA（Low-Rank Adaptation，低秩适配）和全参数微调两种模式。

LoRA的技术原理源自一个关键观察：大语言模型在微调过程中，参数的变化量（即微调前后的参数差值矩阵）通常具有很低的"内在秩"（intrinsic rank）。通俗地说，虽然模型有数十亿甚至数千亿个参数，但微调实际上只需要在一个低维子空间中进行调整。基于这一洞察，LoRA不直接修改原始模型的权重矩阵W，而是将参数更新分解为两个小矩阵的乘积：ΔW = A × B，其中A和B的维度远小于原始矩阵。例如，对于一个维度为4096×4096的权重矩阵，LoRA可能只使用两个4096×16的矩阵来表示更新，将可训练参数量从约1600万降低到约13万，减少了两个数量级。这使得原本需要多张高端GPU的微调任务可以在单张GPU上完成，极大地降低了训练成本和门槛。

LoRA通过这种低秩矩阵分解大幅降低训练成本，适合资源有限的场景或需要快速实验迭代的阶段；全参数训练则解冻模型的所有参数进行更新，提供最大的模型调整空间，适合需要深度定制的应用，例如让模型学习全新的领域知识或显著改变其行为模式。在实际应用中，许多团队会先用LoRA快速验证方案可行性，确认效果后再考虑是否需要全参数训练来进一步提升性能。

"训练即部署"的核心理念

Fireworks此次更新最值得关注的设计理念是："The model you train is the model you ship"（你训练的模型就是你部署的模型）。

这意味着训练和推理服务运行在同一基础设施上，消除了模型从训练环境迁移到生产环境时可能出现的兼容性问题、性能差异或额外的工程开销。在传统的模型开发流程中，训练和部署往往是割裂的：团队在一个环境中完成训练，然后需要将模型导出、转换格式、在新环境中加载和测试，这个过程中可能遇到框架版本不一致、量化精度损失、推理引擎兼容性等一系列问题。业界将这类问题统称为"训练-服务偏差"（training-serving skew），它不仅增加了工程成本，还可能导致模型在生产环境中的表现与训练时的评估结果出现偏差。

Fireworks AI作为一家专注于AI推理和模型服务的基础设施公司，由前Meta（Facebook）PyTorch团队的核心成员创立，在模型优化和高效推理方面积累了深厚的技术实力。公司此前主要以高性能推理服务著称，提供业界领先的推理速度和成本效率。此次将训练能力纳入平台，标志着Fireworks从单纯的推理服务商向全生命周期模型平台的战略转型。这种一体化平台的竞争优势在于：用户无需在不同供应商之间切换，训练完成后模型可以直接以最优配置进入推理服务，大幅缩短了从实验到上线的周期。

对于追求快速迭代的团队而言，这种一体化平台能够显著缩短从实验到上线的周期，将原本可能需要数天的部署流程压缩到几分钟内完成。

对开发者和企业的行业意义

这一动态反映了AI基础设施领域的几个重要趋势：

1. 训练与推理一体化：越来越多的平台开始提供端到端的模型生命周期管理，而非仅聚焦于推理服务。这一趋势的背后是企业客户的实际需求驱动——当模型定制成为常态而非例外时，将训练和推理割裂在不同平台上会带来巨大的管理复杂度和效率损失。类似的趋势也出现在云计算的早期发展中：最初计算、存储、网络是分离的服务，最终整合为统一的云平台才真正释放了生产力。

2. 开放模型生态成熟：随着高质量开放权重模型的涌现，围绕后训练和定制化的工具链需求日益增长。从Meta的Llama系列到Mistral、再到NVIDIA的Nemotron，开放权重模型的能力已经达到了可以在许多实际业务场景中替代闭源API的水平。这催生了一个庞大的"模型定制"市场——据估计，未来几年围绕开放模型微调和部署的市场规模将达到数十亿美元。

3. 降低定制门槛：通过平台化服务，即使没有大规模GPU集群的团队也能对顶级开放模型进行定制训练。这一点的意义不容低估：目前高端AI GPU（如NVIDIA H100/H200）供不应求，单张售价数万美元，构建一个能够训练大模型的GPU集群动辄需要数百万美元的投入。平台化服务通过资源共享和弹性调度，让中小团队也能按需使用这些昂贵的计算资源，真正实现了AI能力的民主化。

对于正在评估大模型定制方案的开发者和企业来说，Fireworks平台对Nemotron 3 Ultra的后训练支持提供了一个值得关注的选项——特别是对于那些希望在开放模型基础上快速构建差异化AI能力的团队。在选择方案时，团队需要综合考虑模型性能、训练成本、部署延迟、数据隐私合规等多个维度，而Fireworks的一体化方案在简化工程复杂度方面具有明显优势。