开源模型能追上OpenAI吗？Nathan Lambert深度解析

在AI领域，一个持续被追问的核心问题是：开源权重模型能否跟上OpenAI、Anthropic等闭源前沿实验室的步伐？AI2前博士后、知名AI评论者Nathan Lambert在其新实验室Trillium发布之际，与主持人展开了一场围绕算力、数据、人才与蒸馏的深度对话。本文提炼其核心观点，并结合多方视角交叉验证。

二、算力、数据与人才：前沿模型的三重资本

Nathan将模型进步归结为三种资本形式：算力、数据和人才。他认为OpenAI、Anthropic、Google等闭源前沿实验室在这三种资源上占据明显优势，而真正的差异在于组织能力——如何让组织架构服务于模型构建。

“让组织架构适配模型构建非常困难，这就是为什么公司有时不得不从底层彻底重置，而重置之后有时候真的奏效。”他以Meta为例，称其完全重置后已重回正向轨迹。

Nathan特别指出，OpenAI“启动了推理模型革命，那条推理扩展定律的漂亮曲线堪称OpenAI的巅峰时刻”，而Anthropic则长期聚焦编码能力，最终以Claude Code的爆发获得回报。两家公司代表了微妙不同的文化：一家擅长改变所有人的思考方式，另一家则深度押注模型能做什么。

三、中国开源实验室的真实动机：务实的商业化策略

Nathan对中国开源模型崛起的解释相当直白：这是务实的商业化选择，而非利他主义。

“中国公司进入这个领域，是因为他们想拥有一家真正重要的公司。如果他们在国内构建模型并尝试卖API，没人会知道他们。很少有人知道月之暗面，知道阶跃星辰的人更少。”他补充说，这些公司跟随舆论场，清楚美国市场存在巨大付费需求，因此发布开源模型是“走捷径进入对话”的方式。

他明确否认政府介入的说法：“并不是政府参与，他们只是想创办一家创业公司。”

在人才层面，Nathan认为中国在人才上绝不逊色：“说中国在人才上不平起平坐，你会很难站住脚，他们有太多人接受着高水平训练。”真正的短板是算力。

“你告诉中国一位顶尖预训练研究员，OpenAI普通研究员随时能调用相当于5000张H100的算力，他的下巴会掉到地上。”

四、蒸馏到底是不是中国模型的“主要杠杆”？

外界普遍将蒸馏视为中国开源模型快速追赶的主要手段。Nathan认为这种叙事有一定依据，但被过度简化。

“以前的后期训练更依赖监督微调，你拿最强模型生成补全，在上面做下一token预测损失，只要拿到正确的提示词，模型就会相当不错。提示词一直是后期训练的关键单元。”但如今后期训练已转向以强化学习环境为主，把“拿到补全、分数上涨”映射到今天的推理训练并不容易。

他给出两个反向证据。第一，在完全开放的后期训练文献中，开源模型构建者仍困在使用过时的Qwen模型上，因为无法解决“教师模型”问题。“我的假设是，中期训练和某些公开预训练数据中存在某种东西，使得‘从最强模型获取推理轨迹做SFT然后分数上涨’这件事很难成立。”第二，即便拿到Claude的推理轨迹，他判断也未必能让模型显著变好。

但他同时指出另一面：“中国存在大量API代理和模型代理，token使用量巨大，有中间商、大量账号，甚至有Kimi在产品中向用户提供Claude服务的情况。”这些现象让他对“蒸馏不是大因素”的结论保留误差棒。

图片展示了开源数据如何影响特定基准与数据集的使用。

知识蒸馏（Knowledge Distillation） 是一种模型压缩与迁移技术，核心思想是让一个较小的“学生模型”模仿一个较大“教师模型”的输出分布或中间表示，从而以较低成本获得接近教师模型的性能。在LLM语境下，蒸馏通常指用强模型生成的高质量补全、推理轨迹或偏好数据对弱模型进行监督微调（SFT）或强化学习训练。传统蒸馏依赖教师模型输出的软标签（logits）或文本补全，而在推理模型时代，蒸馏对象扩展到了思维链轨迹。蒸馏之所以被视为追赶捷径，是因为它绕过了昂贵的预训练和RL环境构建，直接利用前沿模型的“智能输出”作为训练信号。但其有效性受限于教师模型覆盖的任务分布、学生模型容量以及数据质量，且可能引发服务条款与知识产权争议。

五、Jensen的“竞争论”与闭源实验室的困局

对话中引用了英伟达CEO黄仁勋的观点：“人们每天都在蒸馏我的产品，把它拆到最原始的零件，测试一切，这叫竞争。”Nathan对此表示同情。

他分析了闭源实验室的飞轮：投入巨资获取算力、达到前沿、转化为可预测的营收、再融资、循环。“任何威胁这个飞轮运转的东西，都是对整个AI行业的巨大威胁。”但他认为对蒸馏采取监管行动弊大于利：“他们不会停止，开源社区和创业社区从中获益很大。我不认为了解你的客户对任何人有好处，我也不明白为什么要把政府卷入一场服务条款违规——服务条款甚至不是已签署的合同，你能做的就是取消访问权限。”

六、开放与闭源的经济学：不同的指数时间尺度

Nathan提出一个关键判断：开放与闭源模型处在不同的指数时间尺度上。闭源实验室高度整合，拥有高效推理、规模化服务能力和资源规划能力，能率先进入高价值市场——编码就是今年的典型故事，收入从零到千亿美元级。

开源模型生态则更慢：模型构建者、推理公司、后期训练公司之间信息流动不畅，缺乏规模经济。但终点是“真正的所有权：模型权重、无条款限制”，企业可以基于自身硬件条件构建模型并获得投资回报。

“开放模型经济需要更长的时间建设，我不太担心它出现泡沫式崩塌。”

在可验证领域之外，Nathan认为数据购买是前沿进步的核心杠杆之一。“很多前沿领域（生物、医疗、法律）不可完全验证，这更接近开源故事。当我与前沿实验室的人交谈，有些人的工作就是制作数据集、确定模型在该领域的行为、弄清楚需要买什么数据。这需要数年、跨越不同行业，且资本密集。”

在他看来，数据行业存在大量低垂果实：质量参差、运营安全粗糙，海外承包商经中间商上传GitHub等乱象频出。但实验室学习速度快，未来几年将经历优胜劣汰的过渡。

七、Trillium的使命：为RSI祛魅

Nathan的新实验室Trillium定位为非营利开放实验室，核心工作是构建高杠杆任务的开源RL环境，并公开RSI（递归自我改进）的工具栈与轨迹。

“RSI有太多神秘色彩。我们能做的是构建SFT和中期训练的开源栈，使用SkyRL、Miles等工具，公开我们的任务、配置、用了多少算力、与Claude和GPT如何协作，存储我们所做事情的轨迹。做一年，然后每六个月检查一次：情况变了吗？”

他以TMax工作为例：用前沿模型生成终端任务、多提示生成多样性、用模型展开发现并消除有bug的数据。整个过程“不神奇”，但需要数千到数万美元的投入，愿意这样做的机构并不多。“你可以把这数据卖一百万美元，然后发布论文。”

Trillium的名字取自延龄草——一种在树冠长叶前开花的春季短命植物，为春夏生长周期传递养分。“AI行业有太多做对了的地方，我们只是需要多一点生命，把养分扩散出去，让新的人能进来。”

RSI（Recursive Self-Improvement，递归自我改进） 指AI系统能够自主改进自身的算法、架构或训练流程，从而在无需人类干预的情况下实现能力迭代加速。这一概念与“快速起飞”（fast takeoff）假说紧密相关：若模型能显著加速AI研发本身，则可能触发智能爆炸。当前讨论中的RSI更多指模型在RL环境中自动生成任务、筛选数据、优化训练配置的闭环能力，而非完全自主的架构搜索。Nathan Lambert强调RSI的神秘化源于缺乏透明工具栈和可复现轨迹，Trillium的目标正是通过开源RL环境、公开任务配置与算力使用情况，将RSI从思辨话题转变为可观测、可检验的工程问题，从而让社会对风险有更知情的判断。

八、RSI、快速起飞与真正的风险

对于快速起飞，Nathan持谨慎态度。“所有扩展定律都是算力指数增长换取性能线性提升，这让我很难押注相反方向。”他引用某些系统卡的说法：要实现快速起飞，需要10倍以上的进展。“就目前而言，确实需要10倍以上。而且这在帮助我们维持进步速度。”

但他强调，不担心快速起飞不等于不担心风险。“更让我担心的不是RSI带来新风险，而是已经存在并持续扩散的风险。闭源实验室先到，然后开源实验室再到，很多事情都会造成问题。让社会做好准备非常困难。”

他主张更多眼睛、更多科学，让社会感到知情。

九、预训练的门槛与新的进入者

Nathan认为预训练科学本身门槛并不高：“你不需要花十亿美元就能得到一个很好的基础模型。花得越多效果越好，但人们不断取得进展，我经常被新实验室从零开始的能力震惊。”

许多新创公司基于Megatron等开源工具分叉后不再向上游回馈，但这也意味着新进入者不必被十亿美元门槛吓退。真正的难关是让第一个模型“落地”——Thinking Machines公开承认首款模型并非最强，但透明发布后继续推进第二款模型和Tinker平台，如今已站稳脚跟。

图片展示了新创公司基于开源工具训练模型的场景。

他也提到有传闻称Meta将再次发布新的开放权重模型，并引用扎克伯格在Llama 3发布时关于“开放是前进之路”的博文。“他似乎正在回归光明，希望他们保持这个动力。”

Megatron 是英伟达提出的开源大规模Transformer训练框架，支持张量并行、流水线并行和数据并行，是许多大模型预训练的基础设施之一。基于Megatron等开源工具分叉（fork）后，新进入者可以复用成熟的分布式训练代码，大幅降低工程门槛。然而，分叉后不再向上游回馈意味着生态碎片化，各团队需自行维护并行策略、数值稳定性和硬件适配。Nathan Lambert指出，预训练科学本身的门槛并不高，真正的挑战在于组织首个模型的完整落地流程——从数据配比、训练稳定性到评估部署。Thinking Machines的案例表明，透明发布非最强首款模型并持续迭代，可以逐步建立能力与信誉，这为资金有限的新实验室提供了可行路径。

十、开放生态的贡献者与新的挑战

对话最后涉及开源社区的新变化。Nathan提到AI agent让GitHub issue质量参差，有人用语言模型生成虚假研究结论。“这是开放社区要经历的新事，但这是可解决的问题。有来自东欧的人帮我改进书的代码，纯粹出于正确的原因。”

他感慨，如今大多数人按一个按钮就发送，而“坐进去、手写代码、坚持数月、等待6到18个月被注意到，才是进入AI的关键。AI agent正在打碎这个过程，让事情对人们更难。”但学术界的优秀工作仍在继续，问题可以逐步解决。

结语

Nathan Lambert的核心判断可以概括为：开源模型不会消失，但开放与闭源处在不同的指数时间尺度上；蒸馏被高估为单一杠杆，却被低估为需要严肃研究的开放课题；算力是真实瓶颈，但预训练并非不可逾越；RSI的神秘化应当被开放工具栈和可复现轨迹祛魅。对关注AI竞争格局的人来说，这些观点提供了一份克制而具体的观察框架。