吴恩达新课解读：OpenAI O1推理模型使用指南与实战技巧

课程背景：从链式思维到推理时扩展

吴恩达（Andrew Ng）与OpenAI AI解决方案负责人Colin Jarvis联合推出了一门新的短课程——《Reasoning with O1》，系统讲解如何高效使用OpenAI的O1推理模型。这门课程延续了Deeplearning.AI一贯的通俗易懂风格，从基础概念到实战应用，帮助开发者掌握这一具有里程碑意义的模型。

回顾历史，在Deeplearning.AI的第一门短课程中，OpenAI的Iza Fulford曾教授如何通过提示词技巧（Prompting）来优化GPT-3.5的表现，其中最核心的技术就是链式思维（Chain of Thought）——通过指令让模型"一步一步思考"，而非直接给出答案。

这一技术源自2022年Google Brain团队Jason Wei等人发表的经典论文《Chain of Thought Prompting Elicits Reasoning in Large Language Models》。其核心思路是：在提示词中提供一个将复杂问题拆解为简单步骤的示例，模型在回答时就会模仿这种逐步推理的方式，从而显著提升解题成功率。

链式思维prompting之所以成为2022年大语言模型领域最具影响力的技术发现之一，是因为它解决了一个长期困扰研究者的问题：大语言模型在面对需要多步推理的数学题、逻辑题时表现不佳——模型倾向于直接"跳"到答案，而非经历中间推理步骤。Wei等人的突破性发现在于：只需在few-shot示例中展示推理的中间步骤，模型就会自动模仿这种逐步推理模式。例如，在解决"Roger有5个网球，又买了2罐各3个的网球，他现在有多少个？"这类问题时，示例中展示"5+2×3=11"的推理过程，模型在面对新问题时也会展开类似的步骤化推理。这一技术在GSM8K数学基准测试上将PaLM 540B的准确率从17.9%提升至58.1%，效果惊人。

O1模型的核心突破：自主推理与推理时扩展

OpenAI的O1模型将链式思维提升到了一个全新的层次。与以往需要用户在提示词中手动引导"逐步思考"不同，O1通过强化学习（Reinforcement Learning）微调，使模型能够自主地将链式思维融入其响应过程。

O1所采用的强化学习微调与传统的监督微调有本质区别。监督微调是让模型模仿人类标注的"标准答案"，而强化学习微调则是让模型通过试错来学习最优策略。具体而言，OpenAI可能采用了类似于RLHF（Reinforcement Learning from Human Feedback）但更侧重推理过程的训练方法：模型生成多条推理链，系统根据最终答案的正确性给予奖励信号，模型逐渐学会哪些推理策略更有效。这种方法的关键优势在于，模型不仅学会了"什么是正确答案"，更学会了"如何找到正确答案"的思维过程。这也是为什么O1能够自主产生链式思维，而不需要用户在提示词中显式引导。

课程中Colin Jarvis特别强调，O1当前的性能固然令人印象深刻，但其真正具有长期意义的突破在于推理时扩展（Test Time / Inference Time Scaling）。OpenAI发现O1的性能可以通过两个维度持续提升：

• 训练时计算（Train Time Compute）：更多的强化学习训练带来更好的基础能力
• 推理时计算（Inference Time Compute）：模型在回答问题时花更多时间"思考"，性能就越好

这意味着我们获得了一个全新的LLM性能扩展维度。过去我们主要通过增大模型参数量和训练数据来提升性能（即训练时扩展），而现在，即使模型本身不变，仅仅通过增加推理时的计算量，就能获得显著的性能提升。这一范式转变对整个AI行业的影响深远。

要理解这一突破的深远意义，需要回顾传统Scaling Law的局限。2020年OpenAI的Kaplan等人提出的经典Scaling Law主要关注训练阶段：模型参数量、训练数据量和训练计算量三者之间存在可预测的幂律关系。这条路径虽然有效，但正面临数据枯竭（高质量互联网文本已接近被"用尽"）、能耗飙升和硬件瓶颈等现实挑战。推理时扩展提供了一条互补路径：通过让模型在推理阶段进行更多的"内部思考"——例如生成更长的推理链、探索多条推理路径、进行自我验证和回溯——来提升输出质量。这类似于人类面对难题时"多想一会儿"就能得到更好答案的直觉。从经济学角度看，推理时计算是按需消耗的，只在需要高质量输出时才投入额外算力，而训练时计算则是一次性的固定投入，这使得资源分配更加灵活高效。

课程核心内容：从提示词到多模型协作

课程涵盖六大核心模块，层层递进：

O1模型概览与适用场景

O1并非适用于所有场景。课程首先帮助学习者判断什么任务适合O1，什么时候应该选择更小、更快的模型，或者将不同模型组合使用。这种务实的选型思维非常重要——并非最强的模型就是最好的选择。

O1提示词工程的新范式

O1的最佳提示方式与早期模型有很大不同。 这一点值得特别关注。过去我们习惯的各种提示词技巧（如手动添加"请一步步思考"）在O1上可能不再必要甚至适得其反，因为模型已经内置了自主推理能力。课程将详细讲解如何针对O1调整提示策略。

复杂多步任务的规划能力

课程通过一个供应链物流优化的实战案例，展示如何用O1作为"编排者（Orchestrator）"进行任务规划，同时用GPT-4o作为"执行者（Worker）"完成具体任务。这种O1规划 + 轻量模型执行的架构模式，在成本和效果之间取得了很好的平衡。

这种编排者-执行者架构模式，本质上是软件工程中"关注点分离"原则在AI系统中的体现，在业界也被称为"Agentic Architecture"（智能体架构）。在这种架构中，O1作为编排者负责理解全局目标、分解任务、制定执行计划和处理异常情况——这些都是需要深度推理的高认知负荷任务。而GPT-4o-mini等轻量模型作为执行者，负责完成具体的、相对标准化的子任务，如文本生成、数据提取、格式转换等。这种分工的经济效益显著：O1的API调用成本远高于轻量模型（通常高出10-50倍），如果所有任务都用O1处理，成本将极其高昂。通过让O1只处理最需要推理能力的规划环节，整体成本可以降低一个数量级，同时保持接近全O1方案的输出质量。

代码生成与图像推理

O1在编程任务上表现极为出色，课程将展示其代码生成能力。

图像理解一直是AI落地生产环境的难点，但O1在视觉推理任务上展现了前所未有的性能水平。课程将带领学习者体验这一突破性的视觉推理特性。

元提示技术：用AI优化AI

最后一个模块教授如何用O1来生成和优化提示词本身——即所谓的"元提示（Metaprompting）"技术。这是一种用AI优化AI的高阶技巧，让O1的推理能力反哺提示词工程。

元提示技术代表了提示词工程从手工艺向自动化演进的重要一步。传统的提示词工程高度依赖人类专家的经验和直觉——工程师需要反复试验不同的措辞、结构和示例，才能找到效果最佳的提示词。元提示则利用O1强大的推理能力来自动化这一过程：开发者描述目标任务和期望输出，O1分析任务特点后生成优化的提示词，甚至可以迭代改进。这种方法的理论基础在于，O1对语言模型的工作机制有隐式的"理解"——它知道什么样的指令表述能最有效地引导模型产生期望行为。在实践中，元提示已被证明在复杂任务上能生成比人类专家手写更有效的提示词，尤其是在需要精确控制输出格式和推理深度的场景中。

关键启示与实践建议

这门课程传递了几个对AI开发者至关重要的信号：

推理时扩展开辟了新的性能提升路径。 过去几年，AI领域的主旋律是"更大的模型、更多的数据"。O1的出现表明，推理阶段的计算投入同样是提升性能的有效杠杆。这为算力受限的场景提供了新的优化方向。

模型选型比模型能力更重要。 课程反复强调O1不是万能的，需要根据任务特点选择合适的模型。在实际生产中，O1负责规划、小模型负责执行的混合架构，可能是最具性价比的方案。

提示词工程在进化而非消亡。 虽然O1内置了自主推理能力，但提示词工程并没有变得不重要，而是需要适应新的范式。理解模型的工作方式，才能写出最有效的提示词。

对于希望深入了解O1模型的开发者和AI从业者来说，这门免费课程提供了一个系统学习的起点。课程附带课件和代码，适合零基础到进阶学习者。

核心要点