Karpathy谈氛围编程与智能体工程：程序员的范式大转变

引言：从未如此落后的感觉

Andrej Karpathy——OpenAI联合创始人、Tesla Autopilot的缔造者、"Vibe Coding"概念的提出者——最近在一次访谈中坦言，他从未感到自己作为程序员如此"落后"。这位以将复杂技术概念变得通俗易懂而闻名的AI先驱，分享了他对软件开发范式根本性转变的深刻洞察。

去年12月，Karpathy在使用最新的AI代理工具时经历了一个"顿悟时刻"：模型生成的代码块开始持续正确，他甚至记不起上一次需要手动修正是什么时候。从那时起，他完全信任了这个系统，开始了真正的"氛围编程"。他的副项目文件夹迅速膨胀，充满了各种随机项目。

软件3.0：提示词即编程的全新计算范式

Karpathy提出了一个清晰的演进框架：

• 软件1.0：程序员编写显式规则代码
• 软件2.0：通过数据集和训练神经网络来"编程"
• 软件3.0：编程变成了提示词（Prompting），上下文窗口成为你操控LLM这个"解释器"的杠杆

这一框架并非凭空而来。Karpathy早在2017年的博文《Software 2.0》中便系统阐述了软件1.0到2.0的范式转变：软件1.0是传统的命令式编程，程序员用Python、C++等语言显式编写每一条逻辑规则；软件2.0则是用神经网络权重来"编写"程序，开发者不再直接写规则，而是通过构建数据集、设计损失函数、运行反向传播来"训练"出期望的行为。如今他提出的软件3.0，是在大语言模型（LLM）出现后的进一步延伸：自然语言提示词本身成为编程介质，LLM充当通用"解释器"，而上下文窗口——即模型单次能处理的文本长度，现已从早期的4K token扩展到Gemini 1.5 Pro的百万token量级——成为程序员操控这个解释器的核心杠杆。三个范式并非互相取代，而是叠加共存，但重心正在快速向3.0迁移。

上下文窗口本质上是LLM的"工作记忆"——模型在生成每个token时能够"看到"并参考的全部信息范围。这一扩展使得AI代理（AI Agent）架构成为可能：代理不再只是单次问答，而是能在持续的上下文中维持任务状态、调用外部工具（代码执行器、网络搜索、文件系统）、观察执行结果并据此规划下一步行动，形成"感知-规划-行动"的循环。

他举了一个极具说服力的例子：OpenClaw的安装不再是一个复杂的Shell脚本，而是一段需要复制粘贴给AI代理的文本。代理凭借自身的智能，能够观察你的环境、执行智能操作、在循环中调试问题——整个过程在上下文窗口中动态展开，上下文窗口的大小直接决定了代理能处理的任务复杂度上限。"给你的代理复制粘贴什么文本——这就是现在的编程范式。"

MenuGen的启示：很多代码根本不应该存在

更极端的例子是他的MenuGen项目。最初，他编写了一个完整的应用程序来拍摄餐厅菜单照片、OCR识别菜品名称、用图像生成器生成菜品图片。但软件3.0版本令他震惊：只需将照片交给Gemini，让它用图像生成模型直接在菜单图片的像素中渲染出菜品图像。

"我所有的MenuGen代码都是多余的。它在旧范式中工作。这些应用不应该存在。"

这不仅仅是编程变快了——这是全新的信息处理能力。比如他的LLM知识库项目，能让LLM为组织创建Wiki，这在以前根本不可能存在，因为没有任何代码能基于一堆事实创建知识库。

可验证性：理解AI能力的锯齿状边界

Karpathy花了大量时间思考"可验证性"这个概念。他的核心观点是：传统计算机能轻松自动化你能在代码中指定的东西，而LLM能轻松自动化你能验证的东西。

前沿实验室训练LLM时使用的是巨大的强化学习环境，模型在可验证领域（如数学和代码）表现出色，但在其他领域则呈现出"锯齿状"的能力分布。这一现象根植于当代前沿模型的训练方法——基于人类反馈的强化学习（RLHF）及其后继者RLAIF和过程奖励模型（PRM）。强化学习的核心机制是奖励信号：模型生成输出，环境给出奖励或惩罚，模型据此调整策略。数学题有标准答案、代码有编译器和测试用例——这些领域的奖励信号清晰、客观、可自动化，因此模型能在海量自我对弈中快速迭代提升。OpenAI的o系列模型、DeepSeek-R1等"推理模型"正是通过大规模强化学习在这类可验证任务上取得了突破性进展。反之，"步行去50米外的洗车店"这类常识判断，既无明确的正确答案，也难以构建自动化奖励函数，模型的表现便高度依赖预训练数据中的统计分布，形成那条令人啼笑皆非的"锯齿状