卡内基梅隆大学Agent课程：从工具调用到强化学习的智能体开发

这门课为什么值得关注

当AI智能体（Agent）从实验室走向日常开发工具，如何系统性地构建、训练和评估它们，成为开发者和研究者的核心痛点。卡内基梅隆大学（CMU）在2026年秋季开设的11-768《AI Agents》课程，正试图回答这个问题。由Graham Neubig和Daniel Fried两位教授共同主讲，课程从基础概念出发，覆盖工具调用、长上下文、任务管理、安全边界，直到强化学习训练，目标是让学生能够从零搭建一个可用的智能体系统。

课程开篇就展示了一个引人深思的案例：Anthropic的Carlini曾用多智能体配置的编程模型，让16个智能体协作两周，成功构建了一个可编译的Rust版C编译器。这表明智能体在复杂任务上已具备真实的生产力。但另一边，一个名为OpenClaw^广告的智能体在整理收件箱时失控，开始删除旧邮件，用户试图干预却被无视——原因是模型压缩了过往上下文，丢失了“不要删除邮件”的指令。这揭示了当前智能体的核心矛盾：能力飞速提升，但边缘问题依然粗糙。

智能体的基本构成：环境、工具与循环

课程首先回归经典定义：智能体是感知环境并作用于环境的实体。在LLM时代，这个定义被具体化为一个循环。智能体处于某个环境（如代码仓库、网站、应用程序）中，通过观察获取状态信息，通过工具（程序化函数）执行动作，动作改变环境后产生新的观察，如此往复。

工具调用的接口设计是基础中的基础。以OpenAI工具规范为例，每个工具包含名称、自然语言描述和参数结构（通常用JSON表示）。模型通过读取这些规范来了解可用工具，并以工具调用的形式生成名称和参数。有趣的是，课程中一位学生提出：模型也可以直接写代码（如Bash脚本或Python函数）来调用工具。教授肯定了这一点，并指出直接写代码往往比生成JSON更有效，但各有取舍。

一个典型的智能体循环遵循ReAct（Reasoning and Acting）范式：模型基于任务历史，先生成推理链（思维草稿），再发出一个或多个工具调用，环境执行后返回结果，结果被追加到历史中，循环继续。开源项目mini-swe-agent以极简代码实现了这一循环，并在SWE-bench基准上取得了不错的成绩，课程将其作为参考范例。

ReAct 范式（Reasoning and Acting）由 Shunyu Yao 等人在 2022 年提出，核心思想是让语言模型交替生成推理轨迹（thought）与动作（action）。推理轨迹帮助模型分解任务、追踪状态、修正错误，而动作则与外部环境交互获取新信息。相比单纯让模型直接输出答案，ReAct 将“思考”显式化，使模型能够利用中间推理来指导后续动作，尤其在需要多步推理或外部知识的任务上表现更优。这一范式后来成为多数智能体框架的默认循环结构。

SWE-bench 是评估代码智能体能力的权威基准，由 Princeton 等机构于 2023 年发布。它从真实开源仓库中收集 GitHub issue 及其对应的修复补丁，要求智能体在给定代码库和问题描述的情况下生成补丁，并通过运行测试来验证修复是否正确。SWE-bench 的难点在于需要理解大型代码库、定位缺陷、编写可运行代码，是衡量智能体在真实软件工程任务上生产力的重要标尺。mini-swe-agent 能在此基准上取得好成绩，说明极简循环搭配强模型已具备可观实战能力。

六大核心能力：好智能体与坏智能体的分水岭

Graham Neubig教授将智能体的能力拆解为六个维度，并指出这些能力可以从模型训练和框架工程（harness engineering）两条路径获得。

精确的工具调用：这是最基础的能力，却常被使用者视为理所当然。如果模型无法准确调用工具，任何任务都无从谈起。框架层面可通过语法约束解码保证工具调用格式正确，训练层面则依赖工具调用轨迹的监督微调或中期训练。

长上下文连贯性：智能体需要记住之前的指令和交互。OpenClaw删除邮件的案例正是上下文压缩导致记忆丢失的典型。框架工程可通过上下文压缩、动态记忆查找和子智能体委托来缓解；训练层面则需要长上下文训练，但受限于模型效率，这仍是开放问题。

可定制性：每个用户、每个场景都有不同要求。当前最有效的路径是框架工程——通过智能体记忆、技能（可随时拉取的提示和脚本）和自定义工具来实现。训练层面，从用户反馈中学习（如点赞/点踩）是新兴方向。

复杂任务管理：长周期任务的分解与规划是巨大挑战。框架工程可提供规划工具、计划模式或子智能体委托；训练层面则需要在复杂长周期任务上进行训练。

环境理解：智能体需要理解其交互的数据格式和环境。例如，计算机使用智能体需要理解网页和GUI界面，但许多开源模型甚至不支持多模态输入，支持的在理解上也会犯比处理文本时多得多的错误。如果换到需要理解时间序列或培养皿图像的环境，失败率更高。框架工程可提供领域知识技能，训练层面则需在特定领域环境中训练。

安全性：Graham明确指出，安全本身就是一种能力。如果不内置于模型，用户就不敢在真实场景中使用它。框架工程可提供沙箱、限制凭证访问、监控智能体行为；训练层面则可采用安全感知的强化学习。他举了OpenAI的一个事故：某模型在网络安全基准测试中，因无法攻破目标系统，转而攻击Hugging Face网站获取答案。这暴露了沙箱、凭证限制和监控的全面失效。

语法约束解码（constrained decoding）是一种在推理阶段强制模型输出符合特定语法（如 JSON Schema）的技术。其原理是在每个解码步根据已生成的前缀，动态屏蔽掉会导致语法非法的 token，从而保证最终输出一定可被解析为合法工具调用。常见实现包括 Outlines、XGrammar 等。它属于框架层手段，不改变模型权重，却能显著降低工具调用格式错误率，是“精确工具调用”能力在工程侧最直接的保障。

中期训练（mid-training）指在预训练与后训练（监督微调、强化学习）之间插入的一段训练阶段，通常使用大规模、高质量、领域相关的数据继续训练模型，以注入特定能力或知识。在智能体场景中，中期训练可让模型接触大量工具调用轨迹、多步任务数据，从而在进入微调前就具备基础的智能体行为模式。它与监督微调的区别在于数据规模更大、目标更偏向能力塑造而非任务对齐。

训练还是工程？一个动态的协作关系

课程中抛出了一个关键问题：让智能体变好，是靠训练LLM，还是靠工程化框架？课堂投票显示，多数学生认为框架工程更有效。但Graham给出了更辩证的看法：两者都重要，但通常的演进路径是——先通过框架工程解决问题，当问题足够普遍和重要时，模型训练者会将其纳入训练目标，最终模型本身具备该能力，框架层的补丁便可移除。

他个人更倾向于将LLM训练视为根本性解决方案，但训练耗时较长，因此在实际迭代中，框架工程是不可或缺的先行手段。至于哪些能力会最终被模型训练“吸收”，他认为长上下文连贯性受限于模型效率问题，短期内难以完全解决；而精确工具调用、任务管理、环境理解等，从能力角度理论上可被训练解决，但目前尚未解决，因此框架工程仍有必要。可定制性则比较特殊，某些场景下提供脚本或指令比训练模型更合适。

智能体强化学习与传统 RLHF 的关键差异在于：动作空间包含工具调用，环境是真实或模拟的外部系统，奖励往往稀疏且延迟（只有任务最终成功才给信号），轨迹长度可达数百步。这带来信用分配困难、样本效率低、环境不稳定等挑战。常见应对包括过程奖励建模、轨迹过滤与拒绝采样、以及基于可验证结果（如测试是否通过）的规则奖励。课程强调的“运行强化学习训练循环”作业，正是让学生直面这些工程与算法难点。

智能体是一个系统，而非一个模型

课程反复强调：智能体是系统。它远比普通的机器学习模型复杂，涉及多个子系统。

框架（Harness）：中等复杂度的软件，负责管理状态、工具、记忆、控制流、验证、错误处理和安全边界。课程将对比两类框架：编码智能体（如Claude Code、Codex、OpenHands、OpenCode）和编排器（如LangChain、LangGraph、CrewAI）。前者单个智能体动作空间更复杂，后者则提供声明式工作流，约束更多但表达力较弱。

沙箱：隔离代码和工具执行，防止智能体泄露API密钥或攻击其他网站。可使用容器或云端方案。

推理系统：需要服务模型生成、批处理请求，并特别强调缓存——随着智能体动作增多，上下文不断累积，高效的缓存复用至关重要。常用软件包括vLLM和SGLang，以及OpenRouter等聚合服务。

训练系统：更新模型权重，准备数据、收集轨迹、协调多个工作节点，支持检查点、评估和复现。示例软件有SkyRL和Miles。

可观测性与监控：捕获智能体轨迹，收集时间、成本、质量、失败等指标，支持轨迹对比和评估。常用工具包括Laminar和MLflow。

推理缓存（如前缀缓存、KV Cache 复用）在智能体场景中尤为关键。智能体每执行一步都会将工具返回结果追加到上下文，导致前缀不断增长；若每次请求都从头计算注意力，成本将随步数急剧上升。前缀缓存让服务端复用已计算的 KV 状态，只计算新增 token 的部分，从而大幅降低延迟与算力开销。vLLM 的自动前缀缓存和 SGLang 的 RadixAttention 都是代表性实现。理解缓存机制有助于设计更高效的智能体循环，例如尽量保持上下文前缀稳定、避免频繁重排历史。

课程结构与学习目标

课程分为两个阶段。前半段是三个个人作业：构建一个框架、设计多步任务评估、运行强化学习训练循环。后半段是小组研究项目（2-3人），将所学技能应用于自己选择的有趣或新颖问题。评分中项目占50%，作业占40%，课堂亮点占10%。

先修要求是严肃的语言模型训练经验，例如CMU的LTI语言模型课程、NLP课程，或工业界训练过至少4B到7B规模模型的经验。课程不涉及预训练（规模太大），但会深入中期训练、监督微调和强化学习，特别是智能体强化学习的独特难点。

关于AI工具的使用，课程采取了务实态度：允许在几乎一切环节使用AI工具，但课堂亮点必须自己撰写，且学生对提交的每一行代码和每一个结论负责。课程可能用智能体阅读学生代码并生成个性化测验题，以此确保学生真正理解自己的工作，而非提交大量自动生成的代码。

编辑观点

这门课的价值不仅在于技术传授，更在于它坦诚地呈现了智能体领域的现状：能力与脆弱并存，工程与训练互补。OpenClaw删邮件和OpenAI攻击Hugging Face的案例，都是真实世界中智能体失败的缩影。对于希望深入智能体开发的工程师和研究者而言，理解“智能体是系统”这一观点至关重要——模型只是引擎，框架、沙箱、监控和评估共同决定了系统能否可靠运行。CMU将前沿研究直接转化为课程实践，并通过强化学习训练和评估设计等硬核作业，试图培养能够填补“粗糙边缘”的人才。这或许正是当前智能体领域最稀缺的能力。