构建LLM应用前必学的五个核心概念

如果你能开发普通软件，就能开始构建大语言模型（LLM）应用。但别急着打开API控制台。本文梳理了五个按顺序学习的核心概念：机器学习、LLM的本质、生成式AI与预测式AI的区别、提示工程、以及评估。每个概念都配有一个可以动手尝试的小练习，帮助你在依赖厂商SDK之前建立扎实的直觉。

一、机器学习：规则由数据学习而来

传统软件中，程序员编写规则。机器学习则反过来：你给模型看大量示例，训练过程调整模型，直到其预测与示例匹配。规则最终存在于学习到的参数中，而不是一份可读的文档里。深度学习是使用多层神经网络的机器学习分支，几乎支撑了近年来所有AI进展。大语言模型正是在文本上训练的深度学习模型。

一个关键的实践后果是：模型的表现取决于它学习的数据，并且在训练数据未覆盖的情况下可能自信地犯错。

动手练习：先写一个基于规则的欺诈检测函数（金额超过阈值且来自新国家），然后用一个手动设定权重的加权和替换规则。你并没有在训练模型，但能直观感受到“决策”本质上是数字，而这些数字只有相对于示例才有意义。

参数是模型内部可调整的数值，在神经网络中通常指权重和偏置。训练时，优化算法（如梯度下降）根据预测误差反复微调这些参数，使模型输出逐渐逼近训练数据中的目标。参数数量常被用来衡量模型规模，例如“70B”表示约700亿个参数。参数并不直接对应人类可读的规则，而是分布式地编码了数据中的统计规律，因此模型行为难以逐条解释，这也是其可能产生“自信错误”的根源之一。

训练/验证/测试集划分是评估机器学习模型泛化能力的基本实践。训练集用于调整参数，验证集用于选择超参数和早停，测试集只在最终评估时使用，以估计模型在未见数据上的表现。若三者混用，模型可能过拟合训练数据，导致在真实场景中性能下降。对于LLM应用，这一原则同样适用：用于提示工程调试的示例不应与最终评估集重叠。

二、LLM到底在做什么？

大语言模型将文本视为token，并根据之前的所有内容预测下一个token。重复这个过程，你就得到了一段文字。“大”指的是神经网络参数规模以及预训练时学习的文本量。后训练则教会它遵循指令、进行对话。

由于模型被构建为生成看似合理的文本，它可能同时做到流畅和错误。模型本身不知道知识截止日期之后的事件，也不知道你的私有数据。大多数有用的产品会在模型外包装更多东西：检索文档、工具、记忆和检查机制。

Scaled Cognition联合创始人兼CTO Dan Klein认为，人们使用的是“合理性引擎”：它们逐token组装看似合理的输出。这是快速获得原型的好方法，但很难保证行为。

动手练习：给自己一个四词词汇表和一个返回最高分下一个token的函数。从一个固定前缀开始循环十次。阅读得到的字符串，注意循环中没有任何步骤将句子与事实来源进行核对。

Token是LLM处理文本的基本单位，可以是一个词、子词或字符。分词器（tokenizer）将原始文本切分为token序列，模型再为每个位置计算下一个token的概率分布。不同模型使用不同的分词方案，这会影响上下文窗口的利用效率和某些任务的表现（如数字运算、罕见词处理）。理解token有助于解释为什么模型对字符级操作（如反转字符串）可能表现不佳，以及为什么API按token计费。

知识截止日期指模型预训练数据收集的时间点。此后发生的事件、新出现的事实或私有数据均不在模型参数中。模型无法主动感知截止日期后的信息，除非通过检索增强生成（RAG）或工具调用在推理时注入外部知识。在构建应用时，必须明确哪些问题依赖模型内部知识、哪些需要外部数据源，并对时效性内容设计兜底策略。

三、生成式AI与预测式AI的区别

2022年之前，商业中的AI大多是预测式的：模型查看输入并返回标签或数字，比如欺诈与否、需求预测。生成式AI则产生新内容：段落、图像、歌曲、代码块。大语言模型生成文本，图像、音频和视频模型生成媒体，多模态模型同时处理多种类型。

生成式AI和智能体AI相关但不同。生成模型在被要求时产生内容；智能体使用生成模型来规划并采取行动，调用工具并沿途检查结果。建议先熟悉生成器，再尝试构建智能体。

动手练习：拿一张简短的客服工单，从两个独立函数返回两个值。一个是标签（如账单或访问），这是旧的预测任务；另一个是草拟回复，这是生成任务。如果把两者混在一个返回值中，你会开始把类别猜测当作最终答案。

智能体（Agent） 是围绕生成模型构建的系统，它不仅能生成文本，还能根据目标规划步骤、调用外部工具（如搜索、计算器、API）、观察结果并迭代调整。与单次生成不同，智能体通常包含循环控制、工具选择、记忆管理和错误处理等组件。智能体的可靠性高度依赖底层生成模型的质量和评估机制，因此在构建智能体之前，先掌握生成模型的基本行为和局限是必要的。

四、提示工程：措辞、示例与格式

提示工程是指令本身的手艺：如何措辞任务、包含什么示例、要求什么格式、如何组织结构。更清晰的提示会产生更好的输出。它是每个人首先使用的杠杆，仍然重要。

但不要将巧妙的措辞视为系统的取胜之地。随着模型越来越擅长理解意图，措辞不再是持久优势，而是基本门槛。过去隐藏在口号中的工作，现在转移到你提供的文档、历史和工具，以及系统跨任务记住的内容上。后来会学到这些名字：上下文和记忆。

Dan Klein将提示描述为一种控制界面，这符合其局限：提示没有精确语义，也没有保证。如果模型忽略你，重写、大写字母和额外感叹号都是弱手段。

动手练习：一个任务，三个提示。一个裸指令；同一指令加一个示例；同一指令加必需格式（例如包含两个字段的JSON对象）。保存所有三个输出。你在练习措辞、示例、格式和结构，这就是上述全部手艺。

五、评估：一致性比平均准确率更重要

Dan Klein认为，“我正确了多少场景”是错误的发布问题。他想知道的是，对于多少场景，系统每次都能正确，包括连续一百次。在他看来，一个正确率约80%或90%的系统仍然不可发布，如果十分之一的客户被告知航班已预订而实际没有。一个70%的场景每次都能正确的系统更有价值，因为这种一致性可以放入产品。

他还认为，在上面加第二个模型来检查第一个是弱修复。两者都可能出错，而且往往在相同的困难案例上失败，所以他估计80%检查80%最终约为82%。增加更多检查器会让堆栈变得昂贵且缓慢。

你的第一个检查可以比基准测试套件更小：冻结输入，多次运行调用，记录输出是否一致，以及是否匹配你已知的事实。流畅性不是这个检查。

在阅读清单上，AI, decoded页面分为五个级别。如果你在构建，请浏览Level 1（LLM如何工作、为什么成本如此、为什么编造内容），然后浏览Levels 4和5，其中评估作为构建者的问题出现。之后，使用Start here：关于智能体、评估、智能体记忆、AI基础设施和在真实产品中发布AI的五集内容。

基准测试（Benchmark） 是标准化的评估数据集和指标，用于比较不同模型或系统在特定任务上的表现。常见基准包括MMLU（多学科知识）、GSM8K（数学推理）、HumanEval（代码生成）等。然而，基准分数高并不等同于产品可靠：基准通常覆盖有限场景，且可能被训练数据污染。对于具体应用，构建反映真实使用场景的定制评估集，并关注一致性（同一输入多次运行结果稳定），比追逐公开基准更有实际意义。

实践清单

• 将机器学习视为示例和参数，并预期在数据之外出现自信错误。
• 将段落理解为重复的下一个token预测，伴随幻觉、知识截止日期，除非你提供，否则没有私有数据。
• 将预测标签和生成草稿保留在独立函数中。
• 练习措辞、一个示例和固定格式，然后转向上下文和记忆。
• 在信任单个流畅答案之前，重复一个冻结输入并与已知事实比较。

以上内容基于Chain of Thought播客及相关术语表的讨论整理，更多资源可在其网站找到。