词向量到大语言模型：AI 2.0技术演进全解析

从AI 1.0到AI 2.0：一次范式跃迁

当我们谈论ChatGPT、GPT-4这些名字时，实际上正身处一个被称为「AI 2.0」的时代。那么，什么是1.0，什么又是2.0？

大语言模型（LLM，Large Language Model） 出现之前的AI被归入1.0时代。这一阶段以各类NLP工程为代表，最大的特点是通用性差——模型往往只能完成单一任务，也被称为「窄AI」（Narrow AI）。最典型的例子是深蓝（Deep Blue）：它学习了海量国际象棋套路，最终战胜了人类象棋冠军，但只会下象棋，问它任何其他问题都无从回答。同期的代表还包括IBM的Watson（专为问答竞赛设计）以及早期的图像分类网络AlexNet——它们各自在垂直领域登峰造极，却无法跨越任务边界。

值得注意的是，这一时代的主流研究范式是「符号主义」：研究者相信只要将人类知识以规则和逻辑编码，机器便能产生智能。这一路线在封闭、规则明确的棋盘博弈中表现出色，却在开放世界的语言理解面前彻底失守——符号系统无法处理歧义、隐喻和常识，而穷举式的知识工程维护成本随领域扩展呈指数级膨胀。这正是此后「连接主义」（神经网络）路线得以崛起并最终颠覆AI研究范式的根本原因。

所谓的通用智能

AI领域真正的终极目标是AGI（通用人工智能）——像人类一样拥有智慧、能跨场景处理各类问题的智能体。AGI的概念最早由哲学家约翰·麦卡锡等人在1956年达特茅斯会议上提出——那是一次汇聚了香农、明斯基等顶尖学者的历史性研讨，与会者首次正式使用了「人工智能」这一术语，并乐观地预言十年内机器将能模拟人类所有智能行为。然而这一预言落空，此后数十年AI研究历经两次「寒冬」——第一次（1974—1980年）源于早期AI系统无法突破组合爆炸和常识推理的瓶颈，英美政府相继削减研究经费；第二次（1987—1993年）则因专家系统维护成本高昂、硬件算力不足而爆发。两次寒冬合计近二十年，直接导致大批研究者转行，「人工智能」一词甚至在学术圈一度成为忌讳。正是经历了这段漫长低谷，大语言模型的意义才显得格外深远：它能用人类语言与我们交互，并借助语言这一媒介扩展到几乎无限的应用场景。大语言模型的出现，第一次让研究者看到了一条可量化、可扩展的通往AGI的工程路径。正是这种「通用性」的突破，让业界相信沿着大模型这条路，或许真能一步步逼近AGI。

一切的起点：词向量技术

从技术演进的视角看，大模型的发展是一个「从点到面」的过程，而这个「点」，正是词向量（Word Vector）技术。

词向量的核心思想，是用数学中的「向量」来表示自然语言中的词语。比如「猫」在向量空间里对应一个特定坐标，「狗」对应另一个坐标，「牛」又是另一个位置——每个词在向量空间中都有唯一坐标，共同构成一部「词语字典」。早期最常用的表示方式是one-hot编码：若词表大小为10000，则每个词被表示为一个10000维的稀疏向量，只有该词对应的维度为1，其余全为0，例如把「苹果」标注成类似 10 这样的坐标。

这种做法最大的好处，是把原本模糊的自然语言转化为精确、可计算的数学语言，让机器能够精准定位每一个词。

效率不高的问题

但词向量也存在明显缺陷：第一，无法表达词语之间的关系——任意两个one-hot向量的余弦相似度恒为0，「猫」和「狗」的坐标之间究竟有何关联，模型并不知道，更无法感知「猫」与「狗」比「猫」与「汽车」更接近这一常识；第二，表示效率不高——词表越大，向量维度越高，计算开销呈指数级增长。这两个问题，成为后续技术演进的直接推动力，也直接催生了Word2Vec与词嵌入技术的诞生。

词嵌入：让向量「携带」语言信息

为解决词向量的局限，业界发展出了词嵌入（Embedding） 技术。有意思的是，Embedding在当今大模型项目中依然被广泛使用，是理解现代AI绕不开的核心概念。

词嵌入技术的里程碑是Google研究员Tomas Mikolov团队于2013年提出的Word2Vec，其核心思想来自语言学中的「分布式假说」：一个词的含义由其周围的词决定。这一假说由语言学家J.R. Firth在1957年提出，原话是「你可以从一个词结交的伙伴来了解它」（You shall know a word by the company it keeps）。Word2Vec正是将这一语言学洞见转化为可计算的工程方案：通过CBOW（用上下文预测中心词）或Skip-gram（用中心词预测上下文）两种训练方式，Word2Vec能将词语压缩为100～300维的稠密向量，并涌现出令人惊叹的语义算术能力：「国王 - 男人 + 女人 ≈ 女王」。

在工程实现细节上，两种架构各有侧重：CBOW将窗口内多个上下文词向量求平均后预测中心词，计算效率高但对低频词不友好；Skip-gram则以中心词预测周围多个上下文词，对低频词和罕见搭配的表示质量更佳，代价是训练速度较慢。Word2Vec还引入了负采样（Negative Sampling）等技巧将训练复杂度大幅降低，使得在十亿级语料上训练百维词向量成为工程可行的方案，也奠定了后续预训练范式「大数据+高效优化」的基本思路。

词嵌入本质上仍属于词向量，但多了一个关键步骤：预训练。通过对海量文章和资料的学习，让原本「空洞」的词向量携带上丰富的语言信息。经过预训练后的词嵌入，在向量空间中具备三个重要特性：

低维向量表示：以更紧凑的方式表达词语；
语义相似则空间相近：语义接近的词，在向量空间中位置也相近；
支持迁移学习：训练好的能力可迁移到其他任务中。

任务迁移

举例来说，模型通过学习大量文章发现「猫」和「狗」都属于宠物，于是两者的坐标点在向量空间中会彼此靠近，落入「宠物」语义区域；而「牛」和「羊」作为常见家畜，则聚集在另一片区域。这种「语义聚类」能力，正是大语言模型预训练思想的最初原型。

序列建模：从句向量到RNN与LSTM

有了词嵌入，模型开始向「理解上下文」迈进。这一阶段出现了句向量和全文向量，代表模型是RNN、LSTM等循环神经网络。

循环神经网络（RNN）的设计灵感来自人类阅读的时序性：理解一句话需要记住前面读过的词。RNN通过「隐藏状态」在时间步之间传递信息，其核心能力是处理连续序列数据——根据前文预测后文，或将一种语言翻译成另一种。以句子「What time is it?」为例，这类模型逐词顺序处理：先读「what」，再读「time」，接着「is」、「it」，最后到问号，通过这样的顺序完成对整句话的理解。

然而实践中，RNN面临严重的「梯度消失」问题——其本质是链式法则下的连乘效应：若每一步的局部梯度均小于1，经过数十步反向传播后梯度趋近于零，参数几乎无法更新，导致距离当前位置越远的历史信息越难被有效学习，模型实际上只能记住短距离的上下文。1997年，Sepp Hochreiter与Jürgen Schmidhuber提出的LSTM（长短期记忆网络） 通过引入遗忘门、输入门、输出门三个可学习的「阀门」从根本上绕开了这一瓶颈——细胞状态作为「信息高速公路」，其更新路径以加法为主，梯度可以「无损」地流过较长的时间跨度，将有效记忆窗口从RNN的十几个时间步延伸至数百步，实现了「短时记忆」与「选择性遗忘」机制。值得一提的是，这种通过加法路径保护梯度的设计思想，后来直接启发了Transformer残差连接的架构选择。在Transformer出现之前，LSTM是机器翻译、语音识别领域的主流架构，被广泛应用于文本生成、语音识别、图像描述等任务。可以说，到RNN、LSTM时代，我们日常接触到的许多AI识别能力已初具雏形。

预训练时代：BERT与Transformer的突破

再往后，AI进入了真正意义上「理解全文上下文」的阶段，代表作是Google的BERT。

这一时期最重要的突破，是支持并行训练，背后是2017年Google在论文《Attention Is All You Need》中提出的Transformer架构。其核心机制是自注意力（Self-Attention）：在处理序列中的每一个词时，模型同时「看到」序列中所有其他词，并通过注意力权重计算每个词对当前位置的贡献度。从数学实现上看，每个词被映射为三个向量——Query（查询）、Key（键）、Value（值）——通过Query与所有Key的点积计算相关性分数，经Softmax归一化后作为权重对Value加权求和，最终得到融合全局上下文信息的词表示。值得一提的是，Transformer在工程实现中还引入了多头注意力（Multi-Head Attention）：将Query、Key、Value分别线性投影到多个子空间，并行执行多次注意力计算后拼接输出，使模型能同时从句法依存、语义角色等多个维度捕捉词间关系。由于自注意力本身不含位置信息，Transformer还引入位置编码（Positional Encoding）来注入词序信息，后续研究发展出的RoPE、ALiBi等相对位置编码方案进一步增强了模型处理长文本的能力。

然而，全局自注意力的建模能力以O(n²)的时间与空间复杂度为代价——序列长度翻倍，计算量翻四倍。这一瓶颈在处理长文档时尤为突出，也催生了大量高效注意力变体：Longformer引入滑动窗口加全局Token的稀疏注意力，FlashAttention通过IO感知的分块计算将显存占用大幅降低，而近年兴起的线性注意力、状态空间模型（如Mamba）则试图以O(n)复杂度逼近全注意力的建模能力。这些工程探索背后的核心矛盾始终如一：如何在有限算力预算内最大化模型对长程依赖的捕捉能力。这一整体设计打破了RNN的顺序依赖，所有位置可以并行计算，且无论两个词相距多远，注意力机制都能直接建立联系，根本性地解决了长程依赖问题。

支持并行训练

BERT（Bidirectional Encoder Representations from Transformers）于2018年由Google发布，其革新之处在于双向预训练：通过「掩码语言模型」（Masked Language Model，MLM）任务，随机遮盖输入序列中15%的词，要求模型结合左右双向上下文将其还原，迫使模型学习真正的双向语义理解。BERT已能完成「完形填空」式任务：根据上下文推断当前代词指代的是男他、女她还是动物它，从而补全句子中的空缺。

BERT与同期的GPT代表了预训练目标的两条分叉路线，深刻影响了此后数年的模型架构选择。BERT采用编码器（Encoder-only）架构，双向上下文使其在理解类任务（分类、问答、命名实体识别）上表现卓越，但生成能力受限；GPT采用解码器（Decoder-only）架构与自回归语言模型目标——从左到右逐词预测，天然适合文本生成。这场「理解vs生成」之争随着GPT-3的横空出世逐渐尘埃落定：当参数量突破千亿级别后，自回归模型展现出惊人的零样本与少样本泛化能力，使业界天平明显倒向Decoder-only路线。BERT在发布时横扫了11项NLP基准测试，让「预训练+微调」成为NLP工程的标准范式，标志着「真正的预训练模型时代」正式开启。

超大模型时代：Prompt范式的确立

最终，以OpenAI的ChatGPT为代表，AI进入了超大模型与多任务统一的时代。

这一变革的关键源自Google的T5模型：它引入了Prompt（提示词）范式来训练模型——将提示词输入模型，训练其生成对应答案，如此反复迭代。我们向ChatGPT提问时，本质上也是在通过Prompt引导模型输出。

超大模型时代最令研究者震惊的现象还包括「涌现」（Emergence）：某些能力并非随参数量线性增长，而是在越过特定规模阈值后突然出现。思维链推理（Chain-of-Thought）、少样本类比等能力在小模型中几乎不存在，却在千亿参数级别模型中骤然涌现。OpenAI与DeepMind的研究者通过大量实验归纳出「规模定律」（Scaling Laws）：在计算量、数据量、参数量三者协同增长时，模型损失以幂律形式平滑下降，且这一规律在超过十个数量级的范围内保持稳定。这一发现将AI研究从「架构创新驱动」部分转向「算力投入驱动」，也是各大科技公司竞相投资算力基础设施的理论依据。

然而，原始的GPT-3虽然参数量达到1750亿，却存在「对齐」问题——所谓对齐（Alignment），是指让AI系统的行为与人类的真实意图、价值观保持一致的挑战。对大型语言模型来说，这个问题尤为棘手：模型在预训练阶段的目标仅仅是「预测下一个词」，并没有被显式教导什么是有益的、无害的、诚实的回答，因此可能生成有害内容或答非所问。OpenAI通过**RLHF（基于人类反馈的强化学习）**解决了这一问题：第一步，收集人类标注员对模型多个输出的排序偏好数据；第二步，用这些数据训练一个「奖励模型」，让它能自动预测人类对某个回答的满意程度；第三步，用强化学习中的PPO（近端策略优化）算法微调语言模型，使其在生成回答时获得奖励模型给出的更高分数。

值得注意的是，RLHF在工程实践中面临「奖励黑客」（Reward Hacking）风险——模型可能找到让奖励分数虚高但实际质量低下的输出方式，因此PPO训练阶段通常加入KL散度惩罚项，约束微调后的模型不过度偏离原始预训练分布。近年出现的DPO（直接偏好优化）方法则试图绕开显式奖励模型，直接从偏好数据优化策略，进一步降低了对齐工程的复杂度。这一闭环迭代过程使模型输出越来越符合人类期望。这一技术路线的产物是InstructGPT，而ChatGPT正是InstructGPT的对话优化版本。这才是OpenAI真正的核心贡献——将「基于Prompt的训练范式」与RLHF对齐技术系统结合并大规模推广。

发展到ChatGPT、GPT-4这一代，模型效果极为惊艳，并进一步衍生出多模态能力：不仅能理解和生成文字，还能「文生图」生成图片，乃至生成视频。多模态能力的核心挑战在于跨模态语义对齐——文字与图像在原始表示层面存在根本性的「模态鸿沟」。多模态能力的实现核心在于统一的向量表示空间——图像通过视觉编码器（如ViT，Vision Transformer）被切分为固定大小的图像块并转化为向量，与文本token一同输入Transformer处理；OpenAI的CLIP模型通过对比学习将图文对齐到同一语义空间——从互联网收集海量图文对，训练编码器使匹配对在共享向量空间中相互靠近、不匹配对相互远离，使文字描述与对应图片在向量层面相互呼应；而Sora视频生成模型进一步将时间维度纳入，将视频视为时空块序列，本质上仍是Transformer对序列建模能力的延伸，深刻体现了「一个统一架构，无限应用场景」的AI 2.0核心理念。这条技术路线本质上是词嵌入思想的跨模态延伸——用向量空间统一表示一切可感知的信息。

总结：一条「从点到面」的进化主线

回顾整个历程，大语言模型的发展可以清晰概括为一条主线：

词向量 → 词嵌入（预训练原型）→ 句向量 / RNN、LSTM（序列建模）→ BERT / Transformer（并行训练、全文理解）→ ChatGPT / GPT-4（超大模型、Prompt范式、RLHF对齐、多模态）

理解这条脉络，最核心的一点是：所有现代AI能力都建立在词向量这一「点」之上，经由神经网络、从顺序到并行训练的持续演进，再经RLHF对齐技术的加持，最终发展为今天规模空前的大语言模型。每一次技术迭代背后，都有一个清晰的工程矛盾在驱动：从one-hot的语义空洞到Word2Vec的分布式表示，从RNN的梯度消失到LSTM的门控记忆，从顺序计算的瓶颈到Transformer的并行全局注意力，从预训练模型的对齐缺失到RLHF的人类反馈校正——读懂每一次「问题→解法」的跃迁，便是读懂了AI 2.0时代的底层逻辑。对于希望进入AI领域的开发者而言，读懂这段进化史，正是把握AI 2.0时代机遇的第一步。