FLOPs是智能，参数是知识：一句话看懂AI大模型本质

一句精妙的比喻

在AI技术讨论中，偶尔会出现一些高度凝练的观点，能够用最简单的语言揭示复杂系统的本质。近期一条在Twitter上流传的评论就属于这一类：

"FLOPs were intelligence; parameters were knowledge!"（FLOPs是智能，参数是知识！）

这句话虽然只有短短几个词，却精准地区分了当代大语言模型（LLM）中两个经常被混淆的核心概念——计算量（FLOPs）与模型参数（parameters）。它们分别对应着模型的两种不同能力维度：推理智能与知识存储。

FLOPs：衡量AI智能的计算维度

什么是FLOPs

FLOPs（Floating Point Operations，浮点运算次数）是衡量模型计算量的核心指标。在训练和推理过程中，模型每一次前向传播和反向传播都需要执行大量的浮点运算。FLOPs的规模直接反映了模型"思考"所投入的计算资源。

在深度学习领域，FLOPs通常以PetaFLOPs（10^15次浮点运算）为基本单位来描述训练规模。GPT-3的训练大约消耗了3.14×10^23 FLOPs，而GPT-4的训练计算量据估计比GPT-3高出数百倍。在硬件层面，NVIDIA的A100 GPU单卡可提供约312 TFLOPS的BF16算力，H100则达到约989 TFLOPS。训练一个前沿大模型往往需要数千张GPU运行数月，仅电力成本就可能高达数千万美元。这种计算规模的指数级增长，正是OpenAI在早期论文中提出的Scaling Laws（缩放定律）的核心预测：模型性能与训练计算量之间存在可预测的幂律关系。具体而言，Scaling Laws表明模型的交叉熵损失（cross-entropy loss）会随着计算量、数据量和参数量的增加而平滑下降，且这种下降关系可以用简单的幂律函数精确拟合。这一发现赋予了AI研发前所未有的可预测性——在投入巨额计算资源之前，研究者可以通过小规模实验外推大规模模型的预期性能。值得补充的是，Scaling Laws的最初形式由OpenAI的Jared Kaplan等人在2020年的论文《Scaling Laws for Neural Language Models》中系统性地提出，他们发现模型性能（以测试损失衡量）与三个关键变量——计算量C、数据集大小D和参数量N——各自呈现独立的幂律关系，且在数量级跨越六个以上的范围内保持高度一致。这意味着研究者可以通过训练一系列小模型来拟合出这些幂律曲线，然后外推预测一个规模大数百倍的模型将达到什么性能水平，其误差通常在1-2%以内。

近年来AI能力的飞跃，很大程度上来自训练计算量的指数级增长。从GPT-3到GPT-4，再到最新的推理模型，训练所消耗的FLOPs不断攀升。这种计算投入让模型能够学习到更复杂的模式，形成更强的推理与泛化能力。

为何说FLOPs对应"智能"

将FLOPs类比为"智能"，其内在逻辑在于：智能的本质是信息处理与推理的能力。更多的计算意味着模型能够进行更深层次的模式识别、更复杂的逻辑推导。

这一点在当下的推理模型（reasoning models）浪潮中体现得尤为明显。像OpenAI的o系列、DeepSeek-R1等模型，其核心突破正是在推理阶段投入更多计算——通过延长"思考链"（chain of thought），让模型在给出答案前进行更充分的运算。测试时计算（test-time compute）的兴起，本质上就是用更多FLOPs换取更高智能表现的策略。

测试时计算是近年来AI领域最重要的范式转变之一。传统模型在推理时对每个问题投入固定的计算量——输入经过一次前向传播即输出答案。而推理模型打破了这一范式，允许模型根据问题难度动态调整计算投入。具体实现方式包括：生成多条推理路径并进行验证（类似于Best-of-N采样，即生成N个候选答案后选择最优解）、在思维链中进行自我反思和纠错、以及通过强化学习（特别是基于过程奖励模型PRM的RLHF变体）训练模型学会何时需要"深入思考"。

推理模型的训练通常涉及两个关键阶段：首先通过监督微调（SFT）让模型学会生成思维链格式的输出，然后通过强化学习（RL）进一步优化推理质量。在RL阶段，奖励模型分为两类：结果奖励模型（ORM，Outcome Reward Model）只评判最终答案的正确性，而过程奖励模型（PRM，Process Reward Model）则对推理链中的每一步进行评分。OpenAI在2023年的研究《Let's Verify Step by Step》中证明，PRM相比ORM能更有效地引导模型学会可靠的推理过程，因为它提供了更密集的监督信号。DeepSeek-R1则另辟蹊径，通过GRPO（Group Relative Policy Optimization）算法——一种不需要显式奖励模型的策略优化方法——直接利用问题的可验证性（如数学题的答案正确性）作为奖励信号来训练推理能力。这种方法的优雅之处在于它绕开了奖励模型本身可能存在的偏差问题，直接以客观正确性为优化目标。

DeepSeek-R1和OpenAI的o系列模型在数学竞赛和编程任务上的突破性表现，很大程度上归功于这种在推理阶段用更多FLOPs换取更高质量输出的策略。这也与诺贝尔经济学奖得主Daniel Kahneman提出的人类认知"系统1"（快速直觉反应）和"系统2"（慢速深思熟虑）的双系统理论形成了有趣的对照——传统LLM更像系统1的即时反应，而推理模型则模拟了系统2的深度思考过程。值得注意的是，测试时计算的边际收益同样遵循递减规律：对于简单问题，额外的计算可能不会带来显著改善；而对于需要多步推理的复杂问题，增加的计算投入则能产生质的飞跃。

模型参数：承载知识的存储维度

参数即记忆

模型参数是训练过程中学习到并固化下来的权重值。它们像是模型的"长期记忆库"，存储着从海量训练数据中提炼出的世界知识、语言规律和事实信息。

从技术架构来看，大语言模型中的参数主要存在于Transformer架构的注意力层（Attention Layers）和前馈网络层（FFN Layers）中。Transformer架构由Vaswani等人在2017年的经典论文《Attention Is All You Need》中提出，其核心创新是自注意力机制（Self-Attention），使模型能够动态地关注输入序列中任意位置之间的依赖关系。在现代大语言模型中，一个典型的Transformer层包含多头注意力（Multi-Head Attention）和前馈网络（FFN）两个主要子模块。以GPT-3的1750亿参数为例，大约2/3的参数分布在FFN层中，1/3在注意力层中。FFN层通常包含两个线性变换和一个非线性激活函数（如GeLU），其隐藏维度一般是模型维度的4倍，这种设计使其具有巨大的参数容量来存储知识模式。

研究表明，这两类参数扮演着不同的角色：注意力层更多负责信息的路由和组合（更接近"智能"的功能），它通过Query-Key-Value机制决定输入序列中哪些信息需要被关联和整合；而前馈网络层则倾向于充当键值记忆体，存储具体的事实知识。这一发现来自多项"知识神经元"相关研究（如Dai等人2022年的《Knowledge Neurons in Pretrained Transformers》），研究者通过定位和编辑特定神经元，可以修改模型对特定事实的记忆——例如改变模型对"埃菲尔铁塔位于哪个城市"这类问题的回答。这种"知识编辑"技术也催生了ROME（Rank-One Model Editing）、MEMIT（Mass-Editing Memory in a Transformer）等一系列精准修改模型知识的方法，使得无需重新训练整个模型就能更新其知识。

从信息论角度看，一个拥有700亿参数的模型（以FP16精度存储约140GB），实际上是将数万亿token的训练数据（原始文本量可能达到数十TB）压缩到这140GB的参数空间中。这种极端的压缩比（可能高达100:1甚至更高）意味着模型必须学会抽象和泛化，而非简单记忆——这也解释了为什么模型有时会产生"幻觉"：压缩过程中不可避免地会丢失或混淆信息，特别是对于训练数据中出现频率较低的长尾知识。从信息论的角度更精确地表述，模型的参数空间定义了其能够编码的信息量的上界（类似于香农信息论中的信道容量），而训练过程则是在这个有限容量内最大化有用信息的编码效率。

将参数类比为"知识"，抓住了一个关键事实：模型能"知道"多少事情，很大程度上取决于其参数容量。一个拥有数千亿参数的模型，能够记住更多的事实、更多的语言细节、更多的领域专业知识。这也是为什么参数规模常被视为模型"博学程度"的一个粗略指标。

知识与智能的分离

这句评论最深刻之处，在于它暗示了知识与智能可以在一定程度上解耦。一个参数量巨大但计算深度不足的模型，可能像一个"博闻强记却不善推理"的人；反之，一个参数适中但推理计算充分的模型，则可能像"知识有限但思维敏捷"的思考者。

这一洞察在实际工程中有着深远意义。例如，检索增强生成（RAG）技术就是试图将"知识"外置到数据库中，让模型无需将所有知识都压缩进参数，从而把宝贵的参数容量和计算资源更多地用于"智能"层面的推理。

RAG技术最早由Meta AI（当时的Facebook AI Research）的Patrick Lewis等人在2020年的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中正式提出，其核心思想是将大语言模型的参数化知识与外部非参数化知识库解耦。在RAG架构中，用户查询首先通过嵌入模型（如OpenAI的text-embedding-ada-002或开源的BGE系列）被转换为高维向量表示，然后通过向量数据库（如Pinecone、Milvus、Weaviate、FAISS等）执行近似最近邻搜索（ANN），检索出语义最相关的文档片段，最后将这些片段作为上下文拼接到提示词中，供模型生成最终答案。

向量数据库中的近似最近邻搜索是RAG系统检索效率的关键。在高维空间（如768维或1536维的嵌入向量）中进行精确最近邻搜索的计算复杂度为O(n)，对于包含数百万甚至数十亿条目的知识库而言不可接受。因此实践中采用近似最近邻（ANN）算法，其中HNSW（Hierarchical Navigable Small World）是目前性能最优的通用算法之一——它构建一个多层导航图结构，在搜索时从高层开始逐步细化到底层，将搜索复杂度降低到O(log n)级别，同时保持95%以上的召回率。

这种架构的优势在于多方面：知识可以实时更新（只需更新向量库）而无需重新训练模型；知识来源可追溯，每条生成的信息都可附带引用来源，从而显著减少幻觉；模型参数可以更精简，专注于推理能力而非死记硬背。在企业级应用中，RAG已成为事实上的标准架构，特别是在需要处理私有数据（如企业内部文档、法律条款、医疗记录）或领域特定知识的场景中。近期的发展趋势还包括将RAG与Agent框架结合（如LangChain、LlamaIndex等工具链），让模型能够自主决定何时需要检索外部信息、检索什么信息、以及如何将多次检索的结果综合推理，形成更加自主和智能的信息处理流程。

另一个体现知识与智能分离的典型案例是混合专家模型（Mixture of Experts, MoE）架构。MoE模型（如Google的Switch Transformer、Mixtral 8x7B等）拥有巨大的总参数量以存储广泛的知识，但在推理每个token时只激活其中一小部分参数，从而在保持知识广度的同时控制计算成本。以Mixtral 8x7B为例，它拥有8个专家子网络，每次推理只激活2个，总参数量约为470亿但活跃参数量仅约130亿。门控网络（Gating Network）——通常是一个简单的线性层加Top-K选择——决定每个token应该由哪些专家处理。这种设计面临的工程挑战包括负载均衡（避免某些专家被过度使用）、分布式通信开销、以及训练稳定性。MoE架构正是在"知识"和"智能"两个维度上寻找最优平衡点的一种工程实现——用大量总参数确保知识广度，用稀疏激活控制每次推理的计算成本。

这一区分对AI实践的启示

模型设计的两条优化路径

理解FLOPs与参数的分工，为模型优化提供了清晰的思路：

• 提升知识：扩大参数规模、丰富训练数据、引入外部知识检索
• 提升智能：增加训练与推理计算、优化推理架构、强化思维链训练

近年来，行业逐渐意识到单纯堆叠参数并非最优解。像Chinchilla的研究就指出，在给定计算预算下，参数量与训练数据量需要保持合理的配比。

2022年DeepMind发表的Chinchilla论文（《Training Compute-Optimal Large Language Models》，由Jordan Hoffmann等人撰写）彻底改变了行业对模型训练的认知。此前，以GPT-3为代表的模型倾向于使用大量参数（1750亿）但相对较少的训练数据（约3000亿token），导致模型在某种意义上处于"欠训练"状态。Chinchilla研究通过系统性地训练超过400个不同规模的模型，发现在固定计算预算下，参数量和训练token数应当按大致1:20的比例匹配——即每个参数应当"看到"约20个训练token才能达到计算最优。按照这一法则，拥有700亿参数的模型最优训练数据量约为1.4万亿token。Chinchilla以仅700亿参数（GPT-3的40%）在多项基准上超越了拥有2800亿参数的Gopher模型，有力地证明了"更大"并不总是"更好"，关键在于计算资源的最优分配。

这一发现推动了行业从单纯追求参数规模转向更均衡的资源分配策略，也间接催生了Meta Llama系列等更高效模型的设计理念——用相对精简的参数量配合充分的训练数据。不过值得注意的是，近期Meta的Llama 3系列故意采用"过度训练"策略（Llama 3 8B使用了15万亿token训练数据，远超Chinchilla最优比例建议的1600亿token），其背后的逻辑是：Chinchilla法则优化的是训练效率（即在固定计算预算下最小化训练损失），而在实际部署中，推理效率（即较小模型带来的更低推理成本和更快响应速度）可能更为重要。当一个模型需要服务数百万用户时，每次推理节省的毫秒数和每张GPU多承载的并发请求数会累积成巨大的成本差异。这证明在推理效率优先的场景下，Chinchilla法则的适用边界仍在被重新定义——"最优训练"和"最优部署"是两个不同的优化目标，行业正在从"训练计算最优"转向"推理计算最优"的新范式。

而推理模型的崛起，则进一步证明了在推理阶段追加FLOPs能带来显著的能力提升。这也引出了一个新的权衡问题：同样的计算预算，是应该用于训练一个更大的模型（提升参数/知识），还是用于让现有模型在推理时"思考"更久（提升FLOPs/智能）？当前的研究表明，对于需要深度推理的任务（如数学证明、复杂编程），后者可能是更有效的投入方式。这也引发了关于"训练时计算"（train-time compute）与"测试时计算"（test-time compute）之间最优分配的新一轮Scaling Laws研究——未来的最优模型可能不是训练计算量最大的，也不是推理计算量最大的，而是在两者之间找到最佳平衡的。

对理解AI能力的帮助

对于普通用户和从业者而言，这个类比也提供了一个实用的心智模型：当你评估一个AI模型时，可以分别追问——它"知道"多少（知识/参数），以及它能"想"多深（智能/计算）。这两个维度共同决定了模型在实际任务中的表现。

在实际应用选型中，这一框架具有直接的指导意义。对于知识密集型任务（如百科问答、文档摘要、多语言翻译），优先考虑参数量大或配备了完善RAG系统的模型；对于推理密集型任务（如数学解题、逻辑分析、代码调试、策略规划），则应优先选择支持深度推理的模型，即使它们的参数量相对较小。这也解释了为什么像DeepSeek-R1这样参数量并非最大的模型，能在数学和编程基准上超越参数量更大的通用模型——它们将计算资源更多地分配给了"智能"维度而非"知识"维度。

从更宏观的视角来看，这一框架也帮助我们理解AI发展的不同阶段：2020-2022年的"参数军备竞赛"（从GPT-3到PaLM再到各种千亿参数模型）主要在扩展知识维度；2022-2023年Chinchilla法则后的"数据质量革命"（更好的数据筛选和清洗流程）在优化知识的编码效率；而2024年至今的"推理模型浪潮"（o1、o3、DeepSeek-R1）则标志着行业焦点从知识维度全面转向智能维度。这并非意味着知识不再重要——而是在知识基础已经足够坚实的情况下，智能维度成为了新的瓶颈和突破方向。

结语：简洁背后的深度

"FLOPs是智能，参数是知识"这句评论之所以引发共鸣，正是因为它用最经济的语言，捕捉到了大模型架构中两个基础却常被混淆的维度。它提醒我们：AI的能力并非单一指标可以概括，而是计算与存储、推理与记忆的协同产物。

在AI快速演进的今天，这样的凝练洞察或许比冗长的技术论文更能帮助我们建立正确的直觉。当然，作为一个类比它并不完美——现实中知识与智能的边界远比这更模糊，例如注意力层既承载部分知识也执行推理功能，而充分的知识本身也能促进更好的推理（就像人类专家因为深厚的领域知识而能做出更好的判断）——但作为理解AI本质的一把钥匙，它无疑是值得记住的。

核心要点

核心要点