AI能理解却难创新：深度理解与创造力之间的鸿沟

一句令人深思的观察

近日，Prime Intellect 与研究者 Elie Bakouch 的一项工作在 AI 社区引发广泛讨论。这项研究本身值得关注，但真正击中许多从业者神经的，是其中一句看似平淡却极具分量的观察：

"我们再一次对（模型的）新意匮乏感到惊讶。这些模型显然在深层次上理解它们所操纵的对象，然而真正意义上的新想法却极少涌现。"

这句话精准地捕捉到了当下大语言模型（LLM）能力图谱中的一个核心矛盾：深度理解与真正创新之间的鸿沟。

AI的理解力与创造力：为何懂得多却创新少

模型确实"懂"了很多

必须承认，现代大语言模型对概念、对象及其相互关系的把握已经相当深入。它们能够解释复杂的数学定理、重构代码逻辑、在多个领域进行类比推理。从表面上看，这种理解力已经接近甚至超越了许多专业人士。

研究中强调模型"在深层次上理解它们所操纵的对象"，这并非客套话——它反映了 Transformer 架构在压缩和表征海量知识方面的强大能力。Transformer 架构自2017年由 Google Brain 团队在论文《Attention Is All You Need》中提出以来，已成为几乎所有主流大语言模型的基础骨架。其核心的自注意力（Self-Attention）机制允许模型在处理每个词元时同时关注输入序列中的所有其他位置，从而捕获长距离依赖关系。经过在万亿级别 token 上的预训练，模型参数中编码了大量关于语言结构、事实知识、推理模式的压缩表示。研究表明，Transformer 的不同层会自动学习到从句法到语义、从具体到抽象的层次化表征——模型内部确实构建了对世界某种程度的抽象表示，这正是它展现出"深层次理解"的技术基础。

近年来，研究者通过"机械可解释性"（Mechanistic Interpretability）方法进一步验证了这种理解的真实性。例如，在 Othello-GPT 实验中，研究者发现仅通过预测下一步棋子位置的训练，模型内部竟然自发形成了棋盘状态的线性表征——它不仅学会了预测合法走法，还在内部构建了对棋盘全局状态的表示。类似地，对大型语言模型的探针实验（probing）表明，模型内部存在关于空间关系、时间顺序、因果结构等抽象概念的可提取表征。这些发现证实，"深层次理解"并非拟人化的夸张描述，而是有可验证计算基础的客观现象。

但"懂"之后为何创造不出新东西？

问题在于，理解与创造之间存在着一道难以逾越的墙。研究者观察到，尽管模型掌握了对象的深层结构，"真正意义上的新想法却极少涌现"。

这揭示了一个关键区别：

• 重组已有知识：模型极其擅长将训练数据中的既有概念进行组合、变形、迁移。
• 产生真正新颖的想法：模型在跳出训练分布、提出前所未见的原创性洞见方面表现乏力。

换言之，当前的大语言模型更像是一位博学但保守的学者——它能旁征博引、融会贯通，却很少提出颠覆性的原创理论。心理学家将人类创造力区分为"小 c 创造力"（日常问题解决中的灵活组合）和"大 C 创造力"（改变领域范式的突破性贡献）。大语言模型在"小 c"层面已展现出一定能力，但在"大 C"层面几乎没有可信的案例。人工智能与创造力研究的先驱 Margaret Boden 曾将创造力分为组合性、探索性和变革性三个层次——当前模型主要停留在组合性层次，偶尔触及探索性层次，而变革性创造力则要求对整个概念空间的规则进行根本性修改，这恰恰是当前架构最难实现的。

从认知科学的视角来看，人类的突破性创造往往涉及"概念整合"（Conceptual Blending）——将两个看似不相关的心智空间融合，产生具有涌现结构的新概念空间。例如，达尔文的自然选择理论融合了马尔萨斯的人口论与自然界物种变异的观察，产生了任何一个单独心智空间都无法推导出的全新理论框架。此外，具身认知理论认为人类创造力深深植根于身体经验和环境交互——物理学家常通过"思想实验"调用身体直觉来想象极端物理情境，这是纯文本训练的模型所缺乏的认知维度。神经科学研究还发现，创造性洞见常伴随默认模式网络（DMN）的激活——这个在"走神"时活跃的脑区恰恰不是在执行目标导向的预测任务，而是在进行自由联想和心智漫游。这暗示创造力可能需要一种与"预测下一个token"截然不同的计算模式。

大模型为什么会出现"新意匮乏"？

训练目标的内在约束

大语言模型的核心训练目标是预测下一个 token，本质上是对训练数据分布的拟合。这种机制天然倾向于生成"最可能"的内容，而真正的创新往往意味着偏离最可能路径、走向低概率但高价值的区域。

从信息论的角度深入理解这一点：模型学到的是训练数据的联合概率分布 P(x₁, x₂, ..., xₙ)，一个能完美预测下一个 token 的模型等价于一个最优的无损压缩器。这一目标使模型极其擅长捕捉数据中已有的统计规律和模式，但也让它天然地被锚定在训练分布内部。生成时的采样策略（如 temperature、top-p）虽然可以引入随机性，但随机性并不等于创造性——随机偏离高概率路径更多地产生错误或无意义的输出，而非有价值的新颖洞见。

从缩放定律（Scaling Laws）的视角来看，这一困境可能是结构性的。根据 Chinchilla 等研究确立的缩放规律，随着模型参数量和训练数据量的增长，模型在预测下一个 token 方面的交叉熵损失会持续下降——模型变得越来越擅长拟合训练数据的分布。但这种改进本质上是在更精确地逼近人类已经产出的文本的统计特征，而非在扩展分布的边界。这意味着单纯的规模扩大——无论是10倍还是100倍的参数增长——可能无法从根本上解决创造力问题。你可以把压缩器做得越来越好，但更精确的压缩并不自动等于更多的创造。这一认识对"规模即一切"（Scaling is All You Need）的行业信念提出了深刻挑战。

从这个角度看，"新意匮乏"并非偶然缺陷，而是训练范式的结构性结果。模型被优化去逼近人类已经产出的知识，而非去超越它。

创新的本质对AI构成根本挑战

真正的创新通常伴随着：

1. 对既有范式的质疑——而模型倾向于遵循数据中占主导的模式；
2. 跨领域的非常规连接——模型能做类比，但难以做出颠覆性的错位连接；
3. 面向未知的主动探索——模型缺乏真正的好奇心与自主探索机制。

这些恰恰是人类创造力的核心特征，也是当前 AI 架构最难复现的部分。以科学史为例，爱因斯坦的广义相对论并非通过组合已有物理学知识得出，而是通过质疑牛顿力学的基本假设（绝对时空观）、引入来自非欧几何的全新数学工具（黎曼几何——这一数学分支在当时被视为纯粹的抽象构造，与物理学毫无关联），并在思想实验中主动探索极端物理情境（如电梯自由落体中的等效原理）。这种从根本上重构概念空间的能力，与模型在既有分布上做平滑插值的机制形成了鲜明对比。

值得注意的是，即使在人类群体中，这种变革性创造力也极为罕见。科学哲学家托马斯·库恩在《科学革命的结构》中区分了"常规科学"（在既有范式内解题）和"科学革命"（范式转换）。绝大多数科学家终其一生都在做常规科学，只有极少数人在极少数时刻触发了范式转换。从这个角度看，大语言模型能够高效地完成"常规科学"式的工作已是巨大成就——但我们对它们的期待似乎已经跃升到了"科学革命"的层面。

突破AI创新瓶颈的可能路径

重新审视"智能"的定义

这项观察提醒我们，衡量 AI 能力不应只看它"知道多少"，还要看它"能创造什么"。理解力的天花板可能远低于创造力的天花板。当行业热衷于讨论 AGI 时，创新能力的缺失或许是比知识广度更根本的瓶颈。当前关于通用人工智能（AGI）的讨论往往聚焦于基准测试分数、知识覆盖面和推理能力，但对创造力的评估框架仍极度匮乏——我们甚至缺少一个被广泛接受的、可操作的"AI创造力基准测试"，这本身就说明了问题的困难程度。

现有的一些尝试性评估方法包括：替代用途测试（Alternative Uses Test，要求对日常物品提出非常规用途）、远程联想测试（Remote Associates Test），以及对AI生成的科研假设进行专家盲审评估其新颖性。但这些方法要么过于简单无法触及真正的创造力，要么依赖人类专家判断而难以规模化，要么仅评估了创造力的表层表现而非深层机制。建立一套系统性的AI创造力评估体系，可能本身就需要对"什么是创造"这一古老哲学问题给出更精确的操作性定义。

值得探索的技术方向

若要突破大语言模型的"新意匮乏"，可能需要在以下方向寻求突破：

• 引入探索性机制：借鉴强化学习中的探索-利用权衡思路，鼓励模型走向低概率但潜在高价值的生成空间。探索-利用（Exploration-Exploitation）权衡是强化学习中的经典问题：智能体需要在利用已知的高回报策略和探索未知但可能更优的策略之间取得平衡。近年来，好奇心驱动的探索（Curiosity-Driven Exploration）成为一个活跃研究方向，其核心思想是为智能体提供内在奖励——当遇到内部模型无法准确预测的状态时给予额外奖励，从而鼓励主动探索新领域。将这一思路引入语言模型，意味着需要设计一种机制让模型在生成过程中主动偏离"安全"的高概率路径，去探索那些不确定但可能具有启发性的表达方向。

  DeepMind 的 AlphaGo 提供了一个极具启发性的先例。通过自我对弈和蒙特卡洛树搜索（MCTS），AlphaGo 在第二局对阵李世石时走出了第37手——一步人类职业棋手数千年来从未走过的着法，事后被证明具有深刻的战略价值。这证明强化学习框架在特定条件下确实能产生超越训练数据的创新。然而关键区别在于：围棋有明确且即时的胜负判定作为奖励信号，而开放域的创造力缺乏这样清晰的评判标准。一个新的科学假设的价值可能需要数年甚至数十年才能被验证，这使得将类似方法推广到通用创造力面临根本性的奖励设计困难（reward shaping problem）。

• 多智能体协作与辩论：通过多个 AI 智能体之间的对抗与思维碰撞激发新想法。多智能体辩论（Multi-Agent Debate）是近两年快速发展的研究方向，其基本设定是让多个独立的 LLM 实例对同一问题给出不同的回答，然后通过多轮辩论、交叉评审和迭代修正来逼近更好的解答。MIT、Google DeepMind 等机构的研究表明，这种机制能有效减少单一模型的推理错误和幻觉。更深层来看，多智能体架构模拟了人类科学共同体的运作方式——不同研究者带着不同的先验假设和知识背景进行争论，碰撞中产生的认知冲突往往是创新的催化剂。然而，当前多智能体系统中的各个 agent 本质上共享相同的训练数据分布，这限制了它们产生真正多样化视角的能力，也指向了进一步突破的方向——例如，对不同 agent 使用不同的训练数据子集、不同的微调目标或不同的知识蒸馏来源，以制造更具实质性的"认知多样性"。

• 与真实世界的交互反馈：让模型在实践中检验假设，而非仅在文本分布中打转。历史上许多重大科学发现都源于实验中的意外观察——弗莱明因培养皿被霉菌污染而发现青霉素、彭齐亚斯和威尔逊在调试天线时意外探测到宇宙微波背景辐射都是如此。这些"偶然发现"（serendipity）的共同特征是：研究者在与真实世界的交互中遇到了违背预期的现象，并具备足够的洞察力将"异常"转化为"发现"。让 AI 系统能够提出假设、设计实验、获取真实反馈并据此更新认知，可能是超越纯文本训练范式的关键一步。目前，"AI科学家"（AI Scientist）系统已在化学、材料科学等领域开始这方面的早期尝试——自动化实验平台让 AI 能够在假设-实验-验证的循环中学习，而非仅从人类已发表的论文中提取知识。

• 元学习与自我改进机制：让模型能够反思和修改自身的推理策略，而非固守预训练阶段习得的模式。这涉及到让模型具备某种形式的"元认知"——对自身认知过程的认知。当前的思维链（Chain-of-Thought）提示和自我反思（Self-Reflection）技术是这方面的初步尝试，但仍局限于在固定参数下的推理时间调整，而非对模型底层知识结构的真正更新。

Prime Intellect 本身在去中心化训练与协作式 AI 研究方面的探索，也正是试图在传统范式之外寻找新的可能性。作为一家专注于去中心化 AI 训练基础设施的研究机构，Prime Intellect 的核心理念是通过分布式训练协议（如 DiLoCo——Distributed Low-Communication 训练方法），让全球范围内的异构计算资源能够协作训练大规模模型。DiLoCo 的技术核心在于大幅减少分布式训练中节点间的通信频率——传统数据并行训练需要每个步骤同步梯度，而 DiLoCo 允许各节点独立训练数百步后再进行一次轻量级的参数同步，这使得跨地域、跨网络条件的训练成为可能。这种去中心化范式不仅有望降低大模型训练的门槛和对单一大型数据中心的依赖，更重要的是，它为引入更多样化的训练数据、目标函数和优化策略提供了结构性可能——不同节点可以探索不同的训练方向，然后通过聚合产生比任何单一节点都更丰富的知识结构。这或许正是打破单一训练范式导致的"新意匮乏"的一条路径。

结语：从理解到创造，AI还有多远？

Elie Bakouch 与 Prime Intellect 的这句观察，看似轻描淡写，却触及了大模型时代最深刻的问题之一：我们造出了能理解万物的机器，但它们尚不能真正创造新事物。

对于研究者而言，这是一个清醒的提醒——在惊叹于模型能力的同时，也要认识到当前范式的边界所在。而对于整个 AI 行业，如何跨越从"理解"到"创造"的鸿沟，或许才是通往下一代人工智能的真正关键。这不仅是一个技术问题，更是一个关于智能本质的哲学问题：创造力是否可以从足够深入的理解中自然涌现，还是需要全然不同的计算机制？

有一种乐观的观点认为，创造力不过是搜索空间足够大时的组合爆炸——只要模型的理解足够深、搜索足够广，创新将作为涌现属性自然出现。但另一种更审慎的观点则认为，真正的创造力需要"跳出系统"（thinking outside the system）的元能力，这可能需要根本不同于当前自回归预测的计算架构——也许是某种能够动态修改自身目标函数的系统，也许是能够在多个抽象层次间自由切换的认知架构，也许是我们尚未想象到的全新范式。

答案将决定 AI 发展的下一个十年走向何方。而这个问题的深刻之处在于：如果我们自己都不完全理解人类创造力的机制，我们又如何能在机器中复现它？或许，试图让 AI 具备创造力的过程本身，将迫使我们更深入地理解创造力的本质——这本身就可能成为一项极具创造性的科学成就。