红杉资本对话AI专家：冯·诺依曼架构如何影响AI未来发展

最近红杉资本跟一位AI专家Konstantine做了一场对话，聊了很多AI前沿的东西，但你猜什么环节反响最大？不是大模型，不是多模态，而是最后一个关于冯·诺依曼的问题。很多人说这是全场最大的亮点。我觉得这事挺有意思的——在大家都在追最新技术热点的时候，一个上世纪50年代的理论家反而成了焦点。 对，我看到这个消息的时候其实一点都不意外。你想啊，我们现在用的每一台电脑、每一部手机，底层都还是冯·诺依曼架构。他提出的那个"存储程序"概念——就是把程序指令和数据放在同一个存储器里，CPU按顺序去读取执行——这个思想直接把计算机从一个笨重的专用机器变成了通用机器。在他之前，像ENIAC那种早期计算机，你要换个程序得重新接线，物理上重新接线，你能想象吗？ 就相当于你每次想换个App，得把手机拆开重新焊一遍电路板。 哈哈对，就是这么夸张。冯·诺依曼一下子把这个问题解决了。但有意思的是，他这个架构也埋下了一个著名的瓶颈——CPU和内存之间的数据传输带宽是有限的，处理器经常在那儿干等数据。这个问题在传统计算时代还不算太严重，但到了AI时代就变得特别突出了。 因为深度学习需要的是海量数据的并行处理，对吧？这也是为什么GPU后来会崛起。 没错。你看GPU最早是给游戏做图形渲染的，它有几千个小型计算核心，能同时跑大量简单运算。而神经网络训练的核心操作——矩阵乘法、张量运算——天然就适合这种大规模并行。2007年NVIDIA推出CUDA编程框架，GPU就从一个图形专用设备变成了通用并行计算平台，直接点燃了深度学习的爆发。后来Google的TPU、各种神经网络专用芯片、存内计算，都是在试图从根本上突破冯·诺依曼瓶颈。 所以某种意义上说，整个AI算力革命的起点，其实就是在回应冯·诺依曼架构的局限性。 可以这么理解。而且更让我觉得厉害的是，冯·诺依曼的前瞻性远不止于计算架构。他在50年代就提出了自我复制自动机的理论——就是问一个根本性的问题：一台机器能不能制造出跟自己一样复杂、甚至更复杂的机器？ 这个问题放到今天来看，简直就是在问AI Agent能不能自己写代码、自己改进自己的算法。 对！而且他用严格的数学证明给出了肯定答案。他说你需要三样东西：一个通用构造器、一份描述自身的蓝图、以及一个复制蓝图的机制。最神奇的是什么呢？DNA双螺旋结构的发现是在他提出这个理论之后的，后来人们发现DNA的自我复制机制跟他描述的框架惊人地相似。这个人真的是在用纯粹的数学思维预见了生物学的发现。 嗯，所以当我们今天讨论AI Agent的自主规划、自主执行、甚至自主创建子任务，本质上是在重新面对冯·诺依曼七十年前提出的那个问题。那我想聊聊另一个维度——通用智能。冯·诺依曼构想的通用计算，跟现在大家追求的AGI之间，你觉得是什么关系？ 其实是一脉相承的。冯·诺依曼的通用计算思想是说，一台机器通过不同的程序可以完成任意计算任务。AGI的目标呢，是让AI系统具备跟人类同等甚至超越人类的广泛认知能力，在任何智力任务上都能灵活地理解、学习和推理。从"通用计算"到"通用智能"，这个跨越就是当代AI研究最宏大的目标。但说实话，现在的大语言模型，包括GPT-4、Claude这些，虽然在语言理解和代码生成上表现很惊人，但在因果推理、长期规划、物理世界理解这些方面还有明显的短板。 关于AGI什么时候能实现，业界分歧也挺大的。Sam Altman觉得可能几年内就来了，但更多研究者觉得还要几十年。 对，这个争论短期内不会有定论。但我觉得更重要的一个信号是，这场对话其实在提醒我们：纯粹的工程优化可能已经不够了，下一轮突破很可能需要回到基础理论层面去找答案。 你提到这个，我就想到红杉资本的角色。他们作为全球最顶级的VC之一，管理超过850亿美元的资产，投过Apple、Google、Airbnb这些巨头。在AI这波浪潮里，他们从芯片、云计算到大模型再到应用层都有布局。但2023年他们合伙人David Cahn写了篇文章叫《AI的2000亿美元问题》，质疑AI基础设施的巨额投入能不能产生匹配的商业回报。你看，他们一边积极投，一边又在冷静地泼冷水。 这恰恰是顶级投资机构在技术变革期的典型策略。而且你注意到没有，他们愿意花时间跟技术专家聊冯·诺依曼这种看起来很"学术"的话题，说明他们在用很长远的历史视角来审视AI的发展轨迹，而不是只追短期热点。 嗯，这让我想到一个更大的主题——跨学科融合。冯·诺依曼本人就是跨学科的典范，他在纯数学、物理学、经济学、计算机科学之间自由穿梭。而AI历史上的重大突破其实也都是跨学科的产物。 太多例子了。反向传播算法的数学基础来自微积分的链式法则；卷积神经网络的设计灵感来自神经科学家对猫视觉皮层的研究；Transformer里的注意力机制借鉴了认知科学关于人类选择性注意的理论。最近几年更明显，扩散模型来自热力学的扩散过程，能量模型受统计物理启发，量子机器学习又把量子计算拉进来了。每一次大的跳跃，几乎都是不同学科碰撞出来的。 所以如果要总结这场对话给我们的启示，我觉得有三点特别值得记住。第一，基础理论正在回归聚光灯下，光靠工程优化撑不起下一轮突破；第二，跨学科融合是关键突破口；第三，需要长期主义的视角，不能只盯着眼前。 说得好。其实我觉得最打动我的是一种态度——在技术飞速迭代的当下，保持对基础理论的敬畏和好奇心。我们现在每天都在聊大模型、多模态、AI Agent，但回头看看冯·诺依曼七十年前的思考，你会发现很多根本性的问题他早就提出来了，只是我们现在才有能力去逼近答案。站在巨人的肩膀上，这句话在AI领域真的不是客套话。 嗯，也期待这场对话的完整内容能早点公开。毕竟能让红杉资本和技术专家同时兴奋的话题，值得每一个关注AI的人认真琢磨一下。