Hot Chips大会：AI芯片军备竞赛全面升级

AI算力战争的新战场

每年的Hot Chips大会都是半导体行业的风向标。Hot Chips大会自1989年起每年在美国斯坦福大学举办，是半导体行业最具影响力的技术研讨会之一。与侧重商业发布的CES或Computex不同，Hot Chips更注重芯片架构层面的深度技术交流，参会者多为芯片设计工程师、架构师和学术研究人员。历史上，许多划时代的处理器架构——从Intel的奔腾系列到AMD的Zen架构，从ARM的big.LITTLE到苹果的M系列芯片——都曾在这里首次公开技术细节。大会的核心价值在于让业界提前洞察未来2-3年的计算架构趋势，因此成为观察产业技术方向的重要窗口。

而今年这场以"热芯片"命名的盛会，热度更多来自参与其中的重磅玩家。从OpenAI首度亮相的定制芯片"Jalapeño"，到Cerebras的晶圆级巨兽CS-5、Groq专注推理的第三代LPX，再到Apple的M6，这届大会几乎汇聚了当前AI硬件竞争的全部核心力量。

这不仅是一场技术展示，更是AI产业格局重塑的缩影。当算力成为决定大模型能力上限的关键瓶颈，谁能掌握更高效、更经济的芯片，谁就能在下一轮竞争中占据主动。

值得注意的是，本届大会背后还有一条隐含的技术主线：先进封装技术正在重新定义"芯片"的边界。Chiplet（小芯片）架构将一颗大型芯片拆分为多个功能模块，通过先进封装技术（如台积电的CoWoS、Intel的EMIB、AMD的3D V-Cache）实现高带宽互联。这种方式提高了良品率、降低了制造成本，还允许混合不同制程节点——例如计算核心用3nm、I/O模块用更成熟的7nm。英伟达的B200、AMD的MI300X都大量采用了Chiplet设计。有趣的是，本届大会上展示的多种芯片方案恰恰代表了不同的架构哲学：有的追求片上一体化的极致带宽，有的追求灵活可组合性，这些路线的角力将持续影响AI芯片的演进方向。

OpenAI Jalapeño：软件公司的硬件野心

最引人注目的莫过于OpenAI首次公开的自研芯片项目"Jalapeño"。作为一家以算法和模型著称的公司，OpenAI进军芯片设计传递出一个明确信号：对英伟达GPU的深度依赖已成为战略隐患。

英伟达GPU在AI训练市场占据超过90%的份额，这一优势源于其CUDA软件生态的十余年积累。CUDA是英伟达开发的并行计算平台，提供了完整的开发工具链、优化库和庞大的开发者社区。几乎所有主流深度学习框架（TensorFlow、PyTorch等）都对CUDA进行了深度优化，这形成了强大的生态壁垒——即便竞争对手推出性能更优的硬件，开发者迁移的成本也极高。英伟达的H100、A100等数据中心GPU单价可达数万美元，供应紧张时甚至一卡难求。这种市场支配地位既带来了丰厚利润，也让依赖其产品的AI公司承受巨大的成本压力和供应链风险。

OpenAI自研芯片并非孤例，而是科技行业"垂直整合"趋势的最新案例。这一趋势由苹果在2020年从Intel x86架构迁移至自研ARM芯片（M系列）所引爆，此后Google的TPU（Tensor Processing Unit）、Amazon的Trainium和Inferentia、Meta的MTIA（Meta Training and Inference Accelerator）纷纷涌现。这些公司的共同逻辑是：当自身业务规模足够大时，通用芯片的冗余设计会造成大量算力浪费，定制芯片的边际成本节省足以覆盖高昂的研发投入。OpenAI在芯片团队组建上也可圈可点，据报道其芯片设计团队核心成员来自Google TPU项目和博通的定制芯片部门，首席硬件负责人曾深度参与多代TPU的架构设计。

OpenAI为什么要自研芯片？

训练和运行GPT系列这样的超大规模模型，需要消耗天文数字般的算力成本。目前市场上高端AI加速卡供应长期紧张，价格居高不下。通过自研专用芯片，OpenAI有望在三个层面获得优势：

• 成本控制：针对自身模型架构定制芯片，大幅降低单位推理和训练成本
• 供应链自主：减少对单一供应商的依赖，避免被"卡脖子"
• 软硬协同优化：芯片与模型深度耦合，实现比通用GPU更高的能效比

当然这条路并不好走。芯片设计涉及漫长的研发周期和巨额投入，从架构设计到流片验证通常需要2-3年时间，一次先进制程流片的费用可达数亿美元，即便是财力雄厚的科技巨头也曾在此折戟。Google的TPU从第一代到真正大规模商用经历了近五年的迭代，Intel的独立GPU项目更是几度起伏。OpenAI能否将软件优势成功迁移到硬件领域，仍是最大的悬念。

Cerebras CS-5：晶圆级计算的极致探索

如果说主流厂商在追求芯片的密度和互联效率，那么Cerebras走的是一条截然不同的"暴力美学"路线——晶圆级引擎（Wafer-Scale Engine）。

打破传统芯片的物理边界

Cerebras的核心思路是：与其把一块晶圆切割成众多小芯片再互联，不如直接将整片晶圆做成一颗巨型芯片。传统芯片制造中，一片12英寸硅晶圆会被切割成数百颗独立芯片，因为半导体制造过程中必然存在缺陷点，晶圆越大良品率越低。Cerebras的晶圆级引擎直接将整片晶圆做成单颗芯片，面积超过46000平方毫米（常规GPU约800平方毫米），这带来三大工程挑战：一是良品率问题，Cerebras通过冗余设计和故障屏蔽技术应对；二是散热，如此大面积的芯片功耗可达数万瓦，需要专门设计的液冷系统；三是封装和供电，需要数千个供电触点和高带宽的I/O接口。

在良品率问题上，Cerebras的技术突破值得深入理解。在传统半导体制造中，良品率遵循泊松分布模型——芯片面积越大，包含至少一个缺陷点的概率越高。对于常规GPU（约800mm²），每片晶圆上可能有85%以上的完好芯片；但对于占据整片晶圆的芯片，100%存在缺陷点。Cerebras的解决方案是在芯片中设计大量冗余计算核心和互连通路，制造完成后通过测试识别出缺陷区域并将其旁路（bypass），由冗余单元接替功能。这一思路借鉴了FPGA和大规模存储器的容错设计理念，但在如此大面积的逻辑芯片上实现仍属首创。

这种设计带来三大优势：

• 超高带宽片上通信：数据无需在多颗芯片间跨越缓慢的外部总线，大幅降低延迟。尽管挑战重重，晶圆级设计彻底消除了多芯片系统中芯片间通信的瓶颈，在处理需要海量参数交互的超大模型时，理论上可获得数十倍的通信效率提升
• 海量并行核心：单颗"芯片"集成的计算单元数量远超常规产品
• 简化系统架构：减少多芯片协同带来的复杂性

第五代产品CS-5在此基础上进一步提升了性能和能效。对于需要处理巨型模型的场景，这种一体化的算力方案具有独特吸引力，尤其在减少模型分片带来的通信开销方面表现突出。从架构哲学上看，Cerebras的晶圆级方案代表了Chiplet路线的"反面"——前者追求片上一体化的极致带宽，后者追求灵活可组合性，两种路线各有适用场景，其竞争将长期存在。

Groq 3 LPX：专为AI推理而生

与训练芯片的军备竞赛不同，Groq将赌注押在了"推理"这个更贴近实际应用的环节上。在深度学习领域，训练（Training）和推理（Inference）是两个截然不同的计算阶段。训练阶段需要处理海量数据，通过反向传播算法不断调整数十亿甚至数千亿个参数，计算密集度极高，往往需要数千块GPU协同工作数周甚至数月。而推理阶段是使用已训练好的模型对新数据进行预测，虽然单次计算量较小，但对延迟极为敏感——用户每次与ChatGPT对话、每次使用AI搜索，背后都是一次推理过程。从成本结构看，一个大模型可能只训练一次，但会被调用数十亿次进行推理，因此推理的累计算力消耗和成本往往远超训练。这种差异催生了专门优化训练或推理的不同芯片架构。

第三代LPX（Language Processing Unit）延续了其在低延迟推理领域的技术路线。

推理市场的巨大潜力

随着大模型从实验室走向千行百业的实际部署，推理成本正逐渐超越训练成本，成为长期运营的主要开销。Groq主打的确定性低延迟架构，特别适合对响应速度敏感的实时应用场景，比如对话式AI、代码助手和搜索增强。

Groq的LPU架构摒弃了传统GPU的部分复杂调度机制，通过软件预先编排数据流，从而实现极高的吞吐量和可预测的延迟表现。具体而言，Groq采用了TSP（Tensor Streaming Processor）架构，这是一种VLIW（Very Long Instruction Word，超长指令字）风格的设计。传统GPU依赖硬件调度器在运行时动态分配计算资源，这虽然灵活但引入了不可预测的延迟波动。Groq则将调度工作完全前移到编译阶段，编译器预先计算出每一条指令在每个时钟周期的执行位置，芯片运行时严格按预编排的时间表执行。这种方式消除了缓存未命中、分支预测失败和动态调度等不确定性来源，使得延迟几乎完全可预测。代价是编译器的复杂度极高，且对不规则工作负载的适应性较差，这也是Groq选择专注推理（计算模式相对固定）而非训练（计算模式更动态）的技术原因。

在AI芯片领域，能效比（每瓦特功耗能完成多少运算）正成为比绝对性能更关键的指标。数据中心运营商发现，AI服务器的电费和冷却成本已占总拥有成本(TCO)的40%以上，而移动设备更是受制于电池容量。这推动了芯片设计从"算得快"向"算得省"转变。优化手段包括：采用更先进的制程工艺（如3nm、2nm）降低晶体管功耗；使用专用指令集替代通用计算逻辑；利用稀疏化技术跳过零值运算；以及动态电压频率调节(DVFS)根据负载调整功耗。例如Groq声称其LPU在推理任务中的能效比是同等算力GPU的10倍以上。

这种专注单一场景的策略，让它在特定基准测试中展现出令人印象深刻的每秒token生成速度。在AI算力需求呈指数级增长的背景下，能效比的提升直接决定了AI服务的经济可行性和环境可持续性。据国际能源署(IEA)估计，到2026年全球数据中心的电力消耗可能翻倍，其中AI工作负载将是主要增长驱动力，这使得推理环节的能效优化不仅是经济问题，更是环境议题。

Apple M6：消费端AI的静默革命

在一众数据中心级芯片中，Apple的M6显得低调却意义深远。它代表了另一条技术路径——将强大的AI能力下沉到终端设备。

端侧AI的战略价值

Apple一贯强调设备端处理，M6预计将进一步增强其神经网络处理单元（NPU）的性能，让更多AI任务能够在本地完成。NPU（Neural Processing Unit）是专门为神经网络推理设计的硬件加速器，通常集成在移动设备和PC的片上系统(SoC)中。与通用CPU或GPU不同，NPU针对神经网络中大量的矩阵乘法和卷积运算进行了专门优化，采用低精度计算（INT8、INT4甚至更低）和稀疏化技术，在保持精度的同时大幅降低功耗。苹果自A11芯片开始集成神经网络引擎，到M系列已经历多代演进，性能从最初的每秒数千亿次运算提升至数万亿次。这使得iPhone和Mac能够在本地运行图像识别、语音处理、实时翻译等AI功能。随着端侧大模型的兴起，NPU的算力需求正呈现爆发式增长。

端侧大模型的兴起为M6这类芯片提出了新的挑战。要在终端设备上运行大模型面临内存和功耗的双重瓶颈。以一个70亿参数的模型为例，FP16精度下需要约14GB内存，这已经接近高端智能手机的总内存容量。因此，模型量化（Quantization）成为关键技术：将模型权重从FP16压缩为INT8可将内存需求减半，INT4则可减至四分之一，而精度损失通常在可接受范围内。苹果在这方面有深厚积累，其Core ML框架内置了模型量化和剪枝工具。此外，苹果独特的统一内存架构（Unified Memory Architecture）让CPU、GPU和NPU共享同一内存池，避免了数据在不同处理器间的拷贝开销，这对运行大模型尤为有利——模型权重只需加载一次到统一内存中，各处理器即可直接访问，而传统PC架构中GPU需要通过PCIe总线从系统内存拷贝数据，这一过程常成为性能瓶颈。

这种策略带来的价值十分明确：

• 隐私保护：敏感数据无需上传云端，数据不离开设备。在全球数据隐私法规日益严格的背景下（如欧盟GDPR、中国《个人信息保护法》），端侧处理天然具备合规优势
• 低延迟响应：本地处理避免了网络往返的等待，也避免了云端推理的网络延迟和按次计费成本。端侧推理可以实现毫秒级响应，而云端调用即使在最佳网络条件下也通常需要数十到数百毫秒
• 离线可用：不依赖持续的网络连接，在飞行、地铁等弱网环境下依然可以使用完整的AI功能

当行业普遍关注云端大模型的军备竞赛时，Apple选择在数十亿终端设备上普及AI能力，这是一种更贴近普通用户的差异化竞争思路。如果M6的NPU性能足够强大，未来用户可能在iPhone上本地运行一个经过量化压缩的个人AI助手，它能理解语境、处理复杂指令，同时所有数据从未离开设备——这将是AI民主化的重要一步。

总结：AI芯片多元化竞争格局正在形成

这届Hot Chips大会清晰地勾勒出AI芯片行业的分化趋势：OpenAI谋求垂直整合的自主可控，Cerebras以晶圆级方案挑战物理极限，Groq深耕推理场景的效率优化，Apple则专注端侧AI的普及化。

这种多元化竞争恰恰反映了AI应用需求的日益细分。没有一款芯片能通吃所有场景，未来的算力生态很可能是训练、推理、云端、终端各司其职的分层格局。在制造端，台积电、三星等晶圆代工厂的先进制程产能分配同样在深刻影响这场竞争——无论多么精妙的芯片设计，最终都需要落地为可量产的实物，而全球最先进的3nm和2nm产线数量极为有限，谁能获得优先产能分配，谁就掌握了市场竞争的又一关键筹码。

对整个行业而言，更激烈的芯片竞争意味着更快的技术迭代和更低的算力成本，最终受益的将是所有AI应用的开发者和用户。历史经验表明，当CPU市场从Intel一家独大转变为Intel与AMD双雄竞争时，处理器性能提升速度加快、价格大幅下降，整个PC生态因此受益。AI芯片市场正在上演类似的故事，只是这次的玩家更多、赛道更细分、影响也将更为深远。