TPU(Tensor Processing Unit,张量处理单元)是Google专为机器学习工作负载设计的定制化专用集成电路(ASIC)。与通用GPU相比,TPU针对张量运算进行了深度优化,能够高效加速神经网络的训练与推理任务。TPU主要部署于Google数据中心,支撑TensorFlow等深度学习框架,并通过Google Cloud对外提供算力服务,广泛应用于图像识别、自然语言处理等AI领域。
Google的TPU系列已迭代至第六代Trillium
谷歌自研张量处理器(TPU)是专为机器学习设计的定制ASIC芯片,自2016年第一代起已发展至第六代Trillium
推测解码、模型蒸馏、KV Cache优化等推理优化技术的持续进步正在使单位推理成本快速下降
谷歌拥有自研TPU(张量处理单元)基础设施