GPU
GPU（图形处理器，Graphics Processing Unit）是一种专用并行计算处理器，最初设计用于加速计算机图形渲染，通过大量小型计算核心同时处理多任务。其高度并行的架构使其在图形显示、科学计算、深度学习训练与推理、数据处理等领域具有显著性能优势，广泛应用于个人电脑、服务器及数据中心等场景。
核心事实
时间轴 (近 90 天)
引入英伟达这类产业龙头作为联署方，实质上是用其对GPU需求和残值判断的信息优势，为项目信用增级。
GPU 在 Kubernetes 中是不可压缩资源，Pod 之间不会共享同一块设备。
在 Kubernetes 中，GPU 数量必须写在 Pod 的 resources.limits 中而非 requests 中，否则不会被视为有效请求。
AI加速器（如GPU、专用ASIC）以大规模并行计算见长，生态上高度依赖软件栈（如CUDA）和开发者社区，形成较强的护城河。
编译优化过程涉及算子映射、内存布局调整与精度策略选择，不同芯片架构（如 GPU、NPU、DSP）对算子的支持程度差异很大。
与通用GPU相比，TPU在推理任务上通常具有更高的能效比。
以英伟达高端GPU为例，其有效经济寿命通常被认为在3-5年。
在大模型推理中，GPU的浮点算力每两年翻倍，而HBM/DRAM带宽的增速明显滞后。
自建算力指用户自行购置或租用GPU等硬件，在本地或私有环境中部署和运行大模型，优势包括服务条款不受第三方单方面变更影响、数据不出私域、账户封禁风险归零。
部署GDS前需要确认GPU架构是否在支持范围内、存储设备是否支持直接内存访问、文件系统是否已挂载并具备相应能力。
还有 40 条时间轴事件
全部知识事实 (20)
连续批处理允许在任意迭代步插入新请求、移除已完成请求，使GPU在每一步保持满负荷运转
90%已验证NVIDIA CUDA于2006年推出，最初是让开发者利用GPU进行通用计算的编程框架
90%已验证大语言模型的预训练过程需要数千块高端GPU并行运算数月，耗资通常在数千万到数亿美元之间
90%已验证训练一次GPT-4级别的模型需要数万块A100/H100 GPU协同工作数月
90%已验证A100 GPU的HBM带宽约2TB/s，而片上SRAM带宽可达19TB/s，相差近10倍
85%已验证NPU是专为AI推理计算设计的硬件加速器，高通骁龙8系列的Hexagon NPU、苹果的Neural Engine、联发科的APU都已集成在移动芯片中
80%已验证Tensor Core高效运行要求矩阵维度对齐至16或8的倍数
80%已验证大模型推理时实际GPU利用率往往不足10%
80%已验证Ollama能够自动识别并利用机器上的计算资源，GPU和CPU均可调度
80%已验证GPU的大规模并行计算架构天然适合深度学习中的矩阵运算，其数千个计算核心可将训练过程加速数十倍乃至数百倍
80%已验证TensorRT通过算子融合、内核自动调优和内存优化来释放GPU硬件潜力
80%已验证TensorRT的算子融合将计算图中多个连续的小算子合并为一个大算子，减少GPU内核启动次数和中间结果的内存读写；典型融合操作可将卷积、批归一化和激活函数三步合并为单次GPU内核调用
80%已验证训练一个前沿大模型需要投入数亿美元的算力、数据清洗和人力
80%已验证混合专家（MoE）是一种模型架构，由多个专门处理不同子任务的专家子网络和一个决定输入交给哪个专家的门控网络共同构成
75%已验证传统存储访问路径需要数据多次经过CPU内存中转，消耗CPU周期并在GPU与存储间制造性能鸿沟
75%已验证GPU全栈范式将环境状态、动力学仿真、策略网络前向传播及梯度计算全部留在显存中完成，消除CPU与GPU的数据传输瓶颈
75%已验证英伟达长期主导AI训练与推理所需的GPU算力市场
75%已验证大型语言模型服务的每一次推理都需要消耗大量GPU算力，容量规划难度远超普通应用
75%已验证传统自回归解码的瓶颈在内存带宽而非计算能力，GPU算力利用率较低
75%已验证CPU软件光栅化渲染的性能比真实GPU慢10-100倍（1-2个数量级）
75%