NVIDIA T4
NVIDIA面向数据中心推理场景设计的GPU,基于Turing架构,单卡16GB GDDR6显存,拥有320个Tensor Core,具有低功耗、高云端普及率的特点,广泛用于AI推理加速。
时间轴 (近 90 天)
Kaggle是一个数据科学竞赛平台,同时提供免费的云端Notebook环境(Kaggle Notebooks),配备GPU(如NVIDIA Tesla P100或T4)和有限的计算时长(通常每周30小时左右)。
被动散热卡(如T4)的实际散热能力高度依赖机箱风道、进风温度和相邻板卡发热,同一张卡装在不同机箱或机架位置能维持的稳态频率可能明显不同。
NVIDIA T4的TDP为70W,boost clock最高1590 MHz,且采用被动散热设计(卡上没有风扇,依赖服务器风道散热)。
在T4上读取gpu_log.csv时通常会看到同一模式:第一分钟clocks.sm稳定在1590,第3到5分钟逐渐跌到1200–1350并稳定下来。
锁频实验显示,将 SM 频率固定在 1,200 MHz、不设功耗限制时,66°C 时中位功耗 62.0W,78°C 时功耗升至 66.0W,斜率约 0.26 W/°C,即漏电流导致同频率下温度越高功耗越大。
T4 的 FP32 规格为 8.1 TFLOPS、FP16 为 65 TFLOPS,规格表未注明对应频率、温度条件或脚注。
按 2,560 个 CUDA 核心、每时钟两次运算反推,8.1 TFLOPS 需要约 1,582 MHz 才能成立。
实验使用 n1-standard-2 VM、单张被动散热 Tesla T4、驱动 615.71.09、vLLM 0.29.0,模型为 4-bit 权重的 Gemma 4 E2B,单请求、贪心解码、每次输出 256 tokens。
在所有样本中,解码速率与 SM 频率的相关系数高达 0.99,与温度的相关系数为 -0.97 和 -0.86。
即使锁频在 1,200 MHz,T4 热起来后仍有 29% 的采样点触及 70W 功耗上限。
还有 10 条时间轴事件
全部知识事实 (19)
Kaggle是一个数据科学竞赛平台,同时提供免费的云端Notebook环境(Kaggle Notebooks),配备GPU(如NVIDIA Tesla P100或T4)和有限的计算时长(通常每周30小时左右)。
50%待验证被动散热卡(如T4)的实际散热能力高度依赖机箱风道、进风温度和相邻板卡发热,同一张卡装在不同机箱或机架位置能维持的稳态频率可能明显不同。
50%待验证NVIDIA T4的TDP为70W,boost clock最高1590 MHz,且采用被动散热设计(卡上没有风扇,依赖服务器风道散热)。
50%待验证在T4上读取gpu_log.csv时通常会看到同一模式:第一分钟clocks.sm稳定在1590,第3到5分钟逐渐跌到1200–1350并稳定下来。
50%待验证锁频实验显示,将 SM 频率固定在 1,200 MHz、不设功耗限制时,66°C 时中位功耗 62.0W,78°C 时功耗升至 66.0W,斜率约 0.26 W/°C,即漏电流导致同频率下温度越高功耗越大。
50%待验证T4 的 FP32 规格为 8.1 TFLOPS、FP16 为 65 TFLOPS,规格表未注明对应频率、温度条件或脚注。
50%待验证按 2,560 个 CUDA 核心、每时钟两次运算反推,8.1 TFLOPS 需要约 1,582 MHz 才能成立。
50%待验证在所有样本中,解码速率与 SM 频率的相关系数高达 0.99,与温度的相关系数为 -0.97 和 -0.86。
50%待验证即使锁频在 1,200 MHz,T4 热起来后仍有 29% 的采样点触及 70W 功耗上限。
50%待验证NVIDIA TensorRT 文档明确提到 T4 这类容易被功耗墙限制的 GPU 在散热不佳时稳定频率会下降、性能变差,并建议除非有明确的确定性需求否则不应长期锁频。
50%待验证在推测解码 A/B 对比中,每次启动服务端前把卡冷却到 50°C,加速比稳定在 1.297x 或 1.298x,与运行顺序无关;不预冷时加速比会落在 1.279x 到 1.337x 之间。
50%待验证在该主机上把 T4 冷却到 50°C 需要不到四分钟,而带着模型空闲运行在 72–76°C 停留 30 分钟也无法降温。
50%待验证Google Compute Engine 的 GPU 页面重复列出 T4 的 65、130、260 TOPS,同样不带条件说明;Compute Engine 的 SLA 主要覆盖可用性故障,不涉及这种温度导致性能下降的情况。
50%待验证把 SM 频率锁在 1,200 MHz 后,温度从 65–69°C 升到 75–79°C,解码速率只从 104.8 降到 104.1 tokens/s,漂移从约 7% 压缩到约 0.7%。
50%待验证同一张 Google Cloud 单卡 T4 上,冷态 45°C 时 Gemma 4 E2B 解码速度为 115.3 tokens/s,热态 77°C 时降至 106.8 tokens/s,持续掉速约 7.4%。
50%待验证在实验的 154,815 个采样点中,T4 只报告过空闲和软件功耗墙两种降频原因,软件与硬件热降频从未触发,最高温度读数为 83°C。
50%待验证T4 在该 VM 上的功耗上限被锁定在 70W,从第一个请求开始就持续贴近该上限运行。
50%待验证NVIDIA T4基于Turing架构,单卡拥有16GB GDDR6显存和320个Tensor Core
50%待验证70B参数的模型经Q4量化后约需35-40GB显存,单块T4无法胜任,双T4则基本可以满足
50%