[控场AI]
产品Tesla T4 / T4 GPU

NVIDIA T4

NVIDIA面向数据中心推理场景设计的GPU,基于Turing架构,单卡16GB GDDR6显存,拥有320个Tensor Core,具有低功耗、高云端普及率的特点,广泛用于AI推理加速。

时间轴 (近 90 天)

10月23日

Kaggle是一个数据科学竞赛平台,同时提供免费的云端Notebook环境(Kaggle Notebooks),配备GPU(如NVIDIA Tesla P100或T4)和有限的计算时长(通常每周30小时左右)。

待验证50%
10月17日

被动散热卡(如T4)的实际散热能力高度依赖机箱风道、进风温度和相邻板卡发热,同一张卡装在不同机箱或机架位置能维持的稳态频率可能明显不同。

待验证50%
10月17日

NVIDIA T4的TDP为70W,boost clock最高1590 MHz,且采用被动散热设计(卡上没有风扇,依赖服务器风道散热)。

待验证50%
10月17日

在T4上读取gpu_log.csv时通常会看到同一模式:第一分钟clocks.sm稳定在1590,第3到5分钟逐渐跌到1200–1350并稳定下来。

待验证50%
10月16日

锁频实验显示,将 SM 频率固定在 1,200 MHz、不设功耗限制时,66°C 时中位功耗 62.0W,78°C 时功耗升至 66.0W,斜率约 0.26 W/°C,即漏电流导致同频率下温度越高功耗越大。

待验证50%
10月16日

T4 的 FP32 规格为 8.1 TFLOPS、FP16 为 65 TFLOPS,规格表未注明对应频率、温度条件或脚注。

待验证50%
10月16日

按 2,560 个 CUDA 核心、每时钟两次运算反推,8.1 TFLOPS 需要约 1,582 MHz 才能成立。

待验证50%
10月16日

实验使用 n1-standard-2 VM、单张被动散热 Tesla T4、驱动 615.71.09、vLLM 0.29.0,模型为 4-bit 权重的 Gemma 4 E2B,单请求、贪心解码、每次输出 256 tokens。

已过期50%
10月16日

在所有样本中,解码速率与 SM 频率的相关系数高达 0.99,与温度的相关系数为 -0.97 和 -0.86。

待验证50%
10月16日

即使锁频在 1,200 MHz,T4 热起来后仍有 29% 的采样点触及 70W 功耗上限。

待验证50%

还有 10 条时间轴事件

全部知识事实 (19)

待验证

Kaggle是一个数据科学竞赛平台,同时提供免费的云端Notebook环境(Kaggle Notebooks),配备GPU(如NVIDIA Tesla P100或T4)和有限的计算时长(通常每周30小时左右)。

50%
待验证

被动散热卡(如T4)的实际散热能力高度依赖机箱风道、进风温度和相邻板卡发热,同一张卡装在不同机箱或机架位置能维持的稳态频率可能明显不同。

50%
待验证

NVIDIA T4的TDP为70W,boost clock最高1590 MHz,且采用被动散热设计(卡上没有风扇,依赖服务器风道散热)。

50%
待验证

在T4上读取gpu_log.csv时通常会看到同一模式:第一分钟clocks.sm稳定在1590,第3到5分钟逐渐跌到1200–1350并稳定下来。

50%
待验证

锁频实验显示,将 SM 频率固定在 1,200 MHz、不设功耗限制时,66°C 时中位功耗 62.0W,78°C 时功耗升至 66.0W,斜率约 0.26 W/°C,即漏电流导致同频率下温度越高功耗越大。

50%
待验证

T4 的 FP32 规格为 8.1 TFLOPS、FP16 为 65 TFLOPS,规格表未注明对应频率、温度条件或脚注。

50%
待验证

按 2,560 个 CUDA 核心、每时钟两次运算反推,8.1 TFLOPS 需要约 1,582 MHz 才能成立。

50%
待验证

在所有样本中,解码速率与 SM 频率的相关系数高达 0.99,与温度的相关系数为 -0.97 和 -0.86。

50%
待验证

即使锁频在 1,200 MHz,T4 热起来后仍有 29% 的采样点触及 70W 功耗上限。

50%
待验证

NVIDIA TensorRT 文档明确提到 T4 这类容易被功耗墙限制的 GPU 在散热不佳时稳定频率会下降、性能变差,并建议除非有明确的确定性需求否则不应长期锁频。

50%
待验证

在推测解码 A/B 对比中,每次启动服务端前把卡冷却到 50°C,加速比稳定在 1.297x 或 1.298x,与运行顺序无关;不预冷时加速比会落在 1.279x 到 1.337x 之间。

50%
待验证

在该主机上把 T4 冷却到 50°C 需要不到四分钟,而带着模型空闲运行在 72–76°C 停留 30 分钟也无法降温。

50%
待验证

Google Compute Engine 的 GPU 页面重复列出 T4 的 65、130、260 TOPS,同样不带条件说明;Compute Engine 的 SLA 主要覆盖可用性故障,不涉及这种温度导致性能下降的情况。

50%
待验证

把 SM 频率锁在 1,200 MHz 后,温度从 65–69°C 升到 75–79°C,解码速率只从 104.8 降到 104.1 tokens/s,漂移从约 7% 压缩到约 0.7%。

50%
待验证

同一张 Google Cloud 单卡 T4 上,冷态 45°C 时 Gemma 4 E2B 解码速度为 115.3 tokens/s,热态 77°C 时降至 106.8 tokens/s,持续掉速约 7.4%。

50%
待验证

在实验的 154,815 个采样点中,T4 只报告过空闲和软件功耗墙两种降频原因,软件与硬件热降频从未触发,最高温度读数为 83°C。

50%
待验证

T4 在该 VM 上的功耗上限被锁定在 70W,从第一个请求开始就持续贴近该上限运行。

50%
待验证

NVIDIA T4基于Turing架构,单卡拥有16GB GDDR6显存和320个Tensor Core

50%
待验证

70B参数的模型经Q4量化后约需35-40GB显存,单块T4无法胜任,双T4则基本可以满足

50%

来源文章