[控场AI]
产品NVIDIA Management Library

NVML

NVIDIA提供的GPU管理库,用于监控和管理NVIDIA GPU的状态与性能指标。

时间轴 (近 90 天)

10月29日

拓扑感知调度通过读取硬件拓扑信息(如 NVML、节点拓扑管理器提供的亲和性数据),将通信密集的任务优先放置在互连带宽更高的资源组合上。

待验证50%
10月28日

显卡识别依赖 NVIDIA 的 NVML 接口读取显存容量与算力等级,据此决定分辨率上限、是否启用半精度(fp16)或显存优化策略。

待验证50%
10月26日

GPU遥测通常由NVML或DCGM暴露,涵盖功耗、温度、SM时钟、显存带宽利用率、ECC错误计数、NVLink链路状态等。

待验证50%
10月17日

NVML(NVIDIA Management Library)是NVIDIA提供的底层监控与管理接口,nvidia-smi、dcgm-exporter及各类GPU监控Agent都构建在其之上。

待验证50%
10月17日

nvidia-ml-py是NVML的Python绑定,可在基准测试循环内以亚秒级粒度读取温度、SM/显存频率、功耗及throttle reasons。

待验证50%
10月12日

nvidia-smi 提供全卡级别的瞬时读数,无法区分是哪个进程或请求在消耗显存,要实现逐租户归因需要在每个服务层埋点

待验证50%

全部知识事实 (7)

来源文章