DCGM
DCGM（Data Center GPU Manager）是NVIDIA推出的一套面向数据中心环境的GPU集群管理软件框架。它为系统管理员和运维人员提供GPU健康监控、性能指标采集、故障诊断、策略管理及作业调度等功能，支持通过API与主流集群管理和监控平台（如Kubernetes、Prometheus）集成，适用于大规模GPU服务器的统一运维管理场景。
核心事实
时间轴 (近 90 天)
GPU遥测通常由NVML或DCGM暴露，涵盖功耗、温度、SM时钟、显存带宽利用率、ECC错误计数、NVLink链路状态等。
自治恢复系统做出正确决策的前提是将 DCGM 事件、Kubernetes 事件与训练框架日志在时间轴上对齐，形成统一的故障上下文。
GPU 集群硬件层可观测性指标由 NVIDIA 的 DCGM（Data Center GPU Manager）采集，涵盖显存错误、ECC 事件、温度、功耗与 XID 错误码。
建议团队以Prometheus或DCGM导出至少90天的GPU利用率时间序列，用P50和P90两个分位数来验证是否稳定越过65%阈值。
NVIDIA的NVLink、GPU驱动及数据中心管理软件栈（如DCGM）为功率闭环控制提供基础设施支撑
DCGM 3.x版本引入了性能计数器复用（counter multiplexing）能力来部分缓解计数器互斥限制
DCGM由后台守护进程nv-hostengine和客户端库组成，守护进程通过NVML和CUPTI与GPU硬件通信
DCGM的Profiling级别指标（以DCGM_FI_PROF_前缀标识）需要使用GPU硬件性能计数器，可能与某些第三方Profiling工具产生互斥
GKE托管方案归因正确但利用率指标误导且无法升级，自建DCGM默认归因错误但利用率诚实且可配置
全部知识事实 (12)
DCGM（Data Center GPU Manager）是NVIDIA提供的GPU管理和监控工具，广泛用于数据中心环境
70%待验证DCGM Exporter能够暴露GPU温度、功耗、SM利用率、显存使用率、ECC错误计数、PCIe带宽等数十项硬件指标
90%待验证Fleet Intelligence的实时遥测能力建立在NVML和DCGM等底层监控技术之上
85%待验证GPU遥测通常由NVML或DCGM暴露，涵盖功耗、温度、SM时钟、显存带宽利用率、ECC错误计数、NVLink链路状态等。
50%待验证自治恢复系统做出正确决策的前提是将 DCGM 事件、Kubernetes 事件与训练框架日志在时间轴上对齐，形成统一的故障上下文。
50%待验证GPU 集群硬件层可观测性指标由 NVIDIA 的 DCGM（Data Center GPU Manager）采集，涵盖显存错误、ECC 事件、温度、功耗与 XID 错误码。
50%待验证建议团队以Prometheus或DCGM导出至少90天的GPU利用率时间序列，用P50和P90两个分位数来验证是否稳定越过65%阈值。
50%待验证NVIDIA的NVLink、GPU驱动及数据中心管理软件栈（如DCGM）为功率闭环控制提供基础设施支撑
50%待验证DCGM由后台守护进程nv-hostengine和客户端库组成，守护进程通过NVML和CUPTI与GPU硬件通信
50%待验证DCGM 3.x版本引入了性能计数器复用（counter multiplexing）能力来部分缓解计数器互斥限制
50%待验证DCGM的Profiling级别指标（以DCGM_FI_PROF_前缀标识）需要使用GPU硬件性能计数器，可能与某些第三方Profiling工具产生互斥
50%待验证GKE托管方案归因正确但利用率指标误导且无法升级，自建DCGM默认归因错误但利用率诚实且可配置
50%