[控场AI]
产品Multi-Instance GPU

MIG

NVIDIA Ampere架构引入的硬件级GPU分区技术,可将一块物理GPU切割成最多七个完全独立的实例,每个实例拥有专属显存、缓存和计算引擎,隔离性接近独立物理卡

核心事实

时间轴 (近 90 天)

11月1日

Simulusion内置线性探针、DCI和MIG三种表示质量度量工具。

待验证50%
10月27日

MIG 与 CUDA 13.4 内存强制机制可以叠加使用,但定位不同:MIG 提供物理级确定性和性能隔离,内存强制在共享同一物理设备的进程之间划出显存边界。

待验证50%
10月24日

现代调度系统能在时间与空间两个维度上切分算力:空间维度上,GPU显存分区(如MIG、MPS)或多进程共享允许较小规模的实验共享同一张卡;时间维度上,调度器利用RL训练中采样与更新阶段的波峰波谷,把不同实验的任务交错编排,减少GPU空转。

待验证50%
10月22日

Modal 等平台通常结合多种手段实现 GPU 隔离:对支持的硬件启用 MIG,对不支持的在调度层做更细粒度的打包和抢占式回收。

待验证50%
10月22日

NVIDIA 的 MIG 技术通过在硬件层将 A100 等型号切分为多个独立实例,提供接近原生的隔离能力,但并非所有 GPU 型号都支持且切分粒度固定。

待验证50%
10月22日

H100支持MIG技术,可将单颗GPU最多划分为7个独立实例,每个实例拥有专属的显存、缓存和计算单元。

待验证50%
10月22日

MIG实例的计算能力有限,且部分实例规格不支持完整的NVLink带宽,因此更适合多租户或任务隔离场景,而非追求单任务极致性能。

待验证50%
10月20日

Compute Capability是NVIDIA为其GPU架构定义的版本号,以“主版本号.次版本号”表示(如Ampere为8.x、Ada Lovelace为8.9、Blackwell为12.0),直接编码在GPU硬件标识中,由驱动通过PCI配置空间和GPU寄存器读取,不依赖上层软件或平台标注,无法通过修改商品描述或虚拟化层伪造(MIG切分只影响显存与计算单元可见性,不改变架构版本号)。

待验证50%
10月12日

MIG的粒度较粗、分区方式固定,无法完全替代软件层面的时间切片调度

待验证50%
10月11日

NVIDIA的MIG仅在数据中心级卡(如A100、H100)上可用,消费级RTX卡不支持

待验证50%

还有 5 条时间轴事件

全部知识事实 (19)

已验证

NVIDIA的MIG技术可在A100/H100等高端GPU上实现硬件级别的资源隔离

80%
待验证

NVIDIA MIG仅支持A100/H100等高端卡且切分粒度有限,vGPU方案需要额外购买商业许可证

85%
待验证

NVIDIA MIG技术允许将单个GPU划分为多个独立实例,可将资源利用率从传统方案的30-50%提升到更高水平

70%
待验证

Simulusion内置线性探针、DCI和MIG三种表示质量度量工具。

50%
待验证

MIG 与 CUDA 13.4 内存强制机制可以叠加使用,但定位不同:MIG 提供物理级确定性和性能隔离,内存强制在共享同一物理设备的进程之间划出显存边界。

50%
待验证

现代调度系统能在时间与空间两个维度上切分算力:空间维度上,GPU显存分区(如MIG、MPS)或多进程共享允许较小规模的实验共享同一张卡;时间维度上,调度器利用RL训练中采样与更新阶段的波峰波谷,把不同实验的任务交错编排,减少GPU空转。

50%
待验证

Modal 等平台通常结合多种手段实现 GPU 隔离:对支持的硬件启用 MIG,对不支持的在调度层做更细粒度的打包和抢占式回收。

50%
待验证

NVIDIA 的 MIG 技术通过在硬件层将 A100 等型号切分为多个独立实例,提供接近原生的隔离能力,但并非所有 GPU 型号都支持且切分粒度固定。

50%
待验证

H100支持MIG技术,可将单颗GPU最多划分为7个独立实例,每个实例拥有专属的显存、缓存和计算单元。

50%
待验证

MIG实例的计算能力有限,且部分实例规格不支持完整的NVLink带宽,因此更适合多租户或任务隔离场景,而非追求单任务极致性能。

50%
待验证

Compute Capability是NVIDIA为其GPU架构定义的版本号,以“主版本号.次版本号”表示(如Ampere为8.x、Ada Lovelace为8.9、Blackwell为12.0),直接编码在GPU硬件标识中,由驱动通过PCI配置空间和GPU寄存器读取,不依赖上层软件或平台标注,无法通过修改商品描述或虚拟化层伪造(MIG切分只影响显存与计算单元可见性,不改变架构版本号)。

50%
待验证

MIG的粒度较粗、分区方式固定,无法完全替代软件层面的时间切片调度

50%
待验证

NVIDIA的MIG仅在数据中心级卡(如A100、H100)上可用,消费级RTX卡不支持

50%
待验证

Green Contexts 与MIG、MPS目标相似(提升GPU利用率与隔离性),但定位不同:MIG是硬件物理分区隔离性最强灵活度较低,MPS面向多进程共享,Green Contexts在单进程内提供编程式控制粒度更细

50%
待验证

降低GPU空闲功耗更可靠的手段是通过nvidia-smi设置功率上限、使用MIG分区或在无请求时卸载模型,而非依赖来路不明的环境变量

50%
待验证

NVIDIA于2020年在Ampere架构中引入MIG技术,允许将一块物理GPU最多划分为7个独立实例

50%
待验证

Kubernetes原生不具备感知GPU的能力,GPU设备插件以DaemonSet形式运行在每个GPU节点上,用户可通过nvidia.com/gpu声明申请GPU;GPU不支持超卖,除非使用MIG或MPS等虚拟化技术

50%
待验证

GPU不支持超卖,一张卡要么整卡分配要么不分配,除非使用MIG或MPS等虚拟化技术

50%
待验证

MIG是NVIDIA在Ampere架构(A100,2020年)中引入的特性,提供真正硬件级隔离

50%

来源文章