概念Model Parallelism
模型并行
分布式训练中的一种并行策略，将模型的不同部分拆分到多个设备上，用于单卡显存放不下的大模型
核心事实
时间轴 (近 90 天)
9月29日
内存受限通常指显存容量不足，需要通过卸载（offloading）或模型并行来应对
待验证50%
9月11日
数据并行将同一模型复制到多个设备，各自处理不同批次数据后同步梯度；模型并行将模型的不同层或模块分配到不同设备
已验证75%
分布式训练中的一种并行策略，将模型的不同部分拆分到多个设备上，用于单卡显存放不下的大模型
内存受限通常指显存容量不足，需要通过卸载（offloading）或模型并行来应对
数据并行将同一模型复制到多个设备，各自处理不同批次数据后同步梯度；模型并行将模型的不同层或模块分配到不同设备