DeepSpeed 的ZeRO和Offload是两项核心优化技术通过不同策略来解决大模型训练时的显存瓶颈。你可以把 ZeRO 看作一种“分布式切分”策略而 Offload 则是一种“临时外借”策略。 ZeRO模型状态的分区ZeRO 的核心思想是将原本在每个 GPU 上都保留一份的模型状态优化器状态、梯度、参数进行切分分布在多个 GPU 上。ZeRO 阶段 1仅分区优化器状态节省约 1/4 显存。ZeRO 阶段 2分区优化器状态和梯度节省约 1/2 显存。ZeRO 阶段 3分区优化器状态、梯度和模型参数显存节省最多但会引入最多的通信开销。它的本质是以通信换显存让多卡集群能训练更大的模型。 Offload显存压力的转移Offload 技术则是将暂不使用的模型状态卸载Offload到 CPU 内存甚至 NVMe 硬盘上。CPU Offload在 ZeRO 阶段 2 或 3 的基础上将分区后的优化器状态和梯度进一步卸载到 CPU 内存GPU 只保留当前的模型参数和激活值进行计算。NVMe Offload当系统内存也不足时可以将最冷的数据卸载到硬盘但速度最慢。它的本质是以带宽或 I/O换显存让单卡能容纳超大规模模型。 两者的配合使用在实际应用中ZeRO 和 Offload 通常是组合使用的。例如ZeRO-3 CPU Offload是一个非常经典的配置它既能利用多卡并行降低显存压力又能将部分数据转移到 CPU使得在显存较小的 GPU 上训练百亿级模型成为可能。配置时在 DeepSpeed 配置文件的zero_optimization中设置stage和cpu_offload参数即可。选择哪个阶段和是否开启 Offload本质上是显存、通信速度和计算效率三者之间的权衡。
DeepSpeed 的ZeRO和Offload是两项核心优化技术通过不同策略来解决大模型训练时的显存瓶颈。你可以把 ZeRO 看作一种“分布式切分”策略而 Offload 则是一种“临时外借”策略。 ZeRO模型状态的分区ZeRO 的核心思想是将原本在每个 GPU 上都保留一份的模型状态优化器状态、梯度、参数进行切分分布在多个 GPU 上。ZeRO 阶段 1仅分区优化器状态节省约 1/4 显存。ZeRO 阶段 2分区优化器状态和梯度节省约 1/2 显存。ZeRO 阶段 3分区优化器状态、梯度和模型参数显存节省最多但会引入最多的通信开销。它的本质是以通信换显存让多卡集群能训练更大的模型。 Offload显存压力的转移Offload 技术则是将暂不使用的模型状态卸载Offload到 CPU 内存甚至 NVMe 硬盘上。CPU Offload在 ZeRO 阶段 2 或 3 的基础上将分区后的优化器状态和梯度进一步卸载到 CPU 内存GPU 只保留当前的模型参数和激活值进行计算。NVMe Offload当系统内存也不足时可以将最冷的数据卸载到硬盘但速度最慢。它的本质是以带宽或 I/O换显存让单卡能容纳超大规模模型。 两者的配合使用在实际应用中ZeRO 和 Offload 通常是组合使用的。例如ZeRO-3 CPU Offload是一个非常经典的配置它既能利用多卡并行降低显存压力又能将部分数据转移到 CPU使得在显存较小的 GPU 上训练百亿级模型成为可能。配置时在 DeepSpeed 配置文件的zero_optimization中设置stage和cpu_offload参数即可。选择哪个阶段和是否开启 Offload本质上是显存、通信速度和计算效率三者之间的权衡。
