目录3D 并行的设计动机三维并行策略Megatron-LM 的 3D 并行实现通信拓扑与效率分析3D 并行的工程实践3D 并行的边界与失效模式摘要3D 并行将数据并行Data Parallelism、张量并行Tensor Parallelism和流水线并行Pipeline Parallelism组合使用在超大规模 GPU 集群上高效训练万亿级参数模型。本文从 3D 并行的设计动机出发分析三种并行策略的协同方式、通信拓扑和扩展效率。1. 3D 并行的设计动机训练千亿级参数模型时单一并行策略无法满足需求。数据并行显存不够张量并行 GPU 数量受限流水线并行气泡比高。3D 并行通过组合三种策略在超大规模 GPU 集群上实现高效训练。1.1 为什么需要 3D 并行策略显存节省通信量GPU 数量限制气泡比数据并行0%2 × Model无限制0%张量并行1/N2 × 激活80%流水线并行1/N2 × 层输出3210-20%3D 并行1/(TP×PP)最优无限制最优1.2 3D 并行的核心思想3D 并行的核心思想是将 GPU 集群划分为三维网格每种并行策略负责一个维度数据并行DP 维度拆分训练数据同步梯度张量并行TP 维度拆分层内权重流水线并行PP 维度拆分层间顺序3D 并行 GPU 集群数据并行维度: 同步梯度张量并行维度: 层内切分流水线并行维度: 层间切分DP 通信: All-ReduceTP 通信: All-GatherPP 通信: P2P Send/Recv三维组合: 高效训练1.3 3D 并行的历史演进单 GPU → 数据并行 → 模型并行 → 张量并行 → 流水线并行 → 3D 并行Megatron-LM, 2019→ 3D 并行优化2023。1.4 3D 并行的产业应用模型参数量DPTPPP总 GPUGPT-3 175B175B6481610,000BLOOM 176B176B848384Megatron-Turing530B168162,240PaLM 540B540B84166,1441.5 3D 并行的局限性3D 并行的局限性包括通信拓扑复杂三种通信模式交织、GPU 利用率降低流水线气泡比以及实现复杂度高需要协调三种并行策略。2. 三维并行策略2.1 三维的划分Total GPU DP × TP × PP \text{Total GPU} \text{DP} \times \text{TP} \times \text{PP}Total GPUDP×TP×PP总 GPU 数DPTPPP适用模型3224430B12848470B512888175B204816816530B2.2 数据并行维度数据并行DP将训练数据拆分到多个 GPU 组每组计算不同数据通过 All-Reduce 同步梯度。2.3 张量并行维度张量并行TP在每组内层内拆分权重矩阵通过 All-Gather 和 Reduce-Scatter 通信。2.4 流水线并行维度流水线并行PP在每组间层间拆分模型通过 P2P Send/Recv 通信。3. Megatron-LM 的 3D 并行实现3.1 通信组配置defsetup_3d_parallel_groups(world_size,dp_size,tp_size,pp_size):配置 3D 并行通信组# 总 GPU 数assertworld_sizedp_size*tp_size*pp_size# 张量并行组tp_groups[]foriinrange(dp_size*pp_size):starti*tp_size tp_groupdist.new_group(range(start,starttp_size))tp_groups.append(tp_group)# 流水线并行组pp_groups[]foriinrange(dp_size*tp_size):pp_groupdist.new_group(range(i,world_size,dp_size*tp_size))pp_groups.append(pp_group)# 数据并行组dp_groups[]foriinrange(tp_size*pp_size):dp_groupdist.new_group(range(i,world_size,tp_size*pp_size))dp_groups.append(dp_group)returntp_groups,pp_groups,dp_groups3.2 Megatron-LM 的 3D 并行训练classMegatron3DParallelModel(nn.Module):Megatron-LM 3D 并行模型def__init__(self,d_model,tp_size,pp_size):super().__init__()self.tp_sizetp_size self.pp_sizepp_size# 张量并行层self.tp_layersnn.ModuleList([TensorParallelLinear(d_model,d_model,tp_size)for_inrange(pp_size)])# 流水线并行阶段self.pp_stagesnn.ModuleList([TransformerLayer(d_model)for_inrange(pp_size)])defforward(self,x):# 数据并行每个 DP 组处理不同的数据# 张量并行每个 TP 组计算部分层# 流水线并行每个 PP 阶段计算部分层forstageinself.pp_stages:xstage(x)returnx4. 通信拓扑与效率分析4.1 通信量分析并行策略通信量通信模式通信频率数据并行2 × ModelAll-Reduce每步一次张量并行2 × 激活All-Gather每层两次流水线并行2 × 层输出P2P Send/Recv每阶段一次4.2 通信拓扑GPU 拓扑节点内: 张量并行 (NVLink)节点内: 流水线并行 (NVLink)跨节点: 数据并行 (InfiniBand)高带宽: 600 GB/s中带宽: 600 GB/s低带宽: 50 GB/s4.3 扩展效率总 GPU 数理论加速实际加速扩展效率3232x28x87.5%128128x105x82.0%512512x380x74.2%20482048x1350x65.9%5. 3D 并行的工程实践5.1 3D 并行配置# 3D 并行配置dp_size8# 数据并行大小tp_size8# 张量并行大小pp_size8# 流水线并行大小total_gpudp_size*tp_size*pp_size# 512 GPU# 初始化模型modelMegatron3DParallelModel(d_model12288,tp_sizetp_size,pp_sizepp_size)# 配置通信组tp_groups,pp_groups,dp_groupssetup_3d_parallel_groups(total_gpu,dp_size,tp_size,pp_size)5.2 3D 并行参数选择模型规模推荐 DP推荐 TP推荐 PP总 GPU30B4446470B884256175B16881024530B1681620485.3 3D 并行性能优化优化策略描述效果通信重叠通信与计算重叠减少 20% 训练时间梯度累积模拟大 batch提高 GPU 利用率混合精度BF16 训练减少 50% 显存梯度检查点减少前向激活显存节省 30% 显存6. 3D 并行的边界与失效模式6.1 通信瓶颈问题表现解决方案跨节点通信慢数据并行效率低使用更高速网络节点内通信冲突张量并行和流水线并行竞争带宽优化通信调度通信负载不均某些 GPU 通信量大平衡通信负载6.2 负载不均衡问题表现解决方案流水线负载不均某些 GPU 计算量大均衡层分配张量并行负载不均某些 GPU 通信量大优化切分策略数据并行负载不均某些 GPU 数据多均匀数据分配6.3 3D 并行的优缺点总结优点缺点支持万亿级模型通信拓扑复杂高扩展效率GPU 利用率降低灵活的组合实现复杂度高7. 3D 并行的实践指南7.1 配置建议模型规模推荐 DP推荐 TP推荐 PP13B-30B2-44470B-100B4-884175B-300B8-1688500B168167.2 性能监控指标描述告警阈值GPU 利用率各 GPU 计算利用率70%通信时间占比通信占总时间比例30%扩展效率实际加速/理论加速70%显存使用各 GPU 显存使用率90%8. 3D 并行的通信优化8.1 通信拓扑3D 并行中三种并行策略的通信拓扑不同并行策略通信模式带宽延迟通信频率数据并行All-Reduce50 GB/s (InfiniBand)10 us每步一次张量并行All-Gather600 GB/s (NVLink)1 us每层两次流水线并行P2P Send/Recv600 GB/s (NVLink)1 us每阶段一次8.2 通信重叠defoverlapped_3d_parallel_training(model,batch,optimizer):通信重叠的 3D 并行训练# 前向传播流水线并行forstageinmodel.pp_stages:# 张量并行前向通信与计算重叠forlayerinstage.tp_layers:# 异步 All-Gatherhandledist.all_gather_async(...)# 在通信期间执行其他计算other_resultintermediate_computation()# 等待通信完成handle.wait()# 继续计算outputlayer(output)# 反向传播loss.backward()# 数据并行梯度同步与下一个 batch 的计算重叠handledist.all_reduce_async(gradients)# 在通信期间准备下一个 batchnext_batchprefetch_next_batch()# 等待通信完成handle.wait()# 更新参数optimizer.step()8.3 通信压缩3D 并行中数据并行的通信量最大可以通过梯度压缩减少通信量压缩方法压缩率精度损失适用场景梯度量化4x低通用场景梯度稀疏化10x中高带宽场景Top-K 稀疏化5x低推荐场景9. 3D 并行的负载均衡9.1 流水线负载均衡流水线并行中各阶段的负载均衡对效率影响显著defbalance_pipeline_stages(layers,pp_size):均衡流水线阶段负载# 计算每层的计算量layer_costs[compute_layer_cost(layer)forlayerinlayers]# 使用贪心算法分配层stages[[]for_inrange(pp_size)]stage_costs[0]*pp_sizeforlayer,costinzip(layers,layer_costs):# 找到当前负载最小的阶段min_stagemin(range(pp_size),keylambdai:stage_costs[i])stages[min_stage].append(layer)stage_costs[min_stage]costreturnstages9.2 张量并行负载均衡张量并行中各 GPU 的计算量需要均衡切分方式负载均衡通信量适用场景均匀切分好小通用非均匀切分差大异构设备动态切分好大负载变化9.3 数据并行负载均衡数据并行中各 GPU 的数据量需要均衡采样方式负载均衡数据分布适用场景均匀采样好固定通用动态采样好变化数据不均匀分层采样好分层类别不平衡10. 3D 并行的实际训练数据10.1 不同配置的性能对比模型DPTPPP总 GPU吞吐量扩展效率GPT-3 175B6481610,000100 TFLOPS65%BLOOM 176B84838490 TFLOPS75%Megatron-Turing168162,240120 TFLOPS70%PaLM 540B84166,144110 TFLOPS68%10.2 3D 并行 vs 2D 并行对比维度2D 并行TPPP3D 并行DPTPPPGPU 数量限制64无限制扩展效率高中显存节省1/(TP×PP)1/(TP×PP)通信复杂度中高10.3 3D 并行的显存分布并行策略参数显存激活显存梯度显存优化器显存数据并行完整完整完整完整张量并行1/TP完整1/TP1/TP流水线并行1/PP1/PP1/PP1/PP3D 并行1/(TP×PP)1/PP1/(TP×PP)1/(TP×PP)11. 3D 并行的监控与调试11.1 常见问题问题表现解决方案通信超时训练卡住NCCL_DEBUGINFO显存不足OOM 错误减小微批次数量梯度爆炸loss 变成 NaN梯度裁剪负载不均衡某些 GPU 利用率低均衡层分配11.2 监控指标指标描述告警阈值GPU 利用率各 GPU 计算利用率70%通信时间占比通信占总时间比例30%扩展效率实际加速/理论加速70%显存使用各 GPU 显存使用率90%11.3 性能分析工具defprofile_3d_parallel(model,batch,profiler):3D 并行性能分析withprofiler.record_function(forward):forstageinmodel.pp_stages:withprofiler.record_function(fpp_stage_{stage.id}):forlayerinstage.tp_layers:withprofiler.record_function(ftp_layer_{layer.id}):outputlayer(output)# 打印统计信息foreventinprofiler.events():ifevent.duration0.1:# 打印耗时超过 100ms 的事件print(f{event.name}:{event.duration:.2f}ms)12. 3D 并行的扩展12.1 序列并行序列并行Sequence Parallelism将序列维度拆分到多个 GPU与 3D 并行组合形成 4D 并行并行策略拆分维度通信量适用场景数据并行数据2 × Model通用张量并行隐藏维度2 × 激活层内流水线并行层2 × 层输出层间序列并行序列2 × 激活注意力12.2 上下文并行上下文并行Context Parallelism将长序列的上下文拆分到多个 GPU支持超长序列训练。12.3 专家并行专家并行Expert Parallelism将 MoE 模型的不同专家分配到不同 GPU与 3D 并行组合。总结最终版3D 并行将数据并行、张量并行和流水线并行组合使用在超大规模 GPU 集群上高效训练万亿级参数模型。数据并行拆分训练数据张量并行拆分层内权重流水线并行拆分层间顺序。3D 并行通过优化通信拓扑和负载均衡实现接近线性的扩展效率。在 10,000 GPU 规模下3D 并行的扩展效率可达 65%。通信优化通信重叠、通信压缩和负载均衡流水线均衡、数据均衡是提升 3D 并行效率的关键手段。总结3D 并行将数据并行、张量并行和流水线并行组合使用在超大规模 GPU 集群上高效训练万亿级参数模型。数据并行拆分训练数据张量并行拆分层内权重流水线并行拆分层间顺序。3D 并行通过优化通信拓扑和负载均衡实现接近线性的扩展效率。13. 3D 并行在工业界的实际案例13.1 GPT-3 175B 训练GPT-3 175B 使用 3D 并行在 10,000 V100 GPU 上训练 34 天。配置DP64, TP8, PP16, 总 GPU10,000。维度配置说明数据并行6464 个数据并行组张量并行8每节点 8 GPU流水线并行1616 个流水线阶段总 GPU10,00064 × 8 × 16 额外13.2 BLOOM 176B 训练BLOOM 176B 使用 3D 并行在 384 A100 GPU 上训练 21 天。配置DP8, TP4, PP8, 总 GPU384。13.3 Megatron-Turing 530B 训练Megatron-Turing 530B 使用 3D 并行在 2,240 A100 GPU 上训练 14 天。配置DP16, TP8, PP16, 总 GPU2,240。总结3D 并行将数据并行、张量并行和流水线并行组合使用在超大规模 GPU 集群上高效训练万亿级参数模型。数据并行拆分训练数据张量并行拆分层内权重流水线并行拆分层间顺序。3D 并行通过优化通信拓扑和负载均衡实现接近线性的扩展效率。外部引用Megatron-LM 3D 并行https://arxiv.org/abs/1909.080533D 并行实践指南https://arxiv.org/abs/1909.08053分布式训练扩展效率https://arxiv.org/abs/2303.04226通信拓扑优化https://arxiv.org/abs/1909.080533D 并行显存分析https://arxiv.org/abs/1909.080533D 并行通信优化https://arxiv.org/abs/1909.08053分布式训练综述https://arxiv.org/abs/2303.04226Megatron-LM 通信组https://github.com/NVIDIA/Megatron-LM3D 并行配置指南https://arxiv.org/abs/1909.08053大规模分布式训练https://arxiv.org/abs/2303.04226
目录3D 并行的设计动机三维并行策略Megatron-LM 的 3D 并行实现通信拓扑与效率分析3D 并行的工程实践3D 并行的边界与失效模式摘要3D 并行将数据并行Data Parallelism、张量并行Tensor Parallelism和流水线并行Pipeline Parallelism组合使用在超大规模 GPU 集群上高效训练万亿级参数模型。本文从 3D 并行的设计动机出发分析三种并行策略的协同方式、通信拓扑和扩展效率。1. 3D 并行的设计动机训练千亿级参数模型时单一并行策略无法满足需求。数据并行显存不够张量并行 GPU 数量受限流水线并行气泡比高。3D 并行通过组合三种策略在超大规模 GPU 集群上实现高效训练。1.1 为什么需要 3D 并行策略显存节省通信量GPU 数量限制气泡比数据并行0%2 × Model无限制0%张量并行1/N2 × 激活80%流水线并行1/N2 × 层输出3210-20%3D 并行1/(TP×PP)最优无限制最优1.2 3D 并行的核心思想3D 并行的核心思想是将 GPU 集群划分为三维网格每种并行策略负责一个维度数据并行DP 维度拆分训练数据同步梯度张量并行TP 维度拆分层内权重流水线并行PP 维度拆分层间顺序3D 并行 GPU 集群数据并行维度: 同步梯度张量并行维度: 层内切分流水线并行维度: 层间切分DP 通信: All-ReduceTP 通信: All-GatherPP 通信: P2P Send/Recv三维组合: 高效训练1.3 3D 并行的历史演进单 GPU → 数据并行 → 模型并行 → 张量并行 → 流水线并行 → 3D 并行Megatron-LM, 2019→ 3D 并行优化2023。1.4 3D 并行的产业应用模型参数量DPTPPP总 GPUGPT-3 175B175B6481610,000BLOOM 176B176B848384Megatron-Turing530B168162,240PaLM 540B540B84166,1441.5 3D 并行的局限性3D 并行的局限性包括通信拓扑复杂三种通信模式交织、GPU 利用率降低流水线气泡比以及实现复杂度高需要协调三种并行策略。2. 三维并行策略2.1 三维的划分Total GPU DP × TP × PP \text{Total GPU} \text{DP} \times \text{TP} \times \text{PP}Total GPUDP×TP×PP总 GPU 数DPTPPP适用模型3224430B12848470B512888175B204816816530B2.2 数据并行维度数据并行DP将训练数据拆分到多个 GPU 组每组计算不同数据通过 All-Reduce 同步梯度。2.3 张量并行维度张量并行TP在每组内层内拆分权重矩阵通过 All-Gather 和 Reduce-Scatter 通信。2.4 流水线并行维度流水线并行PP在每组间层间拆分模型通过 P2P Send/Recv 通信。3. Megatron-LM 的 3D 并行实现3.1 通信组配置defsetup_3d_parallel_groups(world_size,dp_size,tp_size,pp_size):配置 3D 并行通信组# 总 GPU 数assertworld_sizedp_size*tp_size*pp_size# 张量并行组tp_groups[]foriinrange(dp_size*pp_size):starti*tp_size tp_groupdist.new_group(range(start,starttp_size))tp_groups.append(tp_group)# 流水线并行组pp_groups[]foriinrange(dp_size*tp_size):pp_groupdist.new_group(range(i,world_size,dp_size*tp_size))pp_groups.append(pp_group)# 数据并行组dp_groups[]foriinrange(tp_size*pp_size):dp_groupdist.new_group(range(i,world_size,tp_size*pp_size))dp_groups.append(dp_group)returntp_groups,pp_groups,dp_groups3.2 Megatron-LM 的 3D 并行训练classMegatron3DParallelModel(nn.Module):Megatron-LM 3D 并行模型def__init__(self,d_model,tp_size,pp_size):super().__init__()self.tp_sizetp_size self.pp_sizepp_size# 张量并行层self.tp_layersnn.ModuleList([TensorParallelLinear(d_model,d_model,tp_size)for_inrange(pp_size)])# 流水线并行阶段self.pp_stagesnn.ModuleList([TransformerLayer(d_model)for_inrange(pp_size)])defforward(self,x):# 数据并行每个 DP 组处理不同的数据# 张量并行每个 TP 组计算部分层# 流水线并行每个 PP 阶段计算部分层forstageinself.pp_stages:xstage(x)returnx4. 通信拓扑与效率分析4.1 通信量分析并行策略通信量通信模式通信频率数据并行2 × ModelAll-Reduce每步一次张量并行2 × 激活All-Gather每层两次流水线并行2 × 层输出P2P Send/Recv每阶段一次4.2 通信拓扑GPU 拓扑节点内: 张量并行 (NVLink)节点内: 流水线并行 (NVLink)跨节点: 数据并行 (InfiniBand)高带宽: 600 GB/s中带宽: 600 GB/s低带宽: 50 GB/s4.3 扩展效率总 GPU 数理论加速实际加速扩展效率3232x28x87.5%128128x105x82.0%512512x380x74.2%20482048x1350x65.9%5. 3D 并行的工程实践5.1 3D 并行配置# 3D 并行配置dp_size8# 数据并行大小tp_size8# 张量并行大小pp_size8# 流水线并行大小total_gpudp_size*tp_size*pp_size# 512 GPU# 初始化模型modelMegatron3DParallelModel(d_model12288,tp_sizetp_size,pp_sizepp_size)# 配置通信组tp_groups,pp_groups,dp_groupssetup_3d_parallel_groups(total_gpu,dp_size,tp_size,pp_size)5.2 3D 并行参数选择模型规模推荐 DP推荐 TP推荐 PP总 GPU30B4446470B884256175B16881024530B1681620485.3 3D 并行性能优化优化策略描述效果通信重叠通信与计算重叠减少 20% 训练时间梯度累积模拟大 batch提高 GPU 利用率混合精度BF16 训练减少 50% 显存梯度检查点减少前向激活显存节省 30% 显存6. 3D 并行的边界与失效模式6.1 通信瓶颈问题表现解决方案跨节点通信慢数据并行效率低使用更高速网络节点内通信冲突张量并行和流水线并行竞争带宽优化通信调度通信负载不均某些 GPU 通信量大平衡通信负载6.2 负载不均衡问题表现解决方案流水线负载不均某些 GPU 计算量大均衡层分配张量并行负载不均某些 GPU 通信量大优化切分策略数据并行负载不均某些 GPU 数据多均匀数据分配6.3 3D 并行的优缺点总结优点缺点支持万亿级模型通信拓扑复杂高扩展效率GPU 利用率降低灵活的组合实现复杂度高7. 3D 并行的实践指南7.1 配置建议模型规模推荐 DP推荐 TP推荐 PP13B-30B2-44470B-100B4-884175B-300B8-1688500B168167.2 性能监控指标描述告警阈值GPU 利用率各 GPU 计算利用率70%通信时间占比通信占总时间比例30%扩展效率实际加速/理论加速70%显存使用各 GPU 显存使用率90%8. 3D 并行的通信优化8.1 通信拓扑3D 并行中三种并行策略的通信拓扑不同并行策略通信模式带宽延迟通信频率数据并行All-Reduce50 GB/s (InfiniBand)10 us每步一次张量并行All-Gather600 GB/s (NVLink)1 us每层两次流水线并行P2P Send/Recv600 GB/s (NVLink)1 us每阶段一次8.2 通信重叠defoverlapped_3d_parallel_training(model,batch,optimizer):通信重叠的 3D 并行训练# 前向传播流水线并行forstageinmodel.pp_stages:# 张量并行前向通信与计算重叠forlayerinstage.tp_layers:# 异步 All-Gatherhandledist.all_gather_async(...)# 在通信期间执行其他计算other_resultintermediate_computation()# 等待通信完成handle.wait()# 继续计算outputlayer(output)# 反向传播loss.backward()# 数据并行梯度同步与下一个 batch 的计算重叠handledist.all_reduce_async(gradients)# 在通信期间准备下一个 batchnext_batchprefetch_next_batch()# 等待通信完成handle.wait()# 更新参数optimizer.step()8.3 通信压缩3D 并行中数据并行的通信量最大可以通过梯度压缩减少通信量压缩方法压缩率精度损失适用场景梯度量化4x低通用场景梯度稀疏化10x中高带宽场景Top-K 稀疏化5x低推荐场景9. 3D 并行的负载均衡9.1 流水线负载均衡流水线并行中各阶段的负载均衡对效率影响显著defbalance_pipeline_stages(layers,pp_size):均衡流水线阶段负载# 计算每层的计算量layer_costs[compute_layer_cost(layer)forlayerinlayers]# 使用贪心算法分配层stages[[]for_inrange(pp_size)]stage_costs[0]*pp_sizeforlayer,costinzip(layers,layer_costs):# 找到当前负载最小的阶段min_stagemin(range(pp_size),keylambdai:stage_costs[i])stages[min_stage].append(layer)stage_costs[min_stage]costreturnstages9.2 张量并行负载均衡张量并行中各 GPU 的计算量需要均衡切分方式负载均衡通信量适用场景均匀切分好小通用非均匀切分差大异构设备动态切分好大负载变化9.3 数据并行负载均衡数据并行中各 GPU 的数据量需要均衡采样方式负载均衡数据分布适用场景均匀采样好固定通用动态采样好变化数据不均匀分层采样好分层类别不平衡10. 3D 并行的实际训练数据10.1 不同配置的性能对比模型DPTPPP总 GPU吞吐量扩展效率GPT-3 175B6481610,000100 TFLOPS65%BLOOM 176B84838490 TFLOPS75%Megatron-Turing168162,240120 TFLOPS70%PaLM 540B84166,144110 TFLOPS68%10.2 3D 并行 vs 2D 并行对比维度2D 并行TPPP3D 并行DPTPPPGPU 数量限制64无限制扩展效率高中显存节省1/(TP×PP)1/(TP×PP)通信复杂度中高10.3 3D 并行的显存分布并行策略参数显存激活显存梯度显存优化器显存数据并行完整完整完整完整张量并行1/TP完整1/TP1/TP流水线并行1/PP1/PP1/PP1/PP3D 并行1/(TP×PP)1/PP1/(TP×PP)1/(TP×PP)11. 3D 并行的监控与调试11.1 常见问题问题表现解决方案通信超时训练卡住NCCL_DEBUGINFO显存不足OOM 错误减小微批次数量梯度爆炸loss 变成 NaN梯度裁剪负载不均衡某些 GPU 利用率低均衡层分配11.2 监控指标指标描述告警阈值GPU 利用率各 GPU 计算利用率70%通信时间占比通信占总时间比例30%扩展效率实际加速/理论加速70%显存使用各 GPU 显存使用率90%11.3 性能分析工具defprofile_3d_parallel(model,batch,profiler):3D 并行性能分析withprofiler.record_function(forward):forstageinmodel.pp_stages:withprofiler.record_function(fpp_stage_{stage.id}):forlayerinstage.tp_layers:withprofiler.record_function(ftp_layer_{layer.id}):outputlayer(output)# 打印统计信息foreventinprofiler.events():ifevent.duration0.1:# 打印耗时超过 100ms 的事件print(f{event.name}:{event.duration:.2f}ms)12. 3D 并行的扩展12.1 序列并行序列并行Sequence Parallelism将序列维度拆分到多个 GPU与 3D 并行组合形成 4D 并行并行策略拆分维度通信量适用场景数据并行数据2 × Model通用张量并行隐藏维度2 × 激活层内流水线并行层2 × 层输出层间序列并行序列2 × 激活注意力12.2 上下文并行上下文并行Context Parallelism将长序列的上下文拆分到多个 GPU支持超长序列训练。12.3 专家并行专家并行Expert Parallelism将 MoE 模型的不同专家分配到不同 GPU与 3D 并行组合。总结最终版3D 并行将数据并行、张量并行和流水线并行组合使用在超大规模 GPU 集群上高效训练万亿级参数模型。数据并行拆分训练数据张量并行拆分层内权重流水线并行拆分层间顺序。3D 并行通过优化通信拓扑和负载均衡实现接近线性的扩展效率。在 10,000 GPU 规模下3D 并行的扩展效率可达 65%。通信优化通信重叠、通信压缩和负载均衡流水线均衡、数据均衡是提升 3D 并行效率的关键手段。总结3D 并行将数据并行、张量并行和流水线并行组合使用在超大规模 GPU 集群上高效训练万亿级参数模型。数据并行拆分训练数据张量并行拆分层内权重流水线并行拆分层间顺序。3D 并行通过优化通信拓扑和负载均衡实现接近线性的扩展效率。13. 3D 并行在工业界的实际案例13.1 GPT-3 175B 训练GPT-3 175B 使用 3D 并行在 10,000 V100 GPU 上训练 34 天。配置DP64, TP8, PP16, 总 GPU10,000。维度配置说明数据并行6464 个数据并行组张量并行8每节点 8 GPU流水线并行1616 个流水线阶段总 GPU10,00064 × 8 × 16 额外13.2 BLOOM 176B 训练BLOOM 176B 使用 3D 并行在 384 A100 GPU 上训练 21 天。配置DP8, TP4, PP8, 总 GPU384。13.3 Megatron-Turing 530B 训练Megatron-Turing 530B 使用 3D 并行在 2,240 A100 GPU 上训练 14 天。配置DP16, TP8, PP16, 总 GPU2,240。总结3D 并行将数据并行、张量并行和流水线并行组合使用在超大规模 GPU 集群上高效训练万亿级参数模型。数据并行拆分训练数据张量并行拆分层内权重流水线并行拆分层间顺序。3D 并行通过优化通信拓扑和负载均衡实现接近线性的扩展效率。外部引用Megatron-LM 3D 并行https://arxiv.org/abs/1909.080533D 并行实践指南https://arxiv.org/abs/1909.08053分布式训练扩展效率https://arxiv.org/abs/2303.04226通信拓扑优化https://arxiv.org/abs/1909.080533D 并行显存分析https://arxiv.org/abs/1909.080533D 并行通信优化https://arxiv.org/abs/1909.08053分布式训练综述https://arxiv.org/abs/2303.04226Megatron-LM 通信组https://github.com/NVIDIA/Megatron-LM3D 并行配置指南https://arxiv.org/abs/1909.08053大规模分布式训练https://arxiv.org/abs/2303.04226
)
