尧图网站建设 
LLaMA-Factory MoE模型微调实战3 步跑通 30B-A3B不再爆显存【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory做 LLaMA-Factory MoE 训练最先撞上的坑有两个训练一启动就 CUDA out of memory或者跑几百步后 loss 突然飙高。这两个问题的本质都不是显存预算不够——MoE 训练比稠密模型多出两件必须做的事切分专家权重、约束路由器。本文把从 clone 仓库到出 loss 曲线的完整流程走一遍参数名全部可以直接粘贴不讲空洞原理。这篇文章适合谁你准备对 Mixtral、Qwen3-30B-A3B、GLM-4-MoE 这类主流 MoE 做 SFT 或 LoRA硬件是多卡 GPU 或昇腾 NPU看这篇。你微调的是稠密模型或者要从头预训练 200B 级 MoE这篇不覆盖。环境已经搭好、卡在配置调不通直接跳到「配置详解」和「排错速查」两节。 先跑起来3 条命令启动 LLaMA-Factory MoE 训练先出结果后讲原理。装环境、验证、切 MoE 配置三步走完。1. 克隆并安装git clone --depth 1 https://gitcode.com/GitHub_Trending/ll/LLaMA-Factory cd LLaMA-Factory pip install -e .Python 要求 ≥ 3.11见pyproject.toml的 requires-python。CUDA 机器先装对应版本的 torchNPU 机器额外执行pip install -r requirements/npu.txt。装完运行llamafactory-cli help能列出 train / chat / export 三条子命令说明环境注册正常——这一步不碰 GPU专门用来提前暴露安装问题。2. 先用稠密小模型验证环境单张 24GB 卡装不下 Qwen3-30B-A3B 的全部 30B 参数所以第一枪别开在 MoE 上。用仓库内置的稠密演示配置快速跑通llamafactory-cli train examples/train_lora/qwen3_lora_sft.yamlloss 曲线正常下降该配置开启plot_loss: true曲线图会存进 output_dir就说明数据管线、tokenizer、LoRA 注入这条链路都通了。演示数据集identity和alpaca_en_demo在data/dataset_info.json里已默认注册不用自己准备任何数据。3. 换成 MoE 配置一条命令开训把第三节给出的配置保存为examples/train_lora/qwen3_moe_lora_sft.yaml然后 8 卡这样启动llamafactory-cli train examples/train_lora/qwen3_moe_lora_sft.yaml \ --deepspeed examples/deepspeed/ds_z3_config.json--deepspeed挂上 ZeRO-3 是关键动作MoE 的显存大头在专家权重上不切分的话单卡根本放不下。 理解背后的为什么显存省在「激活少」不省在「参数少」MoE 把每层 FFN 拆成 N 个专家路由器router让每个 token 只挑 top-k 个专家计算。Qwen3-30B-A3B 有 128 个专家、top-8每 token 实际激活约 3.3BMixtral 8x7B 是 8 选 2激活约 12.9B。但训练和推理的账不一样所有专家权重都得在显存里没被选中的专家也要走反向传播否则参数被遗忘、路由逐渐塌缩到少数几个专家。所以 MoE 微调要解决两件事用切分策略ZeRO-3 / FSDP2 / 专家并行把专家权重摊到多卡再用辅助损失压住路由器的负载失衡。形态总参数每 token 激活决定显存决定计算量稠密 7B7B7B7B7BMixtral 8x7B46.7B~12.9B8 选 246.7B~12.9BQwen3-30B-A3B30.7B~3.3B128 选 830.7B~3.3B一句话总结显存和 checkpoint 体积按 30B 算前反向速度按 3B 算。这就是 MoE「显存效率」的全部真相也解释了为什么 LoRA 调参思路可以沿用但分布式策略必须换。⚙️ 配置详解6 个参数决定 MoE 训练稳不稳以 Qwen3-30B-A3B 的 8 卡 LoRA SFT 为例核心参数与调优方向如下参数控制什么建议值调偏了怎么改moe_aux_loss_coef专家负载均衡辅助损失的权重LLaMA-Factory 自动写进模型路由配置0.005–0.01loss 抖动、个别专家霸占提到 0.01曲线毛刺太大降到 0.001finetuning_typelora_target哪些权重矩阵可训练lora_target: all只调 q/v 投影会让专家权重完全冻结领域适配有限——改成 alllora_rank低秩适配器秩8–16欠拟合升到 32显存紧张降到 8learning_rate步长1.0e-4loss 尖峰降到 5e-5 并配warmup_ratio: 0.1per_device_train_batch_size/gradient_accumulation_steps单卡批次与等效批次1 / 8OOMbatch 保持 1、accum 加大吞吐低先加 batch 再减 accumcutoff_len最大序列长度2048长文本被截断提到 4096显存近似线性增长分布式策略--deepspeed或 accelerate 配置专家权重怎么在多卡间切分CUDA 用 ds_z3NPU 用 FSDP2加载卡死换 FSDP2并核对num_processes等于卡数可直接使用的配置片段15 行以内model_name_or_path: Qwen/Qwen3-30B-A3B-Instruct-2507 moe_aux_loss_coef: 0.01 stage: sft do_train: true finetuning_type: lora lora_rank: 16 lora_target: all dataset: identity, alpaca_en_demo template: qwen3_nothink cutoff_len: 2048 per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 bf16: true两个容易踩的点。第一moe_aux_loss_coef只对可训练模型生效configure_moe()在推理或冻结场景会直接跳过别拿它排查推理问题。第二它写入的字段名各厂商不同——Qwen、Mixtral 系写router_aux_loss_coefDeepSeek 系写aux_loss_alpha这块在 src/llamafactory/model/model_utils/moe.py 里按 model_type 自动分发你只管填一个值。走 Megatron 全参路线时另加moe_grouped_gemm: true与moe_token_dispatcher_type: alltoall完整参照 examples/megatron/qwen3_moe_full.yaml。 按场景选方案4 种硬件组合 4 条路按你的目标对号入座每行都给出配置入口你的目标推荐方案配置位置8×A800/H100 做 MoE LoRA SFTQwen3-30B-A3B / MixtralDeepSpeed ZeRO-3MoE 块自动注册为 leaf 模块examples/deepspeed/ds_z3_config.json昇腾 NPU 多卡 LoRAaccelerate launch FSDP2examples/ascend/qwen3_5moe_lora_sft_fsdp2.yaml235B 级 MoE、显存受限的单机 LoRAktransformers CPU offload专家权重存 int8/int4examples/ktransformers/train_lora/qwen3moe_lora_sft_kt.yaml8×78GB 全参微调Megatron专家并行 EP2 流水线 4 分组 GEMMexamples/megatron/qwen3_moe_full.yamlNPU 场景命令形态固定直接照抄accelerate launch --config_file examples/accelerate/fsdp2_config_qwen35_moe.yaml \ src/train.py examples/ascend/qwen3_5moe_lora_sft_fsdp2.yamlexamples/accelerate/fsdp2_config_qwen35_moe.yaml里fsdp_transformer_layer_cls_to_wrap已按Qwen3_5MoeDecoderLayer配好改卡数只需同步num_processes。ktransformers 那条路适合显存最紧张的场合示例对 Qwen3-235B-A22B 开启use_kt: true不活跃的专家 offload 到 CPU再配examples/ktransformers/accelerate/fsdp2_kt_int8.yaml这类量化权重配置。注意 Megatron 全参示例里learning_rate是 3e-6比 LoRA 的 1e-4 低 30 倍以上照抄配置时别把学习率也抄串。 排错速查MoE 训练跑飞时先查这张表先看 loss 曲线再对表plot_loss: true打开后曲线图在 output_dir 里专家负载失衡的典型表现是 loss 高频抖动或长期偏高。症状常见原因一行修复启动即 OOMZeRO 等级不够30B 专家权重没切分命令追加--deepspeed examples/deepspeed/ds_z3_config.json跑几百步后 OOM长序列激活累积、batch 过大cutoff_len降到 2048batch 设 1、gradient_accumulation_steps: 8补量loss 抖动、个别专家激活量长期霸榜路由辅助损失未开或系数过小配置里写moe_aux_loss_coef: 0.01重跑ZeRO-3 训练明显慢于同规模稠密模型专家块被逐个子模块切分通信开销大确认版本含add_z3_leaf_module整个专家模块整体跳过分片升级到最新代码Megatron 全参训练吞吐低专家 GEMM 未分组、token 分发低效开moe_grouped_gemm: true且moe_token_dispatcher_type: alltoallFSDP2 启动卡死num_processes与卡数不符改examples/accelerate/fsdp2_config_qwen35_moe.yaml里的num_processes为实际卡数✅ 开训前速查清单确认模型 model_type 在moe.py支持列表内mixtral、qwen2_moe、qwen3_moe、llama4、olmoe 等不在列表的要手动确认路由字段写入moe_aux_loss_coef落在 0.005–0.01 区间且训练模式才生效LoRA 用lora_target: all让专家权重参与训练多卡CUDA 挂 ds_z3NPU 用 FSDP2 配置num_processes等于卡数先跑max_steps: 50验证 loss 下降再放长训练核心资源路径src/llamafactory/model/model_utils/moe.pyMoE 路由配置与 ZeRO-3 leaf 模块注册examples/deepspeed/ds_z3_config.jsonZeRO-3 分布式配置examples/accelerate/fsdp2_config_qwen35_moe.yamlFSDP2 MoE 分布式配置examples/megatron/qwen3_moe_full.yamlMoE 全参微调参照配置【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LLaMA-Factory MoE模型微调实战：3 步跑通 30B-A3B，不再爆显存
LLaMA-Factory MoE模型微调实战3 步跑通 30B-A3B不再爆显存【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory做 LLaMA-Factory MoE 训练最先撞上的坑有两个训练一启动就 CUDA out of memory或者跑几百步后 loss 突然飙高。这两个问题的本质都不是显存预算不够——MoE 训练比稠密模型多出两件必须做的事切分专家权重、约束路由器。本文把从 clone 仓库到出 loss 曲线的完整流程走一遍参数名全部可以直接粘贴不讲空洞原理。这篇文章适合谁你准备对 Mixtral、Qwen3-30B-A3B、GLM-4-MoE 这类主流 MoE 做 SFT 或 LoRA硬件是多卡 GPU 或昇腾 NPU看这篇。你微调的是稠密模型或者要从头预训练 200B 级 MoE这篇不覆盖。环境已经搭好、卡在配置调不通直接跳到「配置详解」和「排错速查」两节。 先跑起来3 条命令启动 LLaMA-Factory MoE 训练先出结果后讲原理。装环境、验证、切 MoE 配置三步走完。1. 克隆并安装git clone --depth 1 https://gitcode.com/GitHub_Trending/ll/LLaMA-Factory cd LLaMA-Factory pip install -e .Python 要求 ≥ 3.11见pyproject.toml的 requires-python。CUDA 机器先装对应版本的 torchNPU 机器额外执行pip install -r requirements/npu.txt。装完运行llamafactory-cli help能列出 train / chat / export 三条子命令说明环境注册正常——这一步不碰 GPU专门用来提前暴露安装问题。2. 先用稠密小模型验证环境单张 24GB 卡装不下 Qwen3-30B-A3B 的全部 30B 参数所以第一枪别开在 MoE 上。用仓库内置的稠密演示配置快速跑通llamafactory-cli train examples/train_lora/qwen3_lora_sft.yamlloss 曲线正常下降该配置开启plot_loss: true曲线图会存进 output_dir就说明数据管线、tokenizer、LoRA 注入这条链路都通了。演示数据集identity和alpaca_en_demo在data/dataset_info.json里已默认注册不用自己准备任何数据。3. 换成 MoE 配置一条命令开训把第三节给出的配置保存为examples/train_lora/qwen3_moe_lora_sft.yaml然后 8 卡这样启动llamafactory-cli train examples/train_lora/qwen3_moe_lora_sft.yaml \ --deepspeed examples/deepspeed/ds_z3_config.json--deepspeed挂上 ZeRO-3 是关键动作MoE 的显存大头在专家权重上不切分的话单卡根本放不下。 理解背后的为什么显存省在「激活少」不省在「参数少」MoE 把每层 FFN 拆成 N 个专家路由器router让每个 token 只挑 top-k 个专家计算。Qwen3-30B-A3B 有 128 个专家、top-8每 token 实际激活约 3.3BMixtral 8x7B 是 8 选 2激活约 12.9B。但训练和推理的账不一样所有专家权重都得在显存里没被选中的专家也要走反向传播否则参数被遗忘、路由逐渐塌缩到少数几个专家。所以 MoE 微调要解决两件事用切分策略ZeRO-3 / FSDP2 / 专家并行把专家权重摊到多卡再用辅助损失压住路由器的负载失衡。形态总参数每 token 激活决定显存决定计算量稠密 7B7B7B7B7BMixtral 8x7B46.7B~12.9B8 选 246.7B~12.9BQwen3-30B-A3B30.7B~3.3B128 选 830.7B~3.3B一句话总结显存和 checkpoint 体积按 30B 算前反向速度按 3B 算。这就是 MoE「显存效率」的全部真相也解释了为什么 LoRA 调参思路可以沿用但分布式策略必须换。⚙️ 配置详解6 个参数决定 MoE 训练稳不稳以 Qwen3-30B-A3B 的 8 卡 LoRA SFT 为例核心参数与调优方向如下参数控制什么建议值调偏了怎么改moe_aux_loss_coef专家负载均衡辅助损失的权重LLaMA-Factory 自动写进模型路由配置0.005–0.01loss 抖动、个别专家霸占提到 0.01曲线毛刺太大降到 0.001finetuning_typelora_target哪些权重矩阵可训练lora_target: all只调 q/v 投影会让专家权重完全冻结领域适配有限——改成 alllora_rank低秩适配器秩8–16欠拟合升到 32显存紧张降到 8learning_rate步长1.0e-4loss 尖峰降到 5e-5 并配warmup_ratio: 0.1per_device_train_batch_size/gradient_accumulation_steps单卡批次与等效批次1 / 8OOMbatch 保持 1、accum 加大吞吐低先加 batch 再减 accumcutoff_len最大序列长度2048长文本被截断提到 4096显存近似线性增长分布式策略--deepspeed或 accelerate 配置专家权重怎么在多卡间切分CUDA 用 ds_z3NPU 用 FSDP2加载卡死换 FSDP2并核对num_processes等于卡数可直接使用的配置片段15 行以内model_name_or_path: Qwen/Qwen3-30B-A3B-Instruct-2507 moe_aux_loss_coef: 0.01 stage: sft do_train: true finetuning_type: lora lora_rank: 16 lora_target: all dataset: identity, alpaca_en_demo template: qwen3_nothink cutoff_len: 2048 per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 bf16: true两个容易踩的点。第一moe_aux_loss_coef只对可训练模型生效configure_moe()在推理或冻结场景会直接跳过别拿它排查推理问题。第二它写入的字段名各厂商不同——Qwen、Mixtral 系写router_aux_loss_coefDeepSeek 系写aux_loss_alpha这块在 src/llamafactory/model/model_utils/moe.py 里按 model_type 自动分发你只管填一个值。走 Megatron 全参路线时另加moe_grouped_gemm: true与moe_token_dispatcher_type: alltoall完整参照 examples/megatron/qwen3_moe_full.yaml。 按场景选方案4 种硬件组合 4 条路按你的目标对号入座每行都给出配置入口你的目标推荐方案配置位置8×A800/H100 做 MoE LoRA SFTQwen3-30B-A3B / MixtralDeepSpeed ZeRO-3MoE 块自动注册为 leaf 模块examples/deepspeed/ds_z3_config.json昇腾 NPU 多卡 LoRAaccelerate launch FSDP2examples/ascend/qwen3_5moe_lora_sft_fsdp2.yaml235B 级 MoE、显存受限的单机 LoRAktransformers CPU offload专家权重存 int8/int4examples/ktransformers/train_lora/qwen3moe_lora_sft_kt.yaml8×78GB 全参微调Megatron专家并行 EP2 流水线 4 分组 GEMMexamples/megatron/qwen3_moe_full.yamlNPU 场景命令形态固定直接照抄accelerate launch --config_file examples/accelerate/fsdp2_config_qwen35_moe.yaml \ src/train.py examples/ascend/qwen3_5moe_lora_sft_fsdp2.yamlexamples/accelerate/fsdp2_config_qwen35_moe.yaml里fsdp_transformer_layer_cls_to_wrap已按Qwen3_5MoeDecoderLayer配好改卡数只需同步num_processes。ktransformers 那条路适合显存最紧张的场合示例对 Qwen3-235B-A22B 开启use_kt: true不活跃的专家 offload 到 CPU再配examples/ktransformers/accelerate/fsdp2_kt_int8.yaml这类量化权重配置。注意 Megatron 全参示例里learning_rate是 3e-6比 LoRA 的 1e-4 低 30 倍以上照抄配置时别把学习率也抄串。 排错速查MoE 训练跑飞时先查这张表先看 loss 曲线再对表plot_loss: true打开后曲线图在 output_dir 里专家负载失衡的典型表现是 loss 高频抖动或长期偏高。症状常见原因一行修复启动即 OOMZeRO 等级不够30B 专家权重没切分命令追加--deepspeed examples/deepspeed/ds_z3_config.json跑几百步后 OOM长序列激活累积、batch 过大cutoff_len降到 2048batch 设 1、gradient_accumulation_steps: 8补量loss 抖动、个别专家激活量长期霸榜路由辅助损失未开或系数过小配置里写moe_aux_loss_coef: 0.01重跑ZeRO-3 训练明显慢于同规模稠密模型专家块被逐个子模块切分通信开销大确认版本含add_z3_leaf_module整个专家模块整体跳过分片升级到最新代码Megatron 全参训练吞吐低专家 GEMM 未分组、token 分发低效开moe_grouped_gemm: true且moe_token_dispatcher_type: alltoallFSDP2 启动卡死num_processes与卡数不符改examples/accelerate/fsdp2_config_qwen35_moe.yaml里的num_processes为实际卡数✅ 开训前速查清单确认模型 model_type 在moe.py支持列表内mixtral、qwen2_moe、qwen3_moe、llama4、olmoe 等不在列表的要手动确认路由字段写入moe_aux_loss_coef落在 0.005–0.01 区间且训练模式才生效LoRA 用lora_target: all让专家权重参与训练多卡CUDA 挂 ds_z3NPU 用 FSDP2 配置num_processes等于卡数先跑max_steps: 50验证 loss 下降再放长训练核心资源路径src/llamafactory/model/model_utils/moe.pyMoE 路由配置与 ZeRO-3 leaf 模块注册examples/deepspeed/ds_z3_config.jsonZeRO-3 分布式配置examples/accelerate/fsdp2_config_qwen35_moe.yamlFSDP2 MoE 分布式配置examples/megatron/qwen3_moe_full.yamlMoE 全参微调参照配置【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考