尧图网站建设 
Qwen3-Coder 系列代码模型 DPO 偏好优化训练完整指南基于 TRL DeepSpeed 的实战配置与源码解析【免费下载链接】Qwen3-CoderQwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team.项目地址: https://gitcode.com/GitHub_Trending/co/Qwen3-Coder本文以 Qwen3-Coder 仓库 finetuning/dpo 目录下的官方文档与训练代码为蓝本系统讲解如何基于 SFT监督微调阶段的代码模型通过 DPODirect Preference Optimization直接偏好优化算法对齐人类对代码质量的偏好。读完本文你将掌握从 Conda 环境搭建、依赖安装、偏好数据chosen/rejected构造到多机多卡分布式训练参数调优、DeepSpeed ZeRO 配置选择的完整闭环并能理解 TRL DPOTrainer 在本仓库中的具体调用方式与关键实现细节。一、DPO 在 Qwen3-Coder 训练链路中的位置DPO 属于强化学习对齐RLHF 的一种轻量替代阶段其核心思路是给定同一 prompt 下的偏好回答chosen与劣质回答rejected直接对策略模型进行优化让模型提升对偏好回答的隐式奖励而不需要像传统 RLHF 那样先训练独立的奖励模型。从仓库目录结构看Qwen3-Coder 的微调体系分为两个阶段SFT 阶段finetuning/sft 使用指令数据对基础模型进行有监督微调产出SFT_MODELDPO 阶段finetuning/dpo 以上一阶段的 SFT 模型为起点用偏好数据进一步对齐产出最终模型。仓库同时提供了 1.5B 与Qwen2.5-Coder两套入口脚本其中 dpo_qwen2.5coder_1.5B.sh 的默认模型路径直接指向Qwen2.5-Coder-1.5B-Instruct说明这套 DPO 流程可以平滑复用到 Qwen2.5-Coder 系列模型上是仓库作者验证过的通用代码模型对齐方案。二、环境准备Conda 环境与依赖安装DPO 训练对 Python 版本有明确要求官方推荐使用 Conda 创建独立环境避免与既有环境产生依赖冲突。1. 创建 Conda 环境conda create -n dpo_env python3.10 conda activate dpo_env2. 安装依赖pip install -r requirements.txt依赖清单见 finetuning/dpo/requirements.txt关键组件的版本约束如下依赖包版本作用trl0.16.0提供DPOTrainer、TrlParser、DPOConfig等核心训练组件transformers4.47.1模型与分词器加载、Trainer 基础框架torch2.4.0深度学习后端deepspeed0.14.4分布式训练与 ZeRO 显存优化accelerate最新分布式启动与设备管理datasets最新数据加载与预处理openai1.58.1数据构造/评测阶段的 API 交互可选tqdm最新进度条显示注意这些版本是仓库作者验证过的组合尤其trl0.16.0与transformers4.47.1需配套使用如升级trl大版本DPOTrainer的参数签名如processing_class取代旧的tokenizer入参可能发生变化。三、DPO 偏好数据构造JSONL 格式详解DPO 训练的核心输入是偏好对数据。官方 README 给出的数据格式为每行一个 JSON 对象的.jsonl文件{ prompt: Prompt, chosen: The chosen response, rejected: The rejected response }对这三个字段的准确理解是数据质量的关键prompt用户输入的问题或指令例如一个代码任务描述chosen高质量、符合偏好的回答例如正确且风格良好的代码实现rejected低质量、不符合偏好的回答例如有 bug 或风格差的实现。三者必须来源于同一个 prompt即构成一个偏好对。一条数据的示例以代码场景为例{ prompt: Write a Python function to compute the Fibonacci sequence., chosen: def fib(n):\n a, b 0, 1\n for _ in range(n):\n a, b b, a b\n return a, rejected: def fib(n):\n if n 0:\n return 0\n else:\n return fib(n - 1) fib(n - 2) }数据预处理chat template 与系统提示词原始 JSONL 并不会被直接送入 DPOTrainer。从 finetuning/dpo/train.py 可以看到训练前会对每条样本执行process_sample预处理def process_sample(row): system_prompt You are Qwen, created by Alibaba Cloud. You are a helpful assistant. messages [ {role: system, content: system_prompt}, {role: user, content: row[prompt]} ] example { prompt: tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue), chosen: row[chosen], rejected: row[rejected], } return example该预处理会将原始 prompt 包装为 Qwen 的对话格式system user并通过tokenizer.apply_chat_template渲染成模型期望的模板字符串。预处理通过datasets.map执行可用--dataset_num_proc控制并行进程数脚本中默认设为 32并设置load_from_cache_fileFalse强制重新处理。代码实现中的两种数据形态finetuning/dpo/train.py 支持两种数据加载分支JSONL 模式--dataset_name以.jsonl结尾使用datasets.load_dataset(json, data_files...)加载并可通过--train_test_split_ratio默认 0.0即不分验证集切分训练/验证集MMAP 模式以.mmap结尾使用仓库内置的MMAPDataset直接读取预编码的prompt/chosen/rejected三份.input_ids.mmap文件配合.shape.json元信息适合海量数据场景可避免重复分词开销。该路径下会覆写DPOTrainer._prepare_dataset以跳过二次处理。四、开始训练环境变量、脚本入口与默认参数1. 官方 README 给出的最小启动方式DATA_PATH/path/to/preference/data SFT_MODEL/path/to/sft/model OUTPUT_DIR/path/to/output bash ./scripts/dpo_qwencoder.sh需要特别说明的是README 示例只设置了前三个变量而 dpo_qwencoder.sh 实际支持 10 个位置参数未传入的参数会回退到脚本内置的默认值位置参数变量默认值${1}DATA_PATH/path/to/processed/sft.jsonl${2}SFT_MODEL/path/to/pretrained_models/Qwen/Qwen2.5-Coder-1.5B/${3}OUTPUT_DIR/path/to/checkpoints/lr{LR}-wr{WARMUP_STEPS}-wd{WEIGHT_DECAY}-bsz{BATCH_SIZE}-maxlen{MAX_LENGTH}/${4}MICRO_BATCH_SIZE1${5}BATCH_SIZE2048${6}LR3e-4${7}WARMUP_STEPS100${8}WEIGHT_DECAY0.0${9}MAX_LENGTH1280${10}EXTRA_ARGS空可追加额外训练参数2. 更贴近实战的 1.5B 参考脚本仓库还提供了针对 1.5B 模型的完整参考配置 dpo_qwen2.5coder_1.5B.sh它显式传入了全部 10 个参数cd ./finetuning/dpo/scripts; DATA_PATH./dpo_data/code_dpo_all.jsonl PRETRAINED_MODEL${1} OUTPUT_DIR${2} PRETRAINED_MODEL${PRETRAINED_MODEL:-./pretrained_models/Qwen/Qwen2.5-Coder-1.5B-Instruct/} BATCH_SIZE512 MICRO_BATCH_SIZE4 LR5e-5 WARMUP_STEPS100 WEIGHT_DECAY0.0 MAX_LENGTH3072 EXTRA_ARGS #--gradient_checkpointing --include_num_input_tokens_seen True --use_flash_attention OUTPUT_DIR${OUTPUT_DIR:-./hf_checkpoints/1.5B/dpo//lr${LR}-wr${WARMUP_STEPS}-wd${WEIGHT_DECAY}-bsz${BATCH_SIZE}-maxlen${MAX_LENGTH}/} bash dpo_qwencoder.sh ${DATA_PATH} ${PRETRAINED_MODEL} ${OUTPUT_DIR} ${MICRO_BATCH_SIZE} ${BATCH_SIZE} ${LR} ${WARMUP_STEPS} ${WEIGHT_DECAY} ${MAX_LENGTH} ${EXTRA_ARGS}该脚本的默认配置与主脚本默认值有明显差异体现了不同显存规模下的典型取舍学习率从3e-4降至5e-5DPO 阶段建议采用比 SFT 更小的学习率以保持模型能力稳定、防止偏好对齐过程中的遗忘与退化MAX_LENGTH从1280提升到3072代码任务通常涉及较长的上下文函数体、类定义1.5B 模型可用更长序列BATCH_SIZE从2048降至512、MICRO_BATCH_SIZE从1升至4通过减小全局 batch、增大单卡微批来适配更长的序列长度。EXTRA_ARGS位置预留了--gradient_checkpointing、--include_num_input_tokens_seen True、--use_flash_attention等高级选项的追加入口可按显存情况启用。五、训练脚本逐段拆解从分布式参数到 DPOTrainer1. 分布式启动torchrun 多机多卡dpo_qwencoder.sh 自动探测本机 GPU 数量并组装torchrun的分布式参数GPUS_PER_NODE$(python -c import torch; print(torch.cuda.device_count());) MASTER_ADDR${MASTER_ADDR:-localhost} NNODES${WORLD_SIZE:-1} NODE_RANK${RANK:-0} WORLD_SIZE$(($GPUS_PER_NODE*$NNODES)) MASTER_PORT${MASTER_PORT:-6105} DISTRIBUTED_ARGS --nproc_per_node $GPUS_PER_NODE \ --nnodes $NNODES \ --node_rank $NODE_RANK \ --master_addr $MASTER_ADDR \ --master_port $MASTER_PORT 单机多卡时只需保证NCCL相关环境变量可用MASTER_ADDR默认localhost多机场景下需在每台机器上通过环境变量设置WORLD_SIZE总节点数、RANK本机序号、MASTER_ADDR主节点 IP与MASTER_PORT脚本头部保留了大段被注释的 NCCL 调优项NCCL_IB_TC、NCCL_IB_SL、NCCL_IB_GID_INDEX、NCCL_SOCKET_IFNAME、NCCL_DEBUG等用于 InfiniBand 高速网络环境下的通信调优多机训练时可按需取消注释。2. 全局 batch 的自动推导DPO 采用梯度累积来等效全局 batch。脚本中通过以下公式自动计算GRAD_ACCUGRAD_ACCU$(($BATCH_SIZE / $WORLD_SIZE / $MICRO_BATCH_SIZE))例如单机 8 卡、BATCH_SIZE512、MICRO_BATCH_SIZE4时GRAD_ACCU 512 / 8 / 4 16。训练时实际生效的全局 batch 为MICRO_BATCH_SIZE × GRAD_ACCU × WORLD_SIZE因此修改BATCH_SIZE时无需手工调整累积步数。3. DPOTrainer 的组装与关键参数train.py 使用 TRL 的TrlParser同时解析三类参数TrainingArguments仓库自定义、trl.trainer.DPOConfig与trl.trainer.ModelConfig三者通过parse_args_and_config()合并后统一传入。模型加载策略模型model与参考模型ref_model均通过AutoModelForCausalLM.from_pretrained以torch.bfloat16加载同一路径的 SFT 模型DPO 的隐式奖励来自策略与参考模型的 KL 散度参考模型全程冻结分词器以use_fastFalse加载并执行一处关键适配tokenizer.add_special_tokens({bos_token: tokenizer.eos_token}) tokenizer.bos_token_id tokenizer.eos_token_id即将 EOS 同时用作 BOS这是 Qwen 系列分词器在 DPO 训练中的常见处理。DPOTrainer 组装trainer DPOTrainer( model, ref_model ref_model, processing_class tokenizer, args dpo_args, train_dataset train_dataset, eval_dataset test_dataset, callbacks[DPOLogCallback(logger logger)], )回调机制仓库自定义了DPOLogCallbacktrain.py在每个on_log事件中将当前global_step写入日志并打印rewards/rejected拒绝样本的隐式奖励便于实时观察策略模型对劣质回答的打分变化utils.py 中的init_logger则负责将日志同时写入output_dir/train.log文件与终端并通过is_main_process判断只在主进程输出完整日志、其余进程仅输出错误级别避免日志刷屏。训练结束处理trainer.train() trainer.save_state() trainer.save_model(output_dir args.output_dir)4. 完整命令行参数对照表主脚本最终调用torchrun ... train.py其完整参数如下参数脚本来源说明--model_name_or_pathSFT_MODELSFT 阶段产出的模型路径同时作为策略与参考模型--dataset_nameDATA_PATH偏好数据 JSONL 路径--max_length/--max_prompt_length/--model_max_lengthMAX_LENGTH序列最大长度默认 12801.5B 参考配置 3072--output_dirOUTPUT_DIR检查点输出目录--num_train_epochs 1固定训练 1 个 epoch--max_steps 1000固定最多 1000 步--per_device_train_batch_sizeMICRO_BATCH_SIZE单卡微批大小--gradient_accumulation_stepsGRAD_ACCU自动计算的梯度累积步数--per_device_eval_batch_size 4固定验证批大小--evaluation_strategy no固定默认不做周期评估--save_strategy steps/--save_steps 1000固定每 1000 步保存一次--save_total_limit 10固定最多保留 10 个检查点--learning_rateLR学习率默认 3e-41.5B 参考 5e-5--weight_decayWEIGHT_DECAY权重衰减默认 0.0--warmup_stepsWARMUP_STEPS预热步数默认 100--lr_scheduler_type cosine固定余弦退火学习率调度--logging_strategy steps/--logging_steps 1固定每步记录日志--deepspeedDEEPSPEED_CONFIG指向./configs/ds_z3_offload_config.json--report_to tensorboard固定训练指标上报 TensorBoard--bf16 True/--tf32 True固定BF16 混合精度 TF32 矩阵运算--truncate_source True固定允许截断超长 prompt 源--betaBETA0.1DPO 的 KL 惩罚系数${EXTRA_ARGS}追加预留扩展参数5. 关于脚本中 DeepSpeed 配置的说明需要提醒的是主脚本第 64 行引用的./configs/ds_z3_offload_config.json在仓库当前 configs 目录 中并未随附实际可用的三份配置为ds_config_zero1.json、ds_config_zero2.json与ds_config_zero3.json。因此运行时需将DEEPSPEED_CONFIG指向这三份中与显存情况匹配的一份三份配置均以auto从训练参数中自动继承 batch 与 bf16 设置gradient_clipping均为 1.0ZeRO-1ds_config_zero1.json仅分片优化器状态通信开销最小适合显存相对充裕的场景ZeRO-2ds_config_zero2.json分片优化器状态与梯度并将优化器状态卸载到 CPUoffload_optimizerpin_memory: true适合较大模型ZeRO-3ds_config_zero3.json进一步分片模型参数offload_param同样卸载到 CPU并设置了sub_group_size、stage3_max_live_parameters等参数配合stage3_gather_16bit_weights_on_model_save: true在保存时汇总完整权重显存压力最小但通信开销最大。结合trl0.16.0与deepspeed0.14.4的版本约束DPO 训练时策略模型与参考模型会同时驻留显存约 2 倍单模型显存小显存场景建议使用 ZeRO-2/ZeRO-3 并追加--gradient_checkpointing。六、训练启动、监控与产物1. 启动命令以 1.5B 模型为例在仓库根目录执行cd finetuning/dpo/scripts bash dpo_qwen2.5coder_1.5B.sh /path/to/sft/model /path/to/output_dir如需自定义 batch、学习率等超参直接修改脚本内的变量或直接调用主脚本传满 10 个位置参数bash dpo_qwencoder.sh DATA_PATH SFT_MODEL OUTPUT_DIR MICRO_BATCH_SIZE BATCH_SIZE LR WARMUP_STEPS WEIGHT_DECAY MAX_LENGTH EXTRA_ARGS2. 训练监控训练日志同时输出到终端与OUTPUT_DIR/train.logDPOLogCallback会按步打印rewards/rejected可据此判断策略模型是否在持续压低劣质回答的隐式奖励--report_to tensorboard将loss、rewards/chosen、rewards/rejected、rewards/margins等 DPO 指标写入 TensorBoard启动tensorboard --logdir OUTPUT_DIR即可可视化观察。3. 训练产物每 1000 步保存一个checkpoint-*目录save_total_limit 10自动清理旧检查点训练结束通过trainer.save_model()输出可直接加载的 HuggingFace 格式模型权重到OUTPUT_DIRtrainer.save_state()保存优化器状态便于断点续训。4. 与 SFT 阶段的衔接DPO 阶段输入的SFT_MODEL通常来自 finetuning/sft 阶段的产物。SFT 脚本 sft_qwencoder.sh 与 DPO 脚本结构高度一致同样使用torchrun DeepSpeed 余弦调度其默认BATCH_SIZE1024、MICRO_BATCH_SIZE4、LR5e-5、MAX_LENGTH1280。对比可见DPO 阶段建议保持与 SFT 相近或更小的学习率训练步数更少max_steps 1000、num_train_epochs 1体现SFT 充分学习能力、DPO 精细对齐偏好的分工。七、常见问题与调优建议显存不足OOM优先切换 ZeRO-2/ZeRO-3 配置在 dpo_qwencoder.sh 中修改DEEPSPEED_CONFIG并追加--gradient_checkpointing、降低MICRO_BATCH_SIZE注意GRAD_ACCU会自动等比放大以维持全局 batch。偏好数据质量DPO 的效果高度依赖 chosen/rejected 对的质量差。建议确保同一 prompt 的 chosen 与 rejected 来自相同分布如同模型的不同采样避免高下悬殊到模型无需学习或两者差异过小两个极端。序列长度代码任务建议按实际任务将MAX_LENGTH设为 204840961.5B 参考脚本为 3072过短会被--truncate_source True截断导致训练信号损失过长则显著增加显存与耗时。学习率DPO 阶段学习率过大易导致模型在偏好优化中遗忘预训练能力建议使用5e-6 ~ 5e-5区间并保留 cosine 调度与 warmup。beta系数脚本固定BETA0.1这是 TRL 中较常见的取值beta越小模型越激进地贴近偏好数据beta越大则越保守地贴近参考模型可据此权衡对齐强度与生成多样性。多机训练确保各节点通过WORLD_SIZE/RANK/MASTER_ADDR/MASTER_PORT正确组网并按需启用脚本头部注释的 NCCL/IB 调优项。八、延伸阅读DPO 训练数据格式与预处理finetuning/dpo/README.md、finetuning/dpo/train.py训练脚本与参数默认值finetuning/dpo/scripts/dpo_qwencoder.sh、finetuning/dpo/scripts/dpo_qwen2.5coder_1.5B.sh依赖版本约束finetuning/dpo/requirements.txtDeepSpeed ZeRO 配置finetuning/dpo/configs/ds_config_zero1.json、ds_config_zero2.json、ds_config_zero3.json前置 SFT 阶段finetuning/sft/scripts/sft_qwencoder.sh【免费下载链接】Qwen3-CoderQwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team.项目地址: https://gitcode.com/GitHub_Trending/co/Qwen3-Coder创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Qwen3-Coder 系列代码模型 DPO 偏好优化训练完整指南：基于 TRL + DeepSpeed 的实战配置与源码解析
Qwen3-Coder 系列代码模型 DPO 偏好优化训练完整指南基于 TRL DeepSpeed 的实战配置与源码解析【免费下载链接】Qwen3-CoderQwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team.项目地址: https://gitcode.com/GitHub_Trending/co/Qwen3-Coder本文以 Qwen3-Coder 仓库 finetuning/dpo 目录下的官方文档与训练代码为蓝本系统讲解如何基于 SFT监督微调阶段的代码模型通过 DPODirect Preference Optimization直接偏好优化算法对齐人类对代码质量的偏好。读完本文你将掌握从 Conda 环境搭建、依赖安装、偏好数据chosen/rejected构造到多机多卡分布式训练参数调优、DeepSpeed ZeRO 配置选择的完整闭环并能理解 TRL DPOTrainer 在本仓库中的具体调用方式与关键实现细节。一、DPO 在 Qwen3-Coder 训练链路中的位置DPO 属于强化学习对齐RLHF 的一种轻量替代阶段其核心思路是给定同一 prompt 下的偏好回答chosen与劣质回答rejected直接对策略模型进行优化让模型提升对偏好回答的隐式奖励而不需要像传统 RLHF 那样先训练独立的奖励模型。从仓库目录结构看Qwen3-Coder 的微调体系分为两个阶段SFT 阶段finetuning/sft 使用指令数据对基础模型进行有监督微调产出SFT_MODELDPO 阶段finetuning/dpo 以上一阶段的 SFT 模型为起点用偏好数据进一步对齐产出最终模型。仓库同时提供了 1.5B 与Qwen2.5-Coder两套入口脚本其中 dpo_qwen2.5coder_1.5B.sh 的默认模型路径直接指向Qwen2.5-Coder-1.5B-Instruct说明这套 DPO 流程可以平滑复用到 Qwen2.5-Coder 系列模型上是仓库作者验证过的通用代码模型对齐方案。二、环境准备Conda 环境与依赖安装DPO 训练对 Python 版本有明确要求官方推荐使用 Conda 创建独立环境避免与既有环境产生依赖冲突。1. 创建 Conda 环境conda create -n dpo_env python3.10 conda activate dpo_env2. 安装依赖pip install -r requirements.txt依赖清单见 finetuning/dpo/requirements.txt关键组件的版本约束如下依赖包版本作用trl0.16.0提供DPOTrainer、TrlParser、DPOConfig等核心训练组件transformers4.47.1模型与分词器加载、Trainer 基础框架torch2.4.0深度学习后端deepspeed0.14.4分布式训练与 ZeRO 显存优化accelerate最新分布式启动与设备管理datasets最新数据加载与预处理openai1.58.1数据构造/评测阶段的 API 交互可选tqdm最新进度条显示注意这些版本是仓库作者验证过的组合尤其trl0.16.0与transformers4.47.1需配套使用如升级trl大版本DPOTrainer的参数签名如processing_class取代旧的tokenizer入参可能发生变化。三、DPO 偏好数据构造JSONL 格式详解DPO 训练的核心输入是偏好对数据。官方 README 给出的数据格式为每行一个 JSON 对象的.jsonl文件{ prompt: Prompt, chosen: The chosen response, rejected: The rejected response }对这三个字段的准确理解是数据质量的关键prompt用户输入的问题或指令例如一个代码任务描述chosen高质量、符合偏好的回答例如正确且风格良好的代码实现rejected低质量、不符合偏好的回答例如有 bug 或风格差的实现。三者必须来源于同一个 prompt即构成一个偏好对。一条数据的示例以代码场景为例{ prompt: Write a Python function to compute the Fibonacci sequence., chosen: def fib(n):\n a, b 0, 1\n for _ in range(n):\n a, b b, a b\n return a, rejected: def fib(n):\n if n 0:\n return 0\n else:\n return fib(n - 1) fib(n - 2) }数据预处理chat template 与系统提示词原始 JSONL 并不会被直接送入 DPOTrainer。从 finetuning/dpo/train.py 可以看到训练前会对每条样本执行process_sample预处理def process_sample(row): system_prompt You are Qwen, created by Alibaba Cloud. You are a helpful assistant. messages [ {role: system, content: system_prompt}, {role: user, content: row[prompt]} ] example { prompt: tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue), chosen: row[chosen], rejected: row[rejected], } return example该预处理会将原始 prompt 包装为 Qwen 的对话格式system user并通过tokenizer.apply_chat_template渲染成模型期望的模板字符串。预处理通过datasets.map执行可用--dataset_num_proc控制并行进程数脚本中默认设为 32并设置load_from_cache_fileFalse强制重新处理。代码实现中的两种数据形态finetuning/dpo/train.py 支持两种数据加载分支JSONL 模式--dataset_name以.jsonl结尾使用datasets.load_dataset(json, data_files...)加载并可通过--train_test_split_ratio默认 0.0即不分验证集切分训练/验证集MMAP 模式以.mmap结尾使用仓库内置的MMAPDataset直接读取预编码的prompt/chosen/rejected三份.input_ids.mmap文件配合.shape.json元信息适合海量数据场景可避免重复分词开销。该路径下会覆写DPOTrainer._prepare_dataset以跳过二次处理。四、开始训练环境变量、脚本入口与默认参数1. 官方 README 给出的最小启动方式DATA_PATH/path/to/preference/data SFT_MODEL/path/to/sft/model OUTPUT_DIR/path/to/output bash ./scripts/dpo_qwencoder.sh需要特别说明的是README 示例只设置了前三个变量而 dpo_qwencoder.sh 实际支持 10 个位置参数未传入的参数会回退到脚本内置的默认值位置参数变量默认值${1}DATA_PATH/path/to/processed/sft.jsonl${2}SFT_MODEL/path/to/pretrained_models/Qwen/Qwen2.5-Coder-1.5B/${3}OUTPUT_DIR/path/to/checkpoints/lr{LR}-wr{WARMUP_STEPS}-wd{WEIGHT_DECAY}-bsz{BATCH_SIZE}-maxlen{MAX_LENGTH}/${4}MICRO_BATCH_SIZE1${5}BATCH_SIZE2048${6}LR3e-4${7}WARMUP_STEPS100${8}WEIGHT_DECAY0.0${9}MAX_LENGTH1280${10}EXTRA_ARGS空可追加额外训练参数2. 更贴近实战的 1.5B 参考脚本仓库还提供了针对 1.5B 模型的完整参考配置 dpo_qwen2.5coder_1.5B.sh它显式传入了全部 10 个参数cd ./finetuning/dpo/scripts; DATA_PATH./dpo_data/code_dpo_all.jsonl PRETRAINED_MODEL${1} OUTPUT_DIR${2} PRETRAINED_MODEL${PRETRAINED_MODEL:-./pretrained_models/Qwen/Qwen2.5-Coder-1.5B-Instruct/} BATCH_SIZE512 MICRO_BATCH_SIZE4 LR5e-5 WARMUP_STEPS100 WEIGHT_DECAY0.0 MAX_LENGTH3072 EXTRA_ARGS #--gradient_checkpointing --include_num_input_tokens_seen True --use_flash_attention OUTPUT_DIR${OUTPUT_DIR:-./hf_checkpoints/1.5B/dpo//lr${LR}-wr${WARMUP_STEPS}-wd${WEIGHT_DECAY}-bsz${BATCH_SIZE}-maxlen${MAX_LENGTH}/} bash dpo_qwencoder.sh ${DATA_PATH} ${PRETRAINED_MODEL} ${OUTPUT_DIR} ${MICRO_BATCH_SIZE} ${BATCH_SIZE} ${LR} ${WARMUP_STEPS} ${WEIGHT_DECAY} ${MAX_LENGTH} ${EXTRA_ARGS}该脚本的默认配置与主脚本默认值有明显差异体现了不同显存规模下的典型取舍学习率从3e-4降至5e-5DPO 阶段建议采用比 SFT 更小的学习率以保持模型能力稳定、防止偏好对齐过程中的遗忘与退化MAX_LENGTH从1280提升到3072代码任务通常涉及较长的上下文函数体、类定义1.5B 模型可用更长序列BATCH_SIZE从2048降至512、MICRO_BATCH_SIZE从1升至4通过减小全局 batch、增大单卡微批来适配更长的序列长度。EXTRA_ARGS位置预留了--gradient_checkpointing、--include_num_input_tokens_seen True、--use_flash_attention等高级选项的追加入口可按显存情况启用。五、训练脚本逐段拆解从分布式参数到 DPOTrainer1. 分布式启动torchrun 多机多卡dpo_qwencoder.sh 自动探测本机 GPU 数量并组装torchrun的分布式参数GPUS_PER_NODE$(python -c import torch; print(torch.cuda.device_count());) MASTER_ADDR${MASTER_ADDR:-localhost} NNODES${WORLD_SIZE:-1} NODE_RANK${RANK:-0} WORLD_SIZE$(($GPUS_PER_NODE*$NNODES)) MASTER_PORT${MASTER_PORT:-6105} DISTRIBUTED_ARGS --nproc_per_node $GPUS_PER_NODE \ --nnodes $NNODES \ --node_rank $NODE_RANK \ --master_addr $MASTER_ADDR \ --master_port $MASTER_PORT 单机多卡时只需保证NCCL相关环境变量可用MASTER_ADDR默认localhost多机场景下需在每台机器上通过环境变量设置WORLD_SIZE总节点数、RANK本机序号、MASTER_ADDR主节点 IP与MASTER_PORT脚本头部保留了大段被注释的 NCCL 调优项NCCL_IB_TC、NCCL_IB_SL、NCCL_IB_GID_INDEX、NCCL_SOCKET_IFNAME、NCCL_DEBUG等用于 InfiniBand 高速网络环境下的通信调优多机训练时可按需取消注释。2. 全局 batch 的自动推导DPO 采用梯度累积来等效全局 batch。脚本中通过以下公式自动计算GRAD_ACCUGRAD_ACCU$(($BATCH_SIZE / $WORLD_SIZE / $MICRO_BATCH_SIZE))例如单机 8 卡、BATCH_SIZE512、MICRO_BATCH_SIZE4时GRAD_ACCU 512 / 8 / 4 16。训练时实际生效的全局 batch 为MICRO_BATCH_SIZE × GRAD_ACCU × WORLD_SIZE因此修改BATCH_SIZE时无需手工调整累积步数。3. DPOTrainer 的组装与关键参数train.py 使用 TRL 的TrlParser同时解析三类参数TrainingArguments仓库自定义、trl.trainer.DPOConfig与trl.trainer.ModelConfig三者通过parse_args_and_config()合并后统一传入。模型加载策略模型model与参考模型ref_model均通过AutoModelForCausalLM.from_pretrained以torch.bfloat16加载同一路径的 SFT 模型DPO 的隐式奖励来自策略与参考模型的 KL 散度参考模型全程冻结分词器以use_fastFalse加载并执行一处关键适配tokenizer.add_special_tokens({bos_token: tokenizer.eos_token}) tokenizer.bos_token_id tokenizer.eos_token_id即将 EOS 同时用作 BOS这是 Qwen 系列分词器在 DPO 训练中的常见处理。DPOTrainer 组装trainer DPOTrainer( model, ref_model ref_model, processing_class tokenizer, args dpo_args, train_dataset train_dataset, eval_dataset test_dataset, callbacks[DPOLogCallback(logger logger)], )回调机制仓库自定义了DPOLogCallbacktrain.py在每个on_log事件中将当前global_step写入日志并打印rewards/rejected拒绝样本的隐式奖励便于实时观察策略模型对劣质回答的打分变化utils.py 中的init_logger则负责将日志同时写入output_dir/train.log文件与终端并通过is_main_process判断只在主进程输出完整日志、其余进程仅输出错误级别避免日志刷屏。训练结束处理trainer.train() trainer.save_state() trainer.save_model(output_dir args.output_dir)4. 完整命令行参数对照表主脚本最终调用torchrun ... train.py其完整参数如下参数脚本来源说明--model_name_or_pathSFT_MODELSFT 阶段产出的模型路径同时作为策略与参考模型--dataset_nameDATA_PATH偏好数据 JSONL 路径--max_length/--max_prompt_length/--model_max_lengthMAX_LENGTH序列最大长度默认 12801.5B 参考配置 3072--output_dirOUTPUT_DIR检查点输出目录--num_train_epochs 1固定训练 1 个 epoch--max_steps 1000固定最多 1000 步--per_device_train_batch_sizeMICRO_BATCH_SIZE单卡微批大小--gradient_accumulation_stepsGRAD_ACCU自动计算的梯度累积步数--per_device_eval_batch_size 4固定验证批大小--evaluation_strategy no固定默认不做周期评估--save_strategy steps/--save_steps 1000固定每 1000 步保存一次--save_total_limit 10固定最多保留 10 个检查点--learning_rateLR学习率默认 3e-41.5B 参考 5e-5--weight_decayWEIGHT_DECAY权重衰减默认 0.0--warmup_stepsWARMUP_STEPS预热步数默认 100--lr_scheduler_type cosine固定余弦退火学习率调度--logging_strategy steps/--logging_steps 1固定每步记录日志--deepspeedDEEPSPEED_CONFIG指向./configs/ds_z3_offload_config.json--report_to tensorboard固定训练指标上报 TensorBoard--bf16 True/--tf32 True固定BF16 混合精度 TF32 矩阵运算--truncate_source True固定允许截断超长 prompt 源--betaBETA0.1DPO 的 KL 惩罚系数${EXTRA_ARGS}追加预留扩展参数5. 关于脚本中 DeepSpeed 配置的说明需要提醒的是主脚本第 64 行引用的./configs/ds_z3_offload_config.json在仓库当前 configs 目录 中并未随附实际可用的三份配置为ds_config_zero1.json、ds_config_zero2.json与ds_config_zero3.json。因此运行时需将DEEPSPEED_CONFIG指向这三份中与显存情况匹配的一份三份配置均以auto从训练参数中自动继承 batch 与 bf16 设置gradient_clipping均为 1.0ZeRO-1ds_config_zero1.json仅分片优化器状态通信开销最小适合显存相对充裕的场景ZeRO-2ds_config_zero2.json分片优化器状态与梯度并将优化器状态卸载到 CPUoffload_optimizerpin_memory: true适合较大模型ZeRO-3ds_config_zero3.json进一步分片模型参数offload_param同样卸载到 CPU并设置了sub_group_size、stage3_max_live_parameters等参数配合stage3_gather_16bit_weights_on_model_save: true在保存时汇总完整权重显存压力最小但通信开销最大。结合trl0.16.0与deepspeed0.14.4的版本约束DPO 训练时策略模型与参考模型会同时驻留显存约 2 倍单模型显存小显存场景建议使用 ZeRO-2/ZeRO-3 并追加--gradient_checkpointing。六、训练启动、监控与产物1. 启动命令以 1.5B 模型为例在仓库根目录执行cd finetuning/dpo/scripts bash dpo_qwen2.5coder_1.5B.sh /path/to/sft/model /path/to/output_dir如需自定义 batch、学习率等超参直接修改脚本内的变量或直接调用主脚本传满 10 个位置参数bash dpo_qwencoder.sh DATA_PATH SFT_MODEL OUTPUT_DIR MICRO_BATCH_SIZE BATCH_SIZE LR WARMUP_STEPS WEIGHT_DECAY MAX_LENGTH EXTRA_ARGS2. 训练监控训练日志同时输出到终端与OUTPUT_DIR/train.logDPOLogCallback会按步打印rewards/rejected可据此判断策略模型是否在持续压低劣质回答的隐式奖励--report_to tensorboard将loss、rewards/chosen、rewards/rejected、rewards/margins等 DPO 指标写入 TensorBoard启动tensorboard --logdir OUTPUT_DIR即可可视化观察。3. 训练产物每 1000 步保存一个checkpoint-*目录save_total_limit 10自动清理旧检查点训练结束通过trainer.save_model()输出可直接加载的 HuggingFace 格式模型权重到OUTPUT_DIRtrainer.save_state()保存优化器状态便于断点续训。4. 与 SFT 阶段的衔接DPO 阶段输入的SFT_MODEL通常来自 finetuning/sft 阶段的产物。SFT 脚本 sft_qwencoder.sh 与 DPO 脚本结构高度一致同样使用torchrun DeepSpeed 余弦调度其默认BATCH_SIZE1024、MICRO_BATCH_SIZE4、LR5e-5、MAX_LENGTH1280。对比可见DPO 阶段建议保持与 SFT 相近或更小的学习率训练步数更少max_steps 1000、num_train_epochs 1体现SFT 充分学习能力、DPO 精细对齐偏好的分工。七、常见问题与调优建议显存不足OOM优先切换 ZeRO-2/ZeRO-3 配置在 dpo_qwencoder.sh 中修改DEEPSPEED_CONFIG并追加--gradient_checkpointing、降低MICRO_BATCH_SIZE注意GRAD_ACCU会自动等比放大以维持全局 batch。偏好数据质量DPO 的效果高度依赖 chosen/rejected 对的质量差。建议确保同一 prompt 的 chosen 与 rejected 来自相同分布如同模型的不同采样避免高下悬殊到模型无需学习或两者差异过小两个极端。序列长度代码任务建议按实际任务将MAX_LENGTH设为 204840961.5B 参考脚本为 3072过短会被--truncate_source True截断导致训练信号损失过长则显著增加显存与耗时。学习率DPO 阶段学习率过大易导致模型在偏好优化中遗忘预训练能力建议使用5e-6 ~ 5e-5区间并保留 cosine 调度与 warmup。beta系数脚本固定BETA0.1这是 TRL 中较常见的取值beta越小模型越激进地贴近偏好数据beta越大则越保守地贴近参考模型可据此权衡对齐强度与生成多样性。多机训练确保各节点通过WORLD_SIZE/RANK/MASTER_ADDR/MASTER_PORT正确组网并按需启用脚本头部注释的 NCCL/IB 调优项。八、延伸阅读DPO 训练数据格式与预处理finetuning/dpo/README.md、finetuning/dpo/train.py训练脚本与参数默认值finetuning/dpo/scripts/dpo_qwencoder.sh、finetuning/dpo/scripts/dpo_qwen2.5coder_1.5B.sh依赖版本约束finetuning/dpo/requirements.txtDeepSpeed ZeRO 配置finetuning/dpo/configs/ds_config_zero1.json、ds_config_zero2.json、ds_config_zero3.json前置 SFT 阶段finetuning/sft/scripts/sft_qwencoder.sh【免费下载链接】Qwen3-CoderQwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team.项目地址: https://gitcode.com/GitHub_Trending/co/Qwen3-Coder创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考