1. 项目概述重新审视大模型训练的“四段式”编排最近和几个做模型训练的朋友聊天发现一个挺有意思的现象大家一提到大模型训练脑子里蹦出来的还是“预训练 SFT RLHF”这个经典三板斧。但真正在资源有限、数据质量参差不齐的现实条件下想把一个模型从零训到好用这套流程的颗粒度就显得有点粗了。我们团队在折腾了几个项目后逐渐摸索并固化了一套更精细的“四段式”训练编排策略也就是标题里提到的“预训练、持续预训练、中训练、冷启动 SFT”。这听起来像是把简单问题复杂化了但实操下来恰恰是这种“分而治之”的思路让我们在有限的算力和数据下把模型潜力榨取得更充分也避开了不少训练早期容易踩的坑。简单来说这四段式不是凭空创造的新阶段而是对传统流程的一次深度解构和重组。它背后的核心思想借鉴了人类教育中的“课程学习”理念你不能指望一个刚学会识字的小学生直接去啃微积分教材并指望他融会贯通。模型训练也一样我们需要设计一个由易到难、循序渐进的学习路径。预训练是打下通用知识的底子持续预训练是在这个底子上针对特定领域进行知识强化和填充中训练则是一个关键的“桥梁”阶段负责将前面学到的、可能还比较“沉默”的知识激活并转化为初步的指令跟随和逻辑推理能力最后的冷启动 SFT才是用高质量、小批量的精标数据对模型进行最后的“精雕细琢”和价值观对齐。这套方法特别适合哪些场景呢如果你是在做一个垂直领域的专用模型比如法律、医疗、金融或者你的高质量指令数据非常稀缺又或者你手头只有一些“不那么干净”的领域文本那么这种分阶段的精细化训练编排很可能就是提升最终效果、降低调优成本的关键。接下来我就把这四个阶段拆开揉碎了结合我们踩过的坑和总结的经验跟大家详细聊聊每一步到底在做什么、为什么要这么做以及具体怎么操作。2. 核心思路拆解为什么是“四段式”而非“三段式”要理解四段式的价值得先看看经典三段式预训练、SFT、RLHF/PBO在现实落地时遇到的挑战。最大的问题出在“预训练”和“SFT”之间存在一个巨大的能力鸿沟。预训练模型尤其是基于海量互联网文本训练的模型它擅长的是“续写”是根据上文预测下一个token的概率。它肚子里可能装了很多领域知识但并不知道如何以“问答”、“分析”、“总结”等指令形式把这些知识组织输出给你。直接上SFT就好比让一个饱读诗书但从未上过演讲课的人突然去参加辩论赛——他可能知识储备足够但表达逻辑、节奏、针对性都一塌糊涂。2.1 “中训练”的桥梁价值从“知道”到“会用”这就是我们引入“中训练”的核心原因。中训练的目标不是教模型新知识而是激发和转化其已有的知识让它初步学会如何响应人类的指令。我们通常使用规模较大、质量中等偏上、格式相对规范的指令数据来完成这一步。这些数据可能来自公开的指令数据集经过清洗、用规则生成的合成数据或者是业务中积累的、尚未经过精细标注的对话日志。举个例子在训练一个法律咨询模型时预训练阶段我们喂给它大量的法律条文、判决文书、学术论文。持续预训练阶段我们可能再补充一些最新的司法解释、某细分领域如知识产权的专论文本。到了中训练阶段我们使用的数据可能是这样的“根据《合同法》第X条请分析以下案例中甲方的违约责任是否成立。案例……”。模型在预训练阶段已经“见过”《合同法》条文和相关案例描述中训练则教会它如何将这两者关联起来并按照“分析”这个指令进行组织输出。这个阶段不追求答案的绝对精确和完美而是追求模型能理解指令意图并调用相关知识进行有一定逻辑的回应。2.2 “持续预训练”与“预训练”的区分知识深化与领域适应很多人会把持续预训练和预训练混为一谈或者认为用领域数据继续预训练就行了。这里有个关键区别目标不同。初始预训练的目标是构建一个具备通用语言理解和世界知识的基础模型数据极其庞杂。而持续预训练的目标非常明确——领域知识深化与表征对齐。这意味着持续预训练阶段使用的数据应该是目标领域内纯净、连贯、信息密度高的文本。比如医学领域就使用教科书、权威期刊论文、诊疗指南。这个阶段的学习率通常比初始预训练小一个数量级目的是让模型在不破坏已有通用能力的前提下将网络参数向目标领域的数据分布做温和的偏移让领域相关概念的内部表征变得更清晰、更突出。你可以理解为在通用的大脑皮层上刻画出一道更深的、属于特定领域的“沟回”。2.3 “冷启动SFT”的定位高效率的精准调优传统的SFT往往需要成千上万甚至几十万的高质量对话数据这对很多团队来说是难以承受的成本。冷启动SFT的核心思想是在模型已经通过前三个阶段具备了足够的知识和初步的指令理解能力后我们只需要一个“小火花”就能引燃它的全部潜力。这个阶段的数据贵精不贵多通常500-2000条足矣。但每一条都必须是精心设计和标注的典范覆盖核心场景、体现复杂的推理链、并符合期望的输出格式和价值观。因为模型底子已经打好了所以它对这些高质量样本的学习效率会极高能快速对齐到我们期望的交互模式上。这大大降低了数据标注的成本和门槛。注意四段式并非固定不变的金科玉律。如果你的领域与预训练数据分布非常接近或者你拥有海量高质量的指令数据那么持续预训练或中训练阶段可能可以简化甚至跳过。这套方法的核心优势在于应对“数据少、质量杂、领域专”的挑战时提供了更精细的控制杆。3. 阶段一预训练——构建通用知识基座预训练是整个大厦的地基它的质量直接决定了模型能力的天花板。虽然很多团队现在直接从开源基座模型开始但理解预训练的关键对于后续的持续预训练和问题排查至关重要。3.1 数据配比与清洗的实战经验预训练数据的核心在于“量”和“质”的平衡以及不同来源数据的配比。一个常见的配比思路是高质量网页过滤数据如C4、RefinedWeb占40%-50%书籍与学术论文占20%-30%代码数据占5%-10%多语言数据根据需求占5%-15%。这个配比不是绝对的需要根据目标模型的语言倾向中文/英文/中英混合和能力侧重点推理/代码/知识进行调整。数据清洗是脏活累活但至关重要。除了常规的去重、过滤低质量文本、去除特殊字符有几点我们踩过坑段落完整性确保文本切割时保持段落和句子的完整。随意地从中间切断一个句子会给模型引入大量的噪声学习到错误的上下文依赖。代码数据特殊处理代码数据不要简单地当成文本混入。建议单独处理确保代码片段如函数、类定义的完整性并可以尝试使用像CodeParrot或PolyCoder这类专门在代码上预训练的tokenizer或者至少确保你的通用tokenizer对代码的分词是友好的。“有毒”内容过滤需要使用多轮关键词、分类器如Detoxify或规则进行严格过滤。这一步宁严勿松因为后期想要从模型中去掉这些偏见成本极高。3.2 关键超参数设置与考量预训练的超参数设置已经有很多公开的最佳实践如LLaMA、GPT-NeoX的报告这里强调几个容易被忽视但影响巨大的点学习率与热身我们采用余弦衰减学习率调度。热身步数warmup steps通常设置为总步数的1%到2%。这个阶段让模型参数平稳地进入训练状态避免初期梯度爆炸。对于大规模训练足够长的热身至关重要。批量大小Batch Size在GPU内存允许的前提下尽可能使用大的全局批量大小Global Batch Size。大的批量能提供更稳定的梯度估计有利于收敛。通常通过梯度累积Gradient Accumulation来模拟大批量。例如单卡批量设为4累积步数为32则全局批量大小为128。权重衰减与梯度裁剪权重衰减Weight Decay一般设为0.1用于防止过拟合。梯度裁剪Gradient Clipping的阈值通常设为1.0。这是一个安全网防止训练不稳定时梯度爆炸但在数据质量高、训练稳定的情况下有时不裁剪也能正常训练。序列长度尽可能使用模型支持的最大序列长度如2048、4096。更长的序列能让模型学习到更长距离的依赖对于理解文档、代码、长对话至关重要。需要确保你的数据清洗和拼接策略能生成足够多的长序列样本。我们一个实际的训练配置片段基于Megatron-LM或DeepSpeed框架的思想如下这并非可直接运行的代码而是关键参数的逻辑示意# 关键训练参数示意 training_args { per_device_train_batch_size: 4, # 单卡批量 gradient_accumulation_steps: 32, # 梯度累积步数 global_batch_size: 128, # 全局批量 4 * 32 learning_rate: 3e-4, # 初始学习率 lr_scheduler_type: cosine, # 余弦衰减 num_warmup_steps: 2000, # 热身步数约总步数1.5% num_train_epochs: 1, # 通常只跑一个epoch max_steps: 150000, # 总训练步数 weight_decay: 0.1, max_grad_norm: 1.0, # 梯度裁剪阈值 bf16: True, # 使用BF16混合精度训练 gradient_checkpointing: True, # 激活梯度检查点节省显存 }实操心得预训练初期一定要密切监控损失曲线loss curve和梯度范数grad norm。一个健康的损失曲线应该平滑下降初期下降快后期缓慢逼近一个平台。梯度范数应保持相对稳定剧烈波动可能预示着数据有问题、学习率太高或模型架构不稳定。建议每100-500步就保存一次检查点checkpoint并在验证集上评估困惑度perplexity这是衡量预训练质量最直接的指标。4. 阶段二持续预训练——领域知识的深度灌注拿到一个不错的基座模型后如果你要让它精通某个垂直领域持续预训练是性价比最高的第一步。这个阶段的目标是“润物细无声”把领域知识“腌”进模型的参数里。4.1 领域数据集的构建与处理持续预训练的数据质量要求比初始预训练更高。核心原则是纯净、连贯、高信息密度。来源专业书籍、学术论文PDF、权威机构白皮书、高质量的领域百科或论坛精华帖。避免使用新闻、社交媒体等噪声较大的文本。处理格式转换与提取PDF文件使用像pymupdf或pdfplumber这样的库进行文本提取特别注意保留图表标题、参考文献等结构化信息这些往往是知识的关键锚点。深度清洗去除页眉页脚、参考文献列表除非将其作为学习材料、无关的广告和导航文本。对于从网页抓取的内容需要特别小心JavaScript代码、导航菜单等无关内容的残留。长文档处理领域文档通常很长。不要简单截断而是按照其自然结构如章节、小节进行分割确保每个片段在语义上是完整的。例如将一个完整的“病因与病理”小节作为一个样本。4.2 训练策略与灾难性遗忘的缓解持续预训练最大的风险是“灾难性遗忘”——模型学会了新知识却把之前宝贵的通用能力给忘了。为了缓解这个问题我们采用以下策略组合拳极低的学习率通常设置在5e-6到1e-5之间是初始预训练学习率的十分之一甚至更低。慢工出细活让参数进行微调而非剧烈转向。混合数据训练这是最关键的一招。不要100%使用领域数据。我们通常采用90%领域数据 10%通用预训练数据随机采样的混合比例。这10%的通用数据就像“锚点”时刻提醒模型不要偏离太远。通用数据的比例可以根据实际情况调整如果发现模型在通用任务上性能下降太快可以适当提高这个比例。缩短训练步数持续预训练通常不需要像初始预训练那样训练几十万步。根据数据量训练1-3个epoch或5万到10万步就足够了。过度训练会导致过拟合到领域数据上。使用参数高效微调PEFT技术这是一个更先进的选项。我们可以不更新全部模型参数而是只更新一部分例如采用LoRALow-Rank Adaptation。为模型添加少量的可训练适配层让主体参数保持不动。这能极大减轻遗忘并且节省存储只需保存适配器权重。在持续预训练阶段使用LoRA相当于给模型穿上一件领域的“知识外套”。一个结合了混合数据和LoRA的持续预训练配置思路# 持续预训练配置示意基于Hugging Face Transformers PEFT from peft import LoraConfig, get_peft_model from transformers import Trainer, TrainingArguments # 1. 配置LoRA lora_config LoraConfig( r16, # LoRA的秩影响参数量通常8-64之间 lora_alpha32, target_modules[q_proj, v_proj, k_proj, o_proj], # 针对LLaMA结构的注意力模块 lora_dropout0.1, biasnone, task_typeCAUSAL_LM ) model get_peft_model(base_model, lora_config) # 将基础模型转换为PEFT模型 # 2. 准备混合数据 # 假设 domain_dataset 是领域数据集 general_dataset 是通用数据集 from torch.utils.data import ConcatDataset, DataLoader mixed_dataset ConcatDataset([domain_dataset] * 9 [general_dataset]) # 9:1混合 # 3. 训练参数 training_args TrainingArguments( output_dir./cpt_output, per_device_train_batch_size8, gradient_accumulation_steps4, num_train_epochs2, learning_rate5e-6, # 非常低的学习率 warmup_steps500, logging_steps100, save_steps1000, fp16True, # 或bf16 gradient_checkpointingTrue, optimadamw_torch, report_totensorboard, )注意事项持续预训练后务必进行全面的评估。不仅要看领域内任务的性能如领域知识问答还必须评估通用能力如MMLU、HellaSwag等基准测试的一部分。如果通用能力下降超过5%可能需要调整混合数据比例、降低学习率或减少训练步数。记住我们的目标是得到一个“博学的专家”而不是一个“偏科的傻子”。5. 阶段三中训练——激活指令理解与推理雏形这是四段式中最具技巧性的一环也是效果提升最明显的阶段之一。中训练的数据不像SFT数据那样需要人工精标但也不能直接用爬来的杂乱对话。5.1 中训练数据的合成与筛选策略我们的目标是制造一批能“教”模型理解指令格式、并尝试调用知识进行回应的数据。来源主要有三公开指令数据集清洗例如Alpaca数据、ShareGPT数据经过脱敏和格式标准化。但这些数据质量不均需要清洗掉回答过于简短、无意义或包含不安全内容的部分。规则模板合成这是中训练数据的核心来源。针对你的领域设计一系列指令模板和内容填充规则。模板示例法律领域指令请根据《{法律名称}》第{条款号}条分析以下情景中{主体}的行为是否构成{法律概念}。情景{具体情景描述}回答根据《{法律名称}》第{条款号}条规定“{条款内容}”。在本情景中{主体}的行为表现为{行为描述}。该行为{符合/不符合}上述条款中关于{法律概念}的构成要件因为{简要分析}。因此{结论}。填充方法从你的领域文本库持续预训练用的数据中通过NER提取实体如法律名称、条款号、概念或使用关键词匹配将实体填入模板的占位符。回答部分可以先用规则生成一个粗糙的版本甚至可以用一个中等能力的模型如经过初步SFT的模型来生成初稿再进行批量润色和规则校验。业务日志弱标注如果有用户查询日志可以将其作为“指令”然后使用一个规则系统或一个较强的基线模型如GPT-4批量生成“回答”作为训练数据。这本质上是一种自蒸馏self-distillation或弱监督。数据筛选的黄金法则是宁可少而精不可多而杂。剔除那些指令模糊、回答明显错误或包含幻觉、格式严重不规范的数据。保留那些指令清晰、回答虽不完美但逻辑通顺、至少调用了一部分相关知识的样本。5.2 训练技巧损失函数与课程学习的结合中训练阶段我们开始使用标准的指令微调损失即只对“回答”部分的token计算损失忽略“指令”部分的损失。这迫使模型专注于学习如何生成正确的回应。更高级的技巧是引入课程学习。我们可以将中训练数据按照难度分级Level 1简单事实性问答、定义解释。例如“什么是牛顿第一定律”Level 2中等多步骤推理、简单分析。例如“根据牛顿定律解释为什么汽车启动时乘客会向后倾。”Level 3困难开放域分析、比较、创作。例如“比较牛顿力学和爱因斯坦相对论在解释引力上的异同。”训练时先从Level 1的数据开始训练一定步数让模型掌握最基本的指令-回答格式和事实回忆。然后加入Level 2的数据继续训练最后加入Level 3的数据。这种渐进式的训练方式能让模型的学习过程更平稳效果通常比混在一起训练更好。在训练过程中监控指标除了训练损失更重要的是人工评测或使用一个评估模型如用GPT-4作为裁判对模型生成结果进行抽样评估关注其指令遵循程度、相关性和事实准确性。实操心得中训练阶段模型可能会开始出现“幻觉”即编造不存在的信息。这是正常现象说明模型在尝试进行组合和创造但知识边界还不清晰。不要在这个阶段过度追求事实完全正确那是冷启动SFT的任务。中训练的重点是“敢想敢说”格式正确逻辑基本通顺。如果幻觉比例过高说明你的中训练数据里可能包含了太多错误或模糊的信息需要回头加强数据清洗。6. 阶段四冷启动SFT——小数据撬动大能力经过前三轮的“培养”模型已经是一个知识渊博、且初步懂得如何交流的“准专家”了。冷启动SFT就是请来最顶尖的“导师”进行最后的关键点拨。6.1 高质量SFT数据集的打造冷启动SFT的数据每一条都应该是精品。500-2000条足矣但需要满足以下标准多样性覆盖你期望模型处理的所有核心任务类型问答、分析、总结、创作、代码、推理等。复杂性包含需要多步推理、知识综合、批判性思维的问题。避免全是简单的单轮问答。规范性回答在事实、逻辑、格式、语言风格上都是典范。例如法律咨询的回答应严谨、引用准确创意写作的回答应生动、有文采。价值观对齐回答必须安全、无害、符合伦理。这是注入价值观的关键关口。数据的生产可以是专家创作请领域专家直接撰写问题和标准答案。种子数据扩充用少量专家创作的数据作为种子使用强模型如GPT-4在种子数据的风格和约束下生成更多类似的对话对再由专家审核修正。这能有效扩大数据规模。对抗性挖掘让模型中训练后的版本生成一些回答由专家找出其中的错误、偏见或不妥之处然后修正这些回答形成“错误-纠正”对这也是非常宝贵的数据。6.2 训练细节与过拟合的预防冷启动SFT数据量小极易过拟合。过拟合的模型在训练数据上表现完美但遇到新问题就胡言乱语。防治措施包括极小的学习率与极短的训练轮次学习率通常在1e-6到5e-6之间。训练轮次epoch通常只有1-3轮。很多时候甚至只训练半个epoch遍历一半数据效果就已经很好。必须使用验证集从高质量数据中留出10%-20%来严格监控验证损失一旦发现验证损失开始上升立即停止训练早停Early Stopping。使用Dropout确保模型训练时的Dropout是开启的这能提供正则化效果。模型集成与选择在训练的最后阶段可以每隔一定步数保存一个检查点。最后在验证集上评估所有这些检查点选择验证损失最低或人工评估最好的那个而不是直接用最终检查点。一个典型的冷启动SFT训练循环可能像这样# 冷启动SFT简化流程示意 from transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./sft_final, per_device_train_batch_size4, # 批量可以小一些 gradient_accumulation_steps8, num_train_epochs2, # 轮次很少 learning_rate2e-6, # 学习率极低 warmup_ratio0.1, # 热身比例 logging_steps10, eval_steps50, # 频繁验证 save_steps100, evaluation_strategysteps, # 按步评估 save_strategysteps, load_best_model_at_endTrue, # 保存最佳模型 metric_for_best_modeleval_loss, # 根据验证损失选最佳 greater_is_betterFalse, fp16True, report_totensorboard, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, # 必须有验证集 # ... data_collator, tokenizer 等 ) trainer.train()核心技巧冷启动SFT后不要立刻进行全量评估。先做两件事一是进行极端样本测试输入一些非常规的、边界的指令看模型是否会崩溃或产生有害输出二是进行敏感性测试对同一个问题的问法做微小改动如增减几个字看模型的回答是否稳定。这能帮你发现模型在泛化性和鲁棒性上的潜在问题。7. 全流程串联、评估与避坑指南将四个阶段串联起来形成一个完整的训练流水线并建立可靠的评估体系是项目成功的关键。7.1 阶段衔接与检查点管理每个阶段结束后都必须保存一个完整的模型检查点并对其进行阶段性的评估。评估不是等到最后才做。预训练后评估基础语言建模能力困惑度以及在一些通用基准如LAMBADA、PIQA上的零样本zero-shot表现。确保基座是健康的。持续预训练后评估领域知识构造领域内的事实性问答测试集和通用能力用通用基准测试。确保没有严重遗忘。中训练后评估指令遵循能力。可以构造一个简单的指令集人工或使用模型如GPT-4作为裁判评估其回答的相关性、格式正确性和基础逻辑性。冷启动SFT后进行全面评估包括领域任务评测、安全性评测、泛化性评测等。建议建立一个检查点目录结构例如checkpoints/ ├── pretrain/epoch_001/ ├── cpt/epoch_002_mixed/ # 持续预训练检查点 ├── mid_train/epoch_001_course/ # 中训练检查点 └── sft_final/best_model/ # 最终SFT模型每个目录下不仅保存模型权重还应保存训练用的配置文件、关键超参数和该阶段的评估报告。7.2 多维度评估体系构建单一的评估指标不足以衡量模型好坏。我们建议从四个维度构建评估体系评估维度评估方法工具/示例能力评估1.领域任务评测集手工构建或从权威数据集中抽取。2.通用基准测试MMLU, HellaSwag, GSM8K等选相关子集。3.人工评测设计评分卡对生成结果在事实性、逻辑性、有用性等方面打分。自建测试集、EleutherAI LM Evaluation Harness、人工评分平台安全性评估1.对抗性提示测试使用一组设计好的“越狱”或诱导性提示测试模型是否会产生有害内容。2.偏见探测使用包含性别、种族、地域等敏感属性的测试句检查模型输出是否包含刻板印象。自建红队测试集、UnsafeBench等开源基准泛化性评估1.分布外OOD测试使用与训练数据分布差异较大的指令进行测试。2.指令扰动测试对同一个问题换多种问法看回答是否一致、稳定。自建OOD测试集效率评估1.推理速度平均生成每个token的延迟。2.资源占用模型加载后的GPU内存占用。脚本测试、vLLM或TGI等推理框架的监控指标7.3 常见问题排查与实战避坑以下是我们实践中遇到的一些典型问题及解决方案问题1训练损失不下降或波动剧烈。可能原因学习率设置不当数据质量太差噪声多、重复多批次内数据长度差异过大导致填充过多。排查检查数据清洗日志可视化一小批数据的长度分布尝试降低学习率并增加热身步数检查梯度范数是否爆炸。问题2模型在通用基准上表现严重下降持续预训练后。可能原因灾难性遗忘。领域数据比例过高或训练步数过多。解决增加混合数据中通用数据的比例如从10%调到20%大幅降低学习率采用LoRA等PEFT方法减少训练epoch数。问题3中训练后模型经常答非所问或格式混乱。可能原因中训练数据质量不高指令-回答对匹配不佳训练不足或过拟合。解决严格清洗中训练数据确保指令清晰、回答相关尝试课程学习从简单数据开始适当增加训练数据量或训练步数。问题4冷启动SFT后模型变得“呆板”或创造性下降。可能原因过拟合。SFT数据量太少且多样性不足模型机械记忆了标准答案。解决增加SFT数据的多样性特别是增加一些需要创造性和多解问题的数据减少训练epoch使用更激进的早停尝试在损失函数中加入鼓励多样性的项如降低重复惩罚。问题5最终模型生成速度慢。可能原因模型本身参数量大未使用优化的推理框架生成参数如beam search宽度设置过高。解决考虑模型量化如GPTQ、AWQ或蒸馏以减小模型尺寸使用vLLM、TGI或FasterTransformer等高性能推理框架对于大多数任务使用贪婪解码greedy decoding或采样sampling即可beam search通常不必要且耗时。这套四段式训练编排本质上是将复杂的模型调优过程模块化、精细化。它要求我们对每个阶段的目标有清晰的认识并配以相应的数据策略和训练技巧。它可能不是最快的路径但往往是在资源受限条件下通向一个稳健、可靠、高性能领域模型的最踏实路径。在实际操作中灵活运用这些阶段根据你的数据和目标动态调整才是最重要的。
1. 项目概述重新审视大模型训练的“四段式”编排最近和几个做模型训练的朋友聊天发现一个挺有意思的现象大家一提到大模型训练脑子里蹦出来的还是“预训练 SFT RLHF”这个经典三板斧。但真正在资源有限、数据质量参差不齐的现实条件下想把一个模型从零训到好用这套流程的颗粒度就显得有点粗了。我们团队在折腾了几个项目后逐渐摸索并固化了一套更精细的“四段式”训练编排策略也就是标题里提到的“预训练、持续预训练、中训练、冷启动 SFT”。这听起来像是把简单问题复杂化了但实操下来恰恰是这种“分而治之”的思路让我们在有限的算力和数据下把模型潜力榨取得更充分也避开了不少训练早期容易踩的坑。简单来说这四段式不是凭空创造的新阶段而是对传统流程的一次深度解构和重组。它背后的核心思想借鉴了人类教育中的“课程学习”理念你不能指望一个刚学会识字的小学生直接去啃微积分教材并指望他融会贯通。模型训练也一样我们需要设计一个由易到难、循序渐进的学习路径。预训练是打下通用知识的底子持续预训练是在这个底子上针对特定领域进行知识强化和填充中训练则是一个关键的“桥梁”阶段负责将前面学到的、可能还比较“沉默”的知识激活并转化为初步的指令跟随和逻辑推理能力最后的冷启动 SFT才是用高质量、小批量的精标数据对模型进行最后的“精雕细琢”和价值观对齐。这套方法特别适合哪些场景呢如果你是在做一个垂直领域的专用模型比如法律、医疗、金融或者你的高质量指令数据非常稀缺又或者你手头只有一些“不那么干净”的领域文本那么这种分阶段的精细化训练编排很可能就是提升最终效果、降低调优成本的关键。接下来我就把这四个阶段拆开揉碎了结合我们踩过的坑和总结的经验跟大家详细聊聊每一步到底在做什么、为什么要这么做以及具体怎么操作。2. 核心思路拆解为什么是“四段式”而非“三段式”要理解四段式的价值得先看看经典三段式预训练、SFT、RLHF/PBO在现实落地时遇到的挑战。最大的问题出在“预训练”和“SFT”之间存在一个巨大的能力鸿沟。预训练模型尤其是基于海量互联网文本训练的模型它擅长的是“续写”是根据上文预测下一个token的概率。它肚子里可能装了很多领域知识但并不知道如何以“问答”、“分析”、“总结”等指令形式把这些知识组织输出给你。直接上SFT就好比让一个饱读诗书但从未上过演讲课的人突然去参加辩论赛——他可能知识储备足够但表达逻辑、节奏、针对性都一塌糊涂。2.1 “中训练”的桥梁价值从“知道”到“会用”这就是我们引入“中训练”的核心原因。中训练的目标不是教模型新知识而是激发和转化其已有的知识让它初步学会如何响应人类的指令。我们通常使用规模较大、质量中等偏上、格式相对规范的指令数据来完成这一步。这些数据可能来自公开的指令数据集经过清洗、用规则生成的合成数据或者是业务中积累的、尚未经过精细标注的对话日志。举个例子在训练一个法律咨询模型时预训练阶段我们喂给它大量的法律条文、判决文书、学术论文。持续预训练阶段我们可能再补充一些最新的司法解释、某细分领域如知识产权的专论文本。到了中训练阶段我们使用的数据可能是这样的“根据《合同法》第X条请分析以下案例中甲方的违约责任是否成立。案例……”。模型在预训练阶段已经“见过”《合同法》条文和相关案例描述中训练则教会它如何将这两者关联起来并按照“分析”这个指令进行组织输出。这个阶段不追求答案的绝对精确和完美而是追求模型能理解指令意图并调用相关知识进行有一定逻辑的回应。2.2 “持续预训练”与“预训练”的区分知识深化与领域适应很多人会把持续预训练和预训练混为一谈或者认为用领域数据继续预训练就行了。这里有个关键区别目标不同。初始预训练的目标是构建一个具备通用语言理解和世界知识的基础模型数据极其庞杂。而持续预训练的目标非常明确——领域知识深化与表征对齐。这意味着持续预训练阶段使用的数据应该是目标领域内纯净、连贯、信息密度高的文本。比如医学领域就使用教科书、权威期刊论文、诊疗指南。这个阶段的学习率通常比初始预训练小一个数量级目的是让模型在不破坏已有通用能力的前提下将网络参数向目标领域的数据分布做温和的偏移让领域相关概念的内部表征变得更清晰、更突出。你可以理解为在通用的大脑皮层上刻画出一道更深的、属于特定领域的“沟回”。2.3 “冷启动SFT”的定位高效率的精准调优传统的SFT往往需要成千上万甚至几十万的高质量对话数据这对很多团队来说是难以承受的成本。冷启动SFT的核心思想是在模型已经通过前三个阶段具备了足够的知识和初步的指令理解能力后我们只需要一个“小火花”就能引燃它的全部潜力。这个阶段的数据贵精不贵多通常500-2000条足矣。但每一条都必须是精心设计和标注的典范覆盖核心场景、体现复杂的推理链、并符合期望的输出格式和价值观。因为模型底子已经打好了所以它对这些高质量样本的学习效率会极高能快速对齐到我们期望的交互模式上。这大大降低了数据标注的成本和门槛。注意四段式并非固定不变的金科玉律。如果你的领域与预训练数据分布非常接近或者你拥有海量高质量的指令数据那么持续预训练或中训练阶段可能可以简化甚至跳过。这套方法的核心优势在于应对“数据少、质量杂、领域专”的挑战时提供了更精细的控制杆。3. 阶段一预训练——构建通用知识基座预训练是整个大厦的地基它的质量直接决定了模型能力的天花板。虽然很多团队现在直接从开源基座模型开始但理解预训练的关键对于后续的持续预训练和问题排查至关重要。3.1 数据配比与清洗的实战经验预训练数据的核心在于“量”和“质”的平衡以及不同来源数据的配比。一个常见的配比思路是高质量网页过滤数据如C4、RefinedWeb占40%-50%书籍与学术论文占20%-30%代码数据占5%-10%多语言数据根据需求占5%-15%。这个配比不是绝对的需要根据目标模型的语言倾向中文/英文/中英混合和能力侧重点推理/代码/知识进行调整。数据清洗是脏活累活但至关重要。除了常规的去重、过滤低质量文本、去除特殊字符有几点我们踩过坑段落完整性确保文本切割时保持段落和句子的完整。随意地从中间切断一个句子会给模型引入大量的噪声学习到错误的上下文依赖。代码数据特殊处理代码数据不要简单地当成文本混入。建议单独处理确保代码片段如函数、类定义的完整性并可以尝试使用像CodeParrot或PolyCoder这类专门在代码上预训练的tokenizer或者至少确保你的通用tokenizer对代码的分词是友好的。“有毒”内容过滤需要使用多轮关键词、分类器如Detoxify或规则进行严格过滤。这一步宁严勿松因为后期想要从模型中去掉这些偏见成本极高。3.2 关键超参数设置与考量预训练的超参数设置已经有很多公开的最佳实践如LLaMA、GPT-NeoX的报告这里强调几个容易被忽视但影响巨大的点学习率与热身我们采用余弦衰减学习率调度。热身步数warmup steps通常设置为总步数的1%到2%。这个阶段让模型参数平稳地进入训练状态避免初期梯度爆炸。对于大规模训练足够长的热身至关重要。批量大小Batch Size在GPU内存允许的前提下尽可能使用大的全局批量大小Global Batch Size。大的批量能提供更稳定的梯度估计有利于收敛。通常通过梯度累积Gradient Accumulation来模拟大批量。例如单卡批量设为4累积步数为32则全局批量大小为128。权重衰减与梯度裁剪权重衰减Weight Decay一般设为0.1用于防止过拟合。梯度裁剪Gradient Clipping的阈值通常设为1.0。这是一个安全网防止训练不稳定时梯度爆炸但在数据质量高、训练稳定的情况下有时不裁剪也能正常训练。序列长度尽可能使用模型支持的最大序列长度如2048、4096。更长的序列能让模型学习到更长距离的依赖对于理解文档、代码、长对话至关重要。需要确保你的数据清洗和拼接策略能生成足够多的长序列样本。我们一个实际的训练配置片段基于Megatron-LM或DeepSpeed框架的思想如下这并非可直接运行的代码而是关键参数的逻辑示意# 关键训练参数示意 training_args { per_device_train_batch_size: 4, # 单卡批量 gradient_accumulation_steps: 32, # 梯度累积步数 global_batch_size: 128, # 全局批量 4 * 32 learning_rate: 3e-4, # 初始学习率 lr_scheduler_type: cosine, # 余弦衰减 num_warmup_steps: 2000, # 热身步数约总步数1.5% num_train_epochs: 1, # 通常只跑一个epoch max_steps: 150000, # 总训练步数 weight_decay: 0.1, max_grad_norm: 1.0, # 梯度裁剪阈值 bf16: True, # 使用BF16混合精度训练 gradient_checkpointing: True, # 激活梯度检查点节省显存 }实操心得预训练初期一定要密切监控损失曲线loss curve和梯度范数grad norm。一个健康的损失曲线应该平滑下降初期下降快后期缓慢逼近一个平台。梯度范数应保持相对稳定剧烈波动可能预示着数据有问题、学习率太高或模型架构不稳定。建议每100-500步就保存一次检查点checkpoint并在验证集上评估困惑度perplexity这是衡量预训练质量最直接的指标。4. 阶段二持续预训练——领域知识的深度灌注拿到一个不错的基座模型后如果你要让它精通某个垂直领域持续预训练是性价比最高的第一步。这个阶段的目标是“润物细无声”把领域知识“腌”进模型的参数里。4.1 领域数据集的构建与处理持续预训练的数据质量要求比初始预训练更高。核心原则是纯净、连贯、高信息密度。来源专业书籍、学术论文PDF、权威机构白皮书、高质量的领域百科或论坛精华帖。避免使用新闻、社交媒体等噪声较大的文本。处理格式转换与提取PDF文件使用像pymupdf或pdfplumber这样的库进行文本提取特别注意保留图表标题、参考文献等结构化信息这些往往是知识的关键锚点。深度清洗去除页眉页脚、参考文献列表除非将其作为学习材料、无关的广告和导航文本。对于从网页抓取的内容需要特别小心JavaScript代码、导航菜单等无关内容的残留。长文档处理领域文档通常很长。不要简单截断而是按照其自然结构如章节、小节进行分割确保每个片段在语义上是完整的。例如将一个完整的“病因与病理”小节作为一个样本。4.2 训练策略与灾难性遗忘的缓解持续预训练最大的风险是“灾难性遗忘”——模型学会了新知识却把之前宝贵的通用能力给忘了。为了缓解这个问题我们采用以下策略组合拳极低的学习率通常设置在5e-6到1e-5之间是初始预训练学习率的十分之一甚至更低。慢工出细活让参数进行微调而非剧烈转向。混合数据训练这是最关键的一招。不要100%使用领域数据。我们通常采用90%领域数据 10%通用预训练数据随机采样的混合比例。这10%的通用数据就像“锚点”时刻提醒模型不要偏离太远。通用数据的比例可以根据实际情况调整如果发现模型在通用任务上性能下降太快可以适当提高这个比例。缩短训练步数持续预训练通常不需要像初始预训练那样训练几十万步。根据数据量训练1-3个epoch或5万到10万步就足够了。过度训练会导致过拟合到领域数据上。使用参数高效微调PEFT技术这是一个更先进的选项。我们可以不更新全部模型参数而是只更新一部分例如采用LoRALow-Rank Adaptation。为模型添加少量的可训练适配层让主体参数保持不动。这能极大减轻遗忘并且节省存储只需保存适配器权重。在持续预训练阶段使用LoRA相当于给模型穿上一件领域的“知识外套”。一个结合了混合数据和LoRA的持续预训练配置思路# 持续预训练配置示意基于Hugging Face Transformers PEFT from peft import LoraConfig, get_peft_model from transformers import Trainer, TrainingArguments # 1. 配置LoRA lora_config LoraConfig( r16, # LoRA的秩影响参数量通常8-64之间 lora_alpha32, target_modules[q_proj, v_proj, k_proj, o_proj], # 针对LLaMA结构的注意力模块 lora_dropout0.1, biasnone, task_typeCAUSAL_LM ) model get_peft_model(base_model, lora_config) # 将基础模型转换为PEFT模型 # 2. 准备混合数据 # 假设 domain_dataset 是领域数据集 general_dataset 是通用数据集 from torch.utils.data import ConcatDataset, DataLoader mixed_dataset ConcatDataset([domain_dataset] * 9 [general_dataset]) # 9:1混合 # 3. 训练参数 training_args TrainingArguments( output_dir./cpt_output, per_device_train_batch_size8, gradient_accumulation_steps4, num_train_epochs2, learning_rate5e-6, # 非常低的学习率 warmup_steps500, logging_steps100, save_steps1000, fp16True, # 或bf16 gradient_checkpointingTrue, optimadamw_torch, report_totensorboard, )注意事项持续预训练后务必进行全面的评估。不仅要看领域内任务的性能如领域知识问答还必须评估通用能力如MMLU、HellaSwag等基准测试的一部分。如果通用能力下降超过5%可能需要调整混合数据比例、降低学习率或减少训练步数。记住我们的目标是得到一个“博学的专家”而不是一个“偏科的傻子”。5. 阶段三中训练——激活指令理解与推理雏形这是四段式中最具技巧性的一环也是效果提升最明显的阶段之一。中训练的数据不像SFT数据那样需要人工精标但也不能直接用爬来的杂乱对话。5.1 中训练数据的合成与筛选策略我们的目标是制造一批能“教”模型理解指令格式、并尝试调用知识进行回应的数据。来源主要有三公开指令数据集清洗例如Alpaca数据、ShareGPT数据经过脱敏和格式标准化。但这些数据质量不均需要清洗掉回答过于简短、无意义或包含不安全内容的部分。规则模板合成这是中训练数据的核心来源。针对你的领域设计一系列指令模板和内容填充规则。模板示例法律领域指令请根据《{法律名称}》第{条款号}条分析以下情景中{主体}的行为是否构成{法律概念}。情景{具体情景描述}回答根据《{法律名称}》第{条款号}条规定“{条款内容}”。在本情景中{主体}的行为表现为{行为描述}。该行为{符合/不符合}上述条款中关于{法律概念}的构成要件因为{简要分析}。因此{结论}。填充方法从你的领域文本库持续预训练用的数据中通过NER提取实体如法律名称、条款号、概念或使用关键词匹配将实体填入模板的占位符。回答部分可以先用规则生成一个粗糙的版本甚至可以用一个中等能力的模型如经过初步SFT的模型来生成初稿再进行批量润色和规则校验。业务日志弱标注如果有用户查询日志可以将其作为“指令”然后使用一个规则系统或一个较强的基线模型如GPT-4批量生成“回答”作为训练数据。这本质上是一种自蒸馏self-distillation或弱监督。数据筛选的黄金法则是宁可少而精不可多而杂。剔除那些指令模糊、回答明显错误或包含幻觉、格式严重不规范的数据。保留那些指令清晰、回答虽不完美但逻辑通顺、至少调用了一部分相关知识的样本。5.2 训练技巧损失函数与课程学习的结合中训练阶段我们开始使用标准的指令微调损失即只对“回答”部分的token计算损失忽略“指令”部分的损失。这迫使模型专注于学习如何生成正确的回应。更高级的技巧是引入课程学习。我们可以将中训练数据按照难度分级Level 1简单事实性问答、定义解释。例如“什么是牛顿第一定律”Level 2中等多步骤推理、简单分析。例如“根据牛顿定律解释为什么汽车启动时乘客会向后倾。”Level 3困难开放域分析、比较、创作。例如“比较牛顿力学和爱因斯坦相对论在解释引力上的异同。”训练时先从Level 1的数据开始训练一定步数让模型掌握最基本的指令-回答格式和事实回忆。然后加入Level 2的数据继续训练最后加入Level 3的数据。这种渐进式的训练方式能让模型的学习过程更平稳效果通常比混在一起训练更好。在训练过程中监控指标除了训练损失更重要的是人工评测或使用一个评估模型如用GPT-4作为裁判对模型生成结果进行抽样评估关注其指令遵循程度、相关性和事实准确性。实操心得中训练阶段模型可能会开始出现“幻觉”即编造不存在的信息。这是正常现象说明模型在尝试进行组合和创造但知识边界还不清晰。不要在这个阶段过度追求事实完全正确那是冷启动SFT的任务。中训练的重点是“敢想敢说”格式正确逻辑基本通顺。如果幻觉比例过高说明你的中训练数据里可能包含了太多错误或模糊的信息需要回头加强数据清洗。6. 阶段四冷启动SFT——小数据撬动大能力经过前三轮的“培养”模型已经是一个知识渊博、且初步懂得如何交流的“准专家”了。冷启动SFT就是请来最顶尖的“导师”进行最后的关键点拨。6.1 高质量SFT数据集的打造冷启动SFT的数据每一条都应该是精品。500-2000条足矣但需要满足以下标准多样性覆盖你期望模型处理的所有核心任务类型问答、分析、总结、创作、代码、推理等。复杂性包含需要多步推理、知识综合、批判性思维的问题。避免全是简单的单轮问答。规范性回答在事实、逻辑、格式、语言风格上都是典范。例如法律咨询的回答应严谨、引用准确创意写作的回答应生动、有文采。价值观对齐回答必须安全、无害、符合伦理。这是注入价值观的关键关口。数据的生产可以是专家创作请领域专家直接撰写问题和标准答案。种子数据扩充用少量专家创作的数据作为种子使用强模型如GPT-4在种子数据的风格和约束下生成更多类似的对话对再由专家审核修正。这能有效扩大数据规模。对抗性挖掘让模型中训练后的版本生成一些回答由专家找出其中的错误、偏见或不妥之处然后修正这些回答形成“错误-纠正”对这也是非常宝贵的数据。6.2 训练细节与过拟合的预防冷启动SFT数据量小极易过拟合。过拟合的模型在训练数据上表现完美但遇到新问题就胡言乱语。防治措施包括极小的学习率与极短的训练轮次学习率通常在1e-6到5e-6之间。训练轮次epoch通常只有1-3轮。很多时候甚至只训练半个epoch遍历一半数据效果就已经很好。必须使用验证集从高质量数据中留出10%-20%来严格监控验证损失一旦发现验证损失开始上升立即停止训练早停Early Stopping。使用Dropout确保模型训练时的Dropout是开启的这能提供正则化效果。模型集成与选择在训练的最后阶段可以每隔一定步数保存一个检查点。最后在验证集上评估所有这些检查点选择验证损失最低或人工评估最好的那个而不是直接用最终检查点。一个典型的冷启动SFT训练循环可能像这样# 冷启动SFT简化流程示意 from transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./sft_final, per_device_train_batch_size4, # 批量可以小一些 gradient_accumulation_steps8, num_train_epochs2, # 轮次很少 learning_rate2e-6, # 学习率极低 warmup_ratio0.1, # 热身比例 logging_steps10, eval_steps50, # 频繁验证 save_steps100, evaluation_strategysteps, # 按步评估 save_strategysteps, load_best_model_at_endTrue, # 保存最佳模型 metric_for_best_modeleval_loss, # 根据验证损失选最佳 greater_is_betterFalse, fp16True, report_totensorboard, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, # 必须有验证集 # ... data_collator, tokenizer 等 ) trainer.train()核心技巧冷启动SFT后不要立刻进行全量评估。先做两件事一是进行极端样本测试输入一些非常规的、边界的指令看模型是否会崩溃或产生有害输出二是进行敏感性测试对同一个问题的问法做微小改动如增减几个字看模型的回答是否稳定。这能帮你发现模型在泛化性和鲁棒性上的潜在问题。7. 全流程串联、评估与避坑指南将四个阶段串联起来形成一个完整的训练流水线并建立可靠的评估体系是项目成功的关键。7.1 阶段衔接与检查点管理每个阶段结束后都必须保存一个完整的模型检查点并对其进行阶段性的评估。评估不是等到最后才做。预训练后评估基础语言建模能力困惑度以及在一些通用基准如LAMBADA、PIQA上的零样本zero-shot表现。确保基座是健康的。持续预训练后评估领域知识构造领域内的事实性问答测试集和通用能力用通用基准测试。确保没有严重遗忘。中训练后评估指令遵循能力。可以构造一个简单的指令集人工或使用模型如GPT-4作为裁判评估其回答的相关性、格式正确性和基础逻辑性。冷启动SFT后进行全面评估包括领域任务评测、安全性评测、泛化性评测等。建议建立一个检查点目录结构例如checkpoints/ ├── pretrain/epoch_001/ ├── cpt/epoch_002_mixed/ # 持续预训练检查点 ├── mid_train/epoch_001_course/ # 中训练检查点 └── sft_final/best_model/ # 最终SFT模型每个目录下不仅保存模型权重还应保存训练用的配置文件、关键超参数和该阶段的评估报告。7.2 多维度评估体系构建单一的评估指标不足以衡量模型好坏。我们建议从四个维度构建评估体系评估维度评估方法工具/示例能力评估1.领域任务评测集手工构建或从权威数据集中抽取。2.通用基准测试MMLU, HellaSwag, GSM8K等选相关子集。3.人工评测设计评分卡对生成结果在事实性、逻辑性、有用性等方面打分。自建测试集、EleutherAI LM Evaluation Harness、人工评分平台安全性评估1.对抗性提示测试使用一组设计好的“越狱”或诱导性提示测试模型是否会产生有害内容。2.偏见探测使用包含性别、种族、地域等敏感属性的测试句检查模型输出是否包含刻板印象。自建红队测试集、UnsafeBench等开源基准泛化性评估1.分布外OOD测试使用与训练数据分布差异较大的指令进行测试。2.指令扰动测试对同一个问题换多种问法看回答是否一致、稳定。自建OOD测试集效率评估1.推理速度平均生成每个token的延迟。2.资源占用模型加载后的GPU内存占用。脚本测试、vLLM或TGI等推理框架的监控指标7.3 常见问题排查与实战避坑以下是我们实践中遇到的一些典型问题及解决方案问题1训练损失不下降或波动剧烈。可能原因学习率设置不当数据质量太差噪声多、重复多批次内数据长度差异过大导致填充过多。排查检查数据清洗日志可视化一小批数据的长度分布尝试降低学习率并增加热身步数检查梯度范数是否爆炸。问题2模型在通用基准上表现严重下降持续预训练后。可能原因灾难性遗忘。领域数据比例过高或训练步数过多。解决增加混合数据中通用数据的比例如从10%调到20%大幅降低学习率采用LoRA等PEFT方法减少训练epoch数。问题3中训练后模型经常答非所问或格式混乱。可能原因中训练数据质量不高指令-回答对匹配不佳训练不足或过拟合。解决严格清洗中训练数据确保指令清晰、回答相关尝试课程学习从简单数据开始适当增加训练数据量或训练步数。问题4冷启动SFT后模型变得“呆板”或创造性下降。可能原因过拟合。SFT数据量太少且多样性不足模型机械记忆了标准答案。解决增加SFT数据的多样性特别是增加一些需要创造性和多解问题的数据减少训练epoch使用更激进的早停尝试在损失函数中加入鼓励多样性的项如降低重复惩罚。问题5最终模型生成速度慢。可能原因模型本身参数量大未使用优化的推理框架生成参数如beam search宽度设置过高。解决考虑模型量化如GPTQ、AWQ或蒸馏以减小模型尺寸使用vLLM、TGI或FasterTransformer等高性能推理框架对于大多数任务使用贪婪解码greedy decoding或采样sampling即可beam search通常不必要且耗时。这套四段式训练编排本质上是将复杂的模型调优过程模块化、精细化。它要求我们对每个阶段的目标有清晰的认识并配以相应的数据策略和训练技巧。它可能不是最快的路径但往往是在资源受限条件下通向一个稳健、可靠、高性能领域模型的最踏实路径。在实际操作中灵活运用这些阶段根据你的数据和目标动态调整才是最重要的。
