1. 从50万步训练量说起为什么Z-image Base值得单独聊Z-image Base这个底模圈子里的人应该都不陌生。它属于那种“底子干净、上限高、但需要你花心思去喂”的类型。我前后用四个不同的训练器跑了累计超过50万步从最开始用Ai Toolkit跑废了三炉到后来在魔搭上把免费额度榨干再到WhiteTuner上找到相对舒服的节奏最后用None Z Trainer做了一轮精细化的收尾训练。这个过程里踩的坑、总结出来的参数逻辑、以及人脸一致性那个“邪修”路子我觉得有必要完整地梳理一遍。这篇文章适合谁看如果你手里有Z-image Base这个底模想训练出稳定的人脸LoRA或者风格LoRA但不确定该选哪个训练器、参数怎么配、人脸崩了怎么救那这篇内容基本能覆盖你的需求。如果你是完全的新手我也尽量把每个环节的“为什么”讲清楚让你知道每一步操作背后的逻辑而不是照抄参数。先给一个整体判断Z-image Base的训练核心矛盾在于底模本身对数据的敏感度比较高。它不像某些底模那样“给什么吃什么”Z-image Base对训练集的构图、人脸角度分布、以及tag的精确度都有比较明显的要求。这就导致训练器的选择变得很重要——不同训练器在数据预处理、学习率调度、显存优化上的策略差异会直接反映在最终出图的稳定性和人脸相似度上。我这次50万步的经验主要围绕四个训练器展开None Z Trainer、Ai Toolkit、魔搭ModelScope的在线训练、以及WhiteTuner。这四个工具各有各的脾气下面我会从整体设计思路开始逐步拆到每个训练器的实操细节最后重点讲人脸一致性那个“邪修”方法。2. 训练器选型的底层逻辑为什么不是随便选一个就行2.1 四个训练器的定位差异在动手之前得先搞清楚这四个工具分别是什么定位。很多人一上来就问“哪个最好”这个问题本身就不对因为它们的适用场景不一样。None Z Trainer是一个偏底层的训练框架它的优势在于参数暴露得非常彻底学习率调度、优化器选择、梯度累积、EMA这些都能手动调。缺点是上手门槛高配置文件写错一个参数就可能跑出一炉废片。它适合那种已经跑过几轮、知道自己要什么的人。Ai Toolkit是WebUI生态里比较早支持Z-image系列的训练插件它的特点是集成度高和主流的出图界面衔接顺畅。但它的默认参数偏向保守学习率给得比较低导致训练步数需要拉得很长才能出效果。我前几炉用Ai Toolkit跑就是因为步数不够人脸一直“糊”着。魔搭是在线训练平台最大的好处是不吃本地显存而且有免费额度。但它的免费额度计算方式是按训练时长和GPU类型来的具体规则后面会细说。魔搭的Z-image训练模板做得比较规范适合没有本地显卡或者想快速验证参数的人。WhiteTuner是一个相对小众但口碑不错的训练器它的特点是在数据增强和正则化上做了不少内置策略对Z-image Base这种敏感底模比较友好。我后来主要用WhiteTuner做主力训练再用None Z Trainer做微调。2.2 选型的三个核心判断维度我总结下来选训练器主要看三个维度第一是显存占用和batch size的平衡。Z-image Base在512分辨率下训练如果开batch size 4显存占用大概在12G左右取决于是否开梯度检查点。Ai Toolkit在这块优化得一般batch size 2就可能爆显存。WhiteTuner和None Z Trainer支持梯度累积可以用小batch模拟大batch的效果这对显存有限的机器很关键。第二是学习率调度策略。Z-image Base对学习率比较敏感太高会导致过拟合和色彩偏移太低则训练效率极差。Ai Toolkit默认用的是cosine衰减初始学习率1e-4实测下来偏保守。WhiteTuner默认用constant加warmup初始学习率可以给到2e-4甚至3e-4收敛更快。None Z Trainer则完全手动我一般用warmup 500步加cosine衰减到1e-6。第三是数据预处理和增强。这是最容易被忽略但影响最大的环节。Z-image Base对训练集的构图很敏感如果训练集里人脸都是正面大头照出图时稍微偏一点角度就会崩。WhiteTuner内置了随机裁剪、水平翻转、轻微旋转这些增强能一定程度上缓解这个问题。魔搭的在线模板则相对“老实”增强策略比较少需要自己在数据集准备阶段就做好角度分布。2.3 我的实际组合策略跑了50万步之后我现在的策略是用WhiteTuner做主力训练魔搭做快速验证None Z Trainer做最终微调Ai Toolkit基本弃用。具体来说先用魔搭的免费额度跑一个短步数比如5000步的验证看看数据集和tag有没有大问题。确认没问题后把配置迁移到WhiteTuner上跑主力训练一般跑2万到3万步。最后如果人脸一致性还不够用None Z Trainer加载WhiteTuner的checkpoint用极低学习率再跑2000到3000步做微调。这个组合的逻辑是魔搭验证成本最低WhiteTuner训练效率最高None Z Trainer微调最精细。Ai Toolkit因为学习率策略太保守同样的步数下效果明显落后除非你有特殊需求否则不建议作为主力。3. 数据集准备Z-image Base吃什么样的数据3.1 人脸LoRA的数据集构成Z-image Base训练人脸LoRA数据集的质量比数量重要得多。我试过用50张图跑也试过用200张图跑最后发现30到50张高质量、多角度的图效果反而比200张杂乱图好。具体来说数据集应该包含这些角度正面平视5到8张这是基础左右侧脸各15度各3到5张左右侧脸各30度各2到3张仰视和俯视各2到3张不同表情微笑、严肃、张嘴各2到3张不同光照室内暖光、室外自然光、冷光各2到3张为什么要这么分布因为Z-image Base在训练时会把“人脸”这个概念和训练集里的角度分布绑定。如果你只给正面图模型就认为“人脸正面”出图时一旦提示词里出现“侧脸”或者“看向左边”模型就会强行把正面脸扭过去结果就是崩脸。3.2 图片预处理的关键参数图片分辨率统一到512x512或者768x768。Z-image Base在512下训练最稳768下细节更好但显存占用翻倍。我一般用512训练出图时再靠高清修复拉上去。裁剪的时候要注意人脸在画面中的占比不要太大也不要太小。理想情况下人脸占画面高度的40%到60%。占比太大模型会过度关注五官细节忽略整体结构占比太小模型学不到足够的人脸特征。这里有个实操心得用自动裁剪工具比如基于人脸检测的裁剪脚本批量处理之后一定要手动过一遍。自动裁剪经常会把下巴或者额头切掉这种图混进数据集里训练出来的人脸会“缺一块”。3.3 Tag标注的颗粒度Z-image Base对tag的敏感度比SD1.5高不少。我的经验是核心触发词用1到2个不要多描述性tag要精确不要堆砌。比如训练一个特定人脸触发词用“ohwx person”就够了。然后每张图标注性别、大致年龄、发型、表情、角度、光照、背景类型。不要写“beautiful”“masterpiece”这种质量词这些应该放在出图时的正向提示词里而不是训练集里。有个坑要注意如果你在训练集里给所有图都标了“smiling”那出图时不写“smiling”模型也会默认带微笑。所以表情tag要按实际情况标不要偷懒统一写。4. 四个训练器的实操细节与参数配置4.1 WhiteTuner主力训练器的完整配置WhiteTuner的配置文件我改过很多版下面这版是跑了大概15万步之后稳定下来的model: base: z-image-base resolution: 512 network_dim: 32 network_alpha: 16 training: batch_size: 2 gradient_accumulation_steps: 4 learning_rate: 2.5e-4 lr_scheduler: cosine_with_warmup warmup_steps: 500 max_train_steps: 25000 save_every_n_steps: 2500 optimizer: adamw8bit mixed_precision: fp16 gradient_checkpointing: true augmentation: random_crop: true horizontal_flip: true rotation: 5 color_jitter: 0.05 regularization: noise_offset: 0.05 min_snr_gamma: 5几个关键参数的解释network_dim 32 / alpha 16这是LoRA的秩和缩放系数。Z-image Base用32的秩足够再高容易过拟合。alpha设为dim的一半是常见做法能让训练更稳定。learning_rate 2.5e-4这个学习率比Ai Toolkit默认的高不少但配合cosine_with_warmup前期有500步的预热不会崩。实测下来2.5e-4在15000步左右就能出比较清晰的人脸Ai Toolkit的1e-4要到25000步以上。gradient_accumulation_steps 4batch size 2乘以累积4等效batch size 8。这样显存占用控制在10G左右同时保持了训练的稳定性。noise_offset 0.05这个参数对Z-image Base比较重要能减少出图时的“灰雾感”。Z-image Base如果不加noise offset暗部容易发灰。min_snr_gamma 5这是对高噪声步的加权策略能让模型更关注去噪的早期阶段对人脸结构的形成有帮助。4.2 魔搭在线训练免费额度的正确用法魔搭的免费额度是按“GPU时长”算的。具体来说它提供一定量的免费GPU小时数不同规格的GPU消耗倍率不一样。比如A10的消耗倍率是1A100可能是2或者3。具体数字平台会调整但逻辑是用低规格GPU跑长训练比用高规格GPU跑短训练更省额度。我的用法是用A10跑验证训练5000步大概消耗1到2个小时的额度。确认参数没问题后如果本地有显卡就迁到本地没有的话再用A100跑主力训练虽然倍率高但速度快很多。魔搭的Z-image训练模板里有几个参数要注意save_every_n_steps建议设小一点比如1000步存一次。因为在线训练如果中断没存的步数就白跑了。output_format选safetensors兼容性好。shuffle_caption建议开启能提升tag的泛化能力。有个坑魔搭的在线环境里数据集上传后路径可能会变配置文件里的路径要写相对路径不要写绝对路径。4.3 None Z Trainer微调阶段的精细控制None Z Trainer我主要用来做最后的微调。加载WhiteTuner训练到20000步的checkpoint然后用极低学习率再跑2000到3000步。# None Z Trainer 微调配置片段 config { base_model: z-image-base, resume_from: whitetuner_20000.safetensors, learning_rate: 5e-5, lr_scheduler: constant, max_train_steps: 2500, batch_size: 1, gradient_accumulation_steps: 8, optimizer: adafactor, ema_decay: 0.999, save_every_n_steps: 500 }微调阶段的核心是低学习率加EMA。学习率降到5e-5避免破坏已经学好的特征。EMA指数移动平均能让权重更新更平滑出图时人脸更稳定。None Z Trainer的EMA实现比较干净ema_decay设0.999每步更新一次影子权重。最后导出的时候用EMA权重比原始权重的人脸一致性明显好一截。4.4 Ai Toolkit为什么我最终弃用Ai Toolkit不是不能用而是效率太低。它的默认学习率1e-4cosine衰减warmup只有100步。我跑了三炉每炉30000步人脸才勉强清晰。同样的数据集WhiteTuner 15000步就达到了更好的效果。而且Ai Toolkit的显存优化一般batch size 2在12G显存上就快满了开不了梯度累积。这意味着等效batch size只有2训练稳定性差很多。如果你已经在用Ai Toolkit我的建议是把学习率手动调到2e-4warmup调到500步然后尽量开梯度检查点省显存。但即便如此我还是推荐换WhiteTuner或者None Z Trainer。5. 人脸一致性的“邪修”方法从崩脸到稳定5.1 什么是“邪修”人脸一致性常规的人脸一致性方法无非是增加数据集角度、调低学习率、加正则化。但这些方法有个共同问题它们都在“训练阶段”做文章而Z-image Base的人脸崩坏很多时候是“出图阶段”的提示词和采样器导致的。我说的“邪修”是指绕过训练阶段的限制在出图阶段用一些非常规手段来强行拉回人脸一致性。这些方法不一定“正统”但实测有效。5.2 方法一分段提示词加负面嵌入Z-image Base在出图时如果提示词里同时出现“侧脸”和“微笑”很容易崩。我的做法是把提示词分段[正面脸:ohwx person:1.2] [侧脸:0.8] smiling, natural lighting这里用了提示词权重调节。把触发词“ohwx person”的权重拉到1.2同时把“侧脸”的权重压到0.8。这样模型会优先保证人脸身份再去做侧脸的角度变化。同时在负面提示词里加入一些“崩脸”特征negative: deformed face, asymmetric eyes, distorted nose, extra fingers这个方法的逻辑是正面强化身份特征负面抑制崩坏特征两头夹击。5.3 方法二ControlNet加人脸关键点这是更“邪”的一招。用ControlNet的OpenPose或者FaceID模型在出图时把人脸关键点固定住。具体操作先用一张标准正面照提取人脸关键点生成ControlNet条件图。然后在出图时把ControlNet权重调到0.6到0.8让模型在生成时参考这个关键点结构。这样做的好处是不管提示词怎么变人脸的基本结构眼睛位置、鼻子位置、脸型轮廓都被ControlNet锁住了。实测下来人脸一致性从“十张里三张能用”提升到“十张里七张能用”。缺点是ControlNet会稍微限制构图的自由度如果你要出大角度侧脸关键点对不上反而会崩。所以这个方法适合出“微侧脸”和“正面”的场景。5.4 方法三多LoRA叠加与权重插值如果你训练了多个版本的人脸LoRA比如WhiteTuner跑了一个None Z Trainer微调了一个可以把它们叠加使用。在出图时同时加载两个LoRA权重各设0.5到0.7。这样做的逻辑是不同训练器学到的特征有差异叠加之后能互补减少单一LoRA的偏差。更进一步可以用权重插值工具把两个LoRA的权重按比例合并成一个新的LoRA。比如WhiteTuner的占0.6None Z Trainer的占0.4合并后的LoRA往往比单一版本更稳。5.5 方法四出图后的面部修复这是最后一道防线。如果出图后人脸还是有点崩用面部修复工具比如基于GFPGAN或者CodeFormer的修复节点过一遍。但要注意面部修复不要开太高。修复强度开到0.3到0.5就够了开太高会把脸修成“塑料感”失去Z-image Base本身的质感。我的流程是出图 - 面部修复0.4 - 高清修复1.5倍 - 微调色彩。这样一套下来人脸一致性和画面质量都能兼顾。6. 常见问题与排查技巧实录6.1 训练损失不下降怎么办这是最常见的问题。如果训练了5000步loss还在0.15以上不降大概率是这几个原因问题现象可能原因解决方法loss波动大不收敛学习率太高降到1e-4或5e-5loss缓慢下降但很慢学习率太低升到2e-4或3e-4loss突然飙升数据集中有坏图检查数据集移除异常图loss一直很高tag标注有问题检查触发词是否一致loss正常但出图崩过拟合减少训练步数或降低秩我遇到过一次loss突然飙升排查后发现是数据集里混了一张纯黑图。这种图在计算loss时会产生异常梯度直接把训练带偏。所以数据集准备完之后一定要用脚本检查一遍图片的均值和方差把异常图剔除。6.2 出图色彩偏移怎么解决Z-image Base训练后出图偏色一般是两个原因学习率太高导致权重更新过猛或者训练集色彩分布太单一。解决方法先把学习率降一半重新跑。如果还偏就在数据集里加入不同色调的图或者在训练配置里加color_jitter增强。另外noise_offset参数对色彩也有影响。noise_offset设0.05到0.1之间比较合适太高会导致画面发灰太低则暗部细节不足。6.3 人脸相似度不够怎么调人脸相似度是训练人脸LoRA的核心指标。如果出图的人脸“像但不是”可以从这几个方向调第一检查数据集的人脸占比。如果人脸在画面中太小模型学到的特征不够细。把人脸占比提到50%以上重新训练。第二提高network_dim。从32提到64能增加LoRA的表达能力。但要注意dim太高容易过拟合需要配合更多的数据和更低的训练步数。第三用EMA权重出图。如果训练器支持EMA导出时用EMA权重比原始权重的人脸一致性明显好。第四出图时加FaceID ControlNet。这是最直接的方法用一张参考人脸图提取FaceID嵌入在出图时作为条件输入。6.4 魔搭免费额度不够用怎么办魔搭的免费额度是有限的用完之后需要付费或者等下一个周期。我的建议是验证阶段用最低规格的GPU能跑就行数据集和配置文件在本地准备好上传后直接开跑不要在线调试训练中断后从最近的checkpoint继续不要从头跑如果额度实在不够把配置导出到本地用WhiteTuner或None Z Trainer跑6.5 训练步数怎么确定训练步数没有固定值取决于数据集大小、学习率、batch size。我的经验公式是总步数 数据集图片数 × 100 到 150比如50张图总步数在5000到7500步之间。但这只是起点实际要看loss曲线和出图效果。我一般会存多个checkpoint每2500步存一次然后逐个测试找到效果最好的那个。有个技巧不要只看最终步数的checkpoint。有时候中间步数的checkpoint反而更好因为最终步数可能已经过拟合了。7. 我的50万步经验总结与后续扩展方向跑了这么多步最大的体会是Z-image Base的训练参数只占三成数据占七成。数据集的角度分布、人脸占比、tag精确度这些比学习率调0.1还是0.2重要得多。四个训练器里WhiteTuner是我目前最推荐的它在效率、稳定性和易用性之间平衡得最好。魔搭适合验证和没有本地显卡的情况。None Z Trainer适合做最后的精细微调。Ai Toolkit除非你有特殊需求否则不建议作为主力。人脸一致性的“邪修”方法核心思路是在出图阶段用ControlNet和提示词权重来弥补训练阶段的不足。这些方法不一定“正统”但实测有效尤其是FaceID ControlNet加分段提示词的组合能把人脸可用率提升一倍以上。后续如果继续扩展我打算试试用Z-image Base训练全身LoRA看看在全身构图下人脸一致性还能不能保持。另外魔搭最近更新了训练模板据说在数据增强上做了优化等额度刷新了再去验证一轮。这个内容后续还可以这样扩展把不同训练器的checkpoint做权重插值看看能不能融合出更稳的LoRA或者用多个触发词训练同一个身份出图时切换触发词来微调人脸风格。这些方向等我跑完下一轮再分享。