尧图网站建设 
简介面向大模型微调开发者阿里Qwen-Image20B多模态模型的LoRA训练项目代码包适合希望系统掌握Qwen-Image低秩适配、中文指令优化及常见生成异常修复的读者。压缩包体积仅12KB共5个文件涵盖Python训练脚本、运行环境配置、HTML结果展示页面、版本忽略规则与Markdown说明文档各文件职责清晰便于对照文章实操或直接复用。目前已有159人学习。代码包融合了60图高效训练的数据集构建思路、训练参数与推理速度优化策略以及手脚异常时的数据增强和结构约束损失函数解法配合说明文档可大幅降低环境搭建和参数调试成本为后续动态秩调整、多LoRA融合等进阶探索提供可直接运行的起点。 几个月前第一次拿到 Qwen-Image 的 base 权重时我其实有点犹豫要不要直接上 LoRA 训练。原因很简单这批 DiT 结构的图像模型和早前 Stable Diffusion 系列在训练细节上差别不小网上能直接抄的实践笔记也还不算多。后来我把一套完整的 Qwen-Image LoRA 训练流程跑通了从数据集清洗、描述文本标注、训练参数调整到最后的 ComfyUI 节点加载验证整体走下来踩了不少坑也沉淀了一些可以复用的经验。这篇就把完整路径写出来附带项目代码结构和核心训练脚本给准备用 Qwen-Image 做风格迁移、角色定制或者产品图批量生成的朋友一份可直接上手的参考。这篇内容适合谁一种是刚接触 LoRA 微调、想把 Qwen-Image 7B 这类模型真正用起来的开发者另一种是已经在 Stable Diffusion 生态里训练过 LoRA、想快速迁移到 Qwen-Image 的玩家。我不会只丢一个“照着跑就行”的训练命令而是把每一步背后的选择逻辑说清楚包括数据集怎么做、rank 和 alpha 怎么配、训练到什么样算过拟合、模型跑飞了该怎么判断和回退。1. Qwen-Image 值得学但别一上来就全量微调Qwen-Image 是通义系列里偏向图像生成与理解的大模型底层用的是 DiTDiffusion Transformer架构。和 Stable Diffusion 系列的 U-Net 结构相比它对文本语义的理解更强生成图的构图稳定性和文字渲染能力也更完整。我用官方 base 模型跑了一些 prompt默认分辨率下它的画面协调度明显比早期 SD 1.5 好不少但代价是模型体量确实大。这时候如果直接做全量微调显存和训练时间都相当可观个人开发者和中小团队基本没有必要。很多新手上来就问“能不能全量微调”我的回答通常是可以但没必要。展开说微调方式大致分三类全量微调所有参数都参与训练效果上限最高但计算成本大需要多卡甚至多机而且很容易把预训练知识“洗掉”尤其是数据集不够大的时候灾难性遗忘几乎不可避免。freeze 微调冻结大部分层只训练部分参数。省资源但灵活度有限能改变的“风格语义”范围也比较窄。LoRA 微调把变化约束在低秩矩阵里训练参数量只有全量的 1% 左右效果却非常接近全量微调并且可以随时切换不同 LoRA 权重不用动 base 模型。实际项目里我更习惯这么定位三种方式全量微调用于“重新定义一个模型”freeze 微调用于“轻微拨动模型语义”LoRA 用于“快速生成一批新风格或者新角色”。Qwen-Image 做 LoRA 还有个天然优势因为它的表示空间比较干净低秩扰动就能很明确地影响画面风格不像某些早期模型需要很高的 rank 才能看到变化。如果你连 LoRA 本身也不熟可以先把它理解成给模型加了一个“可插拔的方向盘”。base 模型是一个开过很多路的老司机它的驾驶技术是通用的LoRA 是在方向盘上附加的“风格套件”装上去之后老司机突然很擅长漂移拆下来之后他又变回普通司机base 模型的原有能力完全不受影响。这就是为什么 LoRA 适合做图像风格定制它可以叠加可以撤销不会污染基座。2. 环境准备显存门槛、依赖版本和基座模型获取2.1 显存与硬件要求Qwen-Image 的 LoRA 训练并不会像全量微调那样吃光显存但也不能拿一张 8G 卡就硬跑。结合我跑通和多轮试错的经验给一个相对靠谱的参考线最低 12G 显存起步推荐 24G能省很多事。显存主要被三个地方占掉Transformer 模型权重、优化器状态、中间激活值。LoRA 训练时优化器和梯度只存在于低秩矩阵上显存大头其实在中间激活值。如果只有 16G 或 20G 显存可以把分辨率降到 512 或者打开 gradient checkpointing。我更推荐的是一开始就把 batch size 设成 1配合梯度累积来模拟更大 batch而不是硬塞更大的 batch size因为 DiT 在 batch size 变大时显存增长特别快。2.2 安装依赖我用的是 Python 3.10 CUDA 12.1 的环境主要依赖如下pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install diffusers0.31.0 transformers accelerate peft datasets pip install sentencepiece protobuf pip install modelscope # 拉取 Qwen Image 权重用这里有个经验diffusers 版本尽量别太老Qwen-Image 的接入在 0.30 之后才逐渐完整太老的版本会出现 pipeline 加载失败或者权重 key 对不上的奇怪问题。如果你对版本兼容性没把握直接用官方文档推荐的版本号最稳。2.3 基座模型获取Qwen-Image 权重可以从 ModelScope 下载国内网络环境下速度比直接走公网快得多。项目根目录下做个download_model.py这样基座模型、tokenizer、vae 一次拉齐from modelscope import snapshot_download model_dir snapshot_download( Qwen/Qwen-Image, revisionmaster, cache_dir./pretrained_models ) print(f模型已下载到: {model_dir})下载完检查一下目录结构确认里面有model-00001-of-0000x.safetensors这类分片文件以及 config 文件即可。注意Qwen-Image 的 text encoder 和 transformer 都在同一个模型目录里不用像 SDXL 那样额外加载文本编码器目录这一点比较省心。3. 数据集与描述文本LoRA 成败的真正分水岭3.1 图像数量和质量怎么把握很多教程会告诉你“20 张图就能训 LoRA”这句话只对了一小半。20 张图确实能训练但如果你的目标风格比较复杂比如“赛博朋克风的水墨场景”或者“特定人物的半身像”20 张是完全不够的。我实测下来30 到 50 张高质量图像是一个效率平衡点低于 30 张模型容易过拟合到某几张图的细节上超过 100 张如果描述文本不够准确训练时间会明显拉长收益却不线性增长。一个容易被忽略的点是图片预处理质量。训练前必须统一分辨率我用 1024x1024 作为默认分辨率所有图片做居中裁剪加缩放没有直接拉伸因为拉伸会破坏图像比例语义。图片里有水印、文字水印、马赛克或者人脸模糊的一定要手动清除。这个步骤千万别偷懒否则模型会把这些瑕疵当成风格特征学进去。3.2 描述文本标注的细节描述文本是 LoRA 训练的“另一半数据集”。同一张图用不同的文字描述训出来的模型风格完全不同。对于风格型 LoRA描述文本聚焦在画面风格关键词上比如“传统水墨风格、烟雨江南、留白构图、低饱和度”对于角色型 LoRA描述文本则要同时包含触发词和人物特征词比如“一个名叫 xx 的女孩深棕色长发、琥珀色眼睛、黑色皮夹克、街头风格”。这里有一个非常实用的经验不要只写一句“a beautiful girl”要写足 3 到 5 个维度包括主体外观、表情动作、服装配饰、环境背景、光效与色温。训练时模型需要从这段文本里学到“哪些视觉特征是该记住的”。如果所有训练图的描述都过于笼统LoRA 学到的就是个模糊的平均风格表现为生成结果风格不稳定、时好时坏。3.3 数据格式与项目结构我建议按下面结构组织项目把数据集、训练脚本、输出权重分开管理qwen-image-lora/ ├── train_lora.py ├── inference.py ├── prepare_dataset.py ├── dataset/ │ ├── 001.jpg │ ├── 001.txt │ ├── 002.jpg │ └── 002.txt ├── output/ │ └── qwen_image_lora.safetensors └── pretrained_models/ └── Qwen-Image/图片和同名 txt 一一对应txt 里就是该图片的描述文本。官方示例脚本也支持 jsonl 格式但对个人项目来说图片txt 的目录格式更直观调试也容易。这里补充下为什么要独立梳理一个prepare_dataset.py就是把图片缩放、裁剪、格式转换、检查重复图片等工作做成可复现的脚本方便以后换数据集时直接复用。顺便还能统计所有图片的分辨率分布避免训练到一半才发现某几张图片尺寸异常导致 loss 异常。4. 训练脚本参数逐项拆解与核心代码4.1 训练脚本的整体设计我选择了 diffusers 自带的train_text_to_image_lora.py作为基底针对 Qwen-Image 做了几处关键修改。这个脚本虽然是给 SD 系列设计的但内部逻辑很成熟LoRA 注入、accelerate 封装、checkpoint 保存都已经处理好了不必从零写一遍训练循环。核心训练代码简化如下完整可运行版本建议结合 diffusers 源码一起看import torch import argparse from diffusers import QwenImagePipeline, QwenImageTransformer2DModel from diffusers.optimization import get_scheduler from diffusers.training_utils import EMAModel from peft import LoraConfig, get_peft_model from torch.utils.data import Dataset from PIL import Image import os class QwenImageLoRADataset(Dataset): def __init__(self, data_root, tokenizer, size1024): self.data_root data_root self.tokenizer tokenizer self.size size self.image_paths [] self.captions [] for fname in sorted(os.listdir(data_root)): if fname.endswith((.jpg, .png, .jpeg)): txt_path os.path.splitext(fname)[0] .txt img_path os.path.join(data_root, fname) if not os.path.exists(txt_path): continue with open(txt_path, r, encodingutf-8) as f: caption f.read().strip() self.image_paths.append(img_path) self.captions.append(caption) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): image Image.open(self.image_paths[idx]).convert(RGB) image image.resize((self.size, self.size), Image.LANCZOS) pixel_values torch.from_numpy(np.array(image)).permute(2, 0, 1).float() / 127.5 - 1.0 text_inputs self.tokenizer( self.captions[idx], paddingmax_length, max_length128, truncationTrue, return_tensorspt ) return { pixel_values: pixel_values, input_ids: text_inputs.input_ids.squeeze(0), attention_mask: text_inputs.attention_mask.squeeze(0), } def main(): parser argparse.ArgumentParser() parser.add_argument(--base_model, typestr, defaultQwen/Qwen-Image) parser.add_argument(--data_root, typestr, default./dataset) parser.add_argument(--output_dir, typestr, default./output) parser.add_argument(--rank, typeint, default16) parser.add_argument(--alpha, typeint, default32) parser.add_argument(--learning_rate, typefloat, default1e-4) parser.add_argument(--train_batch_size, typeint, default1) parser.add_argument(--grad_accumulation_steps, typeint, default4) parser.add_argument(--epochs, typeint, default10) parser.add_argument(--resolution, typeint, default1024) args parser.parse_args() # 加载 pipeline 与 transformer pipeline QwenImagePipeline.from_pretrained(args.base_model, torch_dtypetorch.bfloat16) transformer pipeline.transformer tokenizer pipeline.tokenizer # 配置 LoRA lora_config LoraConfig( rargs.rank, lora_alphaargs.alpha, target_modules[to_q, to_k, to_v, to_out.0, ff.net.0.proj, ff.net.2], lora_dropout0.05, ) transformer get_peft_model(transformer, lora_config) transformer.print_trainable_parameters() train_dataset QwenImageLoRADataset(args.data_root, tokenizer, sizeargs.resolution) train_dataloader torch.utils.data.DataLoader( train_dataset, batch_sizeargs.train_batch_size, shuffleTrue, drop_lastTrue ) optimizer torch.optim.AdamW(transformer.parameters(), lrargs.learning_rate) lr_scheduler get_scheduler( cosine, optimizeroptimizer, num_warmup_steps0, num_training_stepslen(train_dataloader) * args.epochs ) transformer.train() for epoch in range(args.epochs): for step, batch in enumerate(train_dataloader): ... # 扩散训练主循环noise 采样、denoise 预测、loss 反传这个脚本核心做了三件事把 transformer 用 PEFT 的 LoraConfig 包起来加载图片和描述文本做分辨率统一然后进入标准 diffusion 训练循环。target_modules的选择会影响训练效果我选的是 attention 层的 q、k、v、输出投影以及 feed-forward 网络层。只训 attention 层其实也能出效果但加上 ff 层后风格表达力更强。4.2 关键超参怎么定参数配置是我踩坑最集中的地方这里给一张完整的参考表并解释为什么这么设参数名建议值说明rank16rank 越小可学习参数越少风格表达力越弱但过于收敛到训练集rank 越大越灵活越容易过拟合alpha32实际缩放比例是 alpha / rank32/162。想更强就用 alpharank想温和就用 alpharank/2learning rate1e-4 到 2e-4高于 3e-4 容易出现 loss 不稳定、图像发花低于 5e-5 风格又很难成型batch size1配合 grad accum4小显存优先保证能跑batch size 过大对效果提升有限epochs10 到 15看 loss 曲线连续 2 个 epoch 不降就停resolution1024与 Qwen-Image 默认分辨率一致效果最稳optimizerAdamW图像生成训练的默认选择配 bf16 精度lr schedulercosine比 linear 更适合扩散模型后期收敛更平滑选 rank 16 是综合了很多模型的实践经验。rank 4 和 rank 8 也不是不能用但 Qwen-Image 的 DiT 结构里低秩扰动对全局构图的影响不够充分需要稍微大一点的秩才能承载“风格”这种全局语义。alpha 设成 32等于告诉模型“你可以用 2 倍 rank 的幅度去影响原模型”既不会把基座冲淡又保证风格能被看见。5. 训练中常见的三类问题显存溢出、过拟合与参数漂移5.1 显存溢出先查分辨率再查梯度检查点训练时如果报 CUDA out of memory多数人第一时间去调 batch size实际上最有效的是降低分辨率。把 1024 降到 768 或者 512显存占用能降一半以上。第二种方案是开启 gradient checkpointing相当于用时间换空间多花一点计算时间省下大量显存。如果这两种都不想做可以改用 8-bit AdamW 优化器也能省掉一部分优化器状态显存。但我更想提醒的是别一上来就用 bf16 之外的其他精度。Qwen-Image 对 fp32 和 fp16 的适配不如 bf16 稳定fp16 容易出现 loss 震荡。保持 bf16 加上 gradient checkpointing在 24G 显存上训练 LoRA 是完全没有问题的。5.2 过拟合的根本判断与回退策略判断过拟合不能只看 loss因为扩散模型的 loss 是噪声预测误差它下降不代表图像质量一定提升。我用自己的数据集试过loss 从 0.064 降到 0.058看起来一切正常但生成结果的背景已经“糊”成一片。真正的判断标准是训练集外的提示词生成图像风格是否延续训练集内的图像是否出现了“死记硬背”的复制现象。如果发现过拟合了回退方式不是单纯降低 epoch而是按这个顺序调检查描述文本是否过于单一降低 alpha 值增加 dropout减少重复训练的 epoch。整套组合拳下来一般能恢复一部分泛化能力。如果上述手段都不行就增加训练集多样性而不是硬调参数。5.3 参数漂移为什么训练中断后很难接着跑LoRA 训练过程中如果中断直接重新加载 checkpoint 接着跑很容易遇到输出风格出现断层。原因是优化器的状态比如 AdamW 的动量没有保存完整。我的建议是训练脚本里每 500 步保存一次完整 checkpoint包括 transformer 权重、LoRA 权重和 optimizer state而不是只保存 LoRA 权重。这个细节对长训练特别重要别等崩了再后悔。还有一个参数漂移场景在同一个项目里反复调整了 rank 或 alpha但没清理旧的输出目录。结果就是新权重和旧权重混合在同一个目录导致最终加载的 safetensors 不完整。每次训练前把 output 目录加时间戳命名能规避这类低级问题。6. 训练产物到工程落地推理验证与 ComfyUI 加载6.1 快速验证 LoRA 效果训练完成后在项目根目录下的inference.py里加载 LoRA 权重验证效果。这一步我建议写一个独立的脚本而不是在训练脚本里复用 inference 函数因为推理时通常要关闭梯度、固定随机种子逻辑和训练是完全不同的import torch from diffusers import QwenImagePipeline pipeline QwenImagePipeline.from_pretrained( Qwen/Qwen-Image, torch_dtypetorch.bfloat16, device_mapauto ) pipeline.load_lora_weights(./output/qwen_image_lora.safetensors) pipeline.fuse_lora(lora_scale0.8) # 控制 LoRA 影响幅度 prompt your trigger word, a cyberpunk city in rain, neon lights, cinematic lighting image pipeline( promptprompt, num_inference_steps28, guidance_scale3.5, generatortorch.Generator().manual_seed(42), ).images[0] image.save(validation_output.png)lora_scale是推理时最灵活的一个旋钮。0.6 到 0.8 之间通常能保持 LoRA 风格又不破坏整体构图如果开了 1.0风格更重但容易把一些细节“涂”得很用力。你可以把同一个 prompt 分别用 0.5、0.8、1.0 生成几张对比图选一个最舒服的值固化到项目配置里。6.2 ComfyUI 节点集成如果项目最终要走生产流程我强烈建议把 LoRA 权重加载到 ComfyUI 节点里测试。ComfyUI 对 Qwen-Image 的支持现在已经比较成熟直接加载 LoRA 节点、填入.safetensors路径再在 prompt 里带上触发词就能完成验证。好处在于 ComfyUI 的节点编排很方便把 LoRA 放在 base model 和 KSampler 之间即可不用写重复代码。这里给出一个实用的节点连接顺序Load Qwen-Image Base → Load LoRA → CLIP Text Encode填入触发词描述 → Empty Latent Image → KSampler → VAE Decode → Save Image。其中 KSampler 的 steps 建议默认 20 到 30 之间CFG 保持在 3 到 4.5 之间不同 LoRA 对这个值比较敏感。如果生成图发灰降低 CFG如果颜色过度饱和提高 CFG。6.3 训练脚本与模型格式的补充说明最终产出的 LoRA 权重是.safetensors格式这个格式会被 diffusers 和 ComfyUI 双端支持不需要额外转换。如果你将来想把 LoRA 合并进 base 模型用pipeline.fuse_lora()再加一句pipeline.save_pretrained(merged_model)就能得到合并后的完整模型。这个合并模型可以直接通 Qwen-Image 原生 pipeline 推理也可以再导出其他服务化格式。注意合并后的模型体积会变大而且 LoRA 效果固定进去了不再能像独立 LoRA 那样即时切换所以按需使用。最后分享一个我个人的实操体会Qwen-Image 的 LoRA 训练没有太多“神秘配方”真正决定成败的往往是数据集的干净程度和描述文本的完整度。遇到效果不理想优先怀疑数据和文本而不是怀疑模型或者训练框架。我每次训练新风格的第一版都不会急着调参数而是先训一版固定参数的结果作为 baseline再在这个基础上迭代这样排查问题会快很多。希望这篇指南能帮你少踩几个坑直接把你自己的 Qwen-Image LoRA 跑起来。本文还有配套的精品资源点击获取 Qwen-Image LoRA训练全流程：从数据集到ComfyUI部署指南
简介面向大模型微调开发者阿里Qwen-Image20B多模态模型的LoRA训练项目代码包适合希望系统掌握Qwen-Image低秩适配、中文指令优化及常见生成异常修复的读者。压缩包体积仅12KB共5个文件涵盖Python训练脚本、运行环境配置、HTML结果展示页面、版本忽略规则与Markdown说明文档各文件职责清晰便于对照文章实操或直接复用。目前已有159人学习。代码包融合了60图高效训练的数据集构建思路、训练参数与推理速度优化策略以及手脚异常时的数据增强和结构约束损失函数解法配合说明文档可大幅降低环境搭建和参数调试成本为后续动态秩调整、多LoRA融合等进阶探索提供可直接运行的起点。 几个月前第一次拿到 Qwen-Image 的 base 权重时我其实有点犹豫要不要直接上 LoRA 训练。原因很简单这批 DiT 结构的图像模型和早前 Stable Diffusion 系列在训练细节上差别不小网上能直接抄的实践笔记也还不算多。后来我把一套完整的 Qwen-Image LoRA 训练流程跑通了从数据集清洗、描述文本标注、训练参数调整到最后的 ComfyUI 节点加载验证整体走下来踩了不少坑也沉淀了一些可以复用的经验。这篇就把完整路径写出来附带项目代码结构和核心训练脚本给准备用 Qwen-Image 做风格迁移、角色定制或者产品图批量生成的朋友一份可直接上手的参考。这篇内容适合谁一种是刚接触 LoRA 微调、想把 Qwen-Image 7B 这类模型真正用起来的开发者另一种是已经在 Stable Diffusion 生态里训练过 LoRA、想快速迁移到 Qwen-Image 的玩家。我不会只丢一个“照着跑就行”的训练命令而是把每一步背后的选择逻辑说清楚包括数据集怎么做、rank 和 alpha 怎么配、训练到什么样算过拟合、模型跑飞了该怎么判断和回退。1. Qwen-Image 值得学但别一上来就全量微调Qwen-Image 是通义系列里偏向图像生成与理解的大模型底层用的是 DiTDiffusion Transformer架构。和 Stable Diffusion 系列的 U-Net 结构相比它对文本语义的理解更强生成图的构图稳定性和文字渲染能力也更完整。我用官方 base 模型跑了一些 prompt默认分辨率下它的画面协调度明显比早期 SD 1.5 好不少但代价是模型体量确实大。这时候如果直接做全量微调显存和训练时间都相当可观个人开发者和中小团队基本没有必要。很多新手上来就问“能不能全量微调”我的回答通常是可以但没必要。展开说微调方式大致分三类全量微调所有参数都参与训练效果上限最高但计算成本大需要多卡甚至多机而且很容易把预训练知识“洗掉”尤其是数据集不够大的时候灾难性遗忘几乎不可避免。freeze 微调冻结大部分层只训练部分参数。省资源但灵活度有限能改变的“风格语义”范围也比较窄。LoRA 微调把变化约束在低秩矩阵里训练参数量只有全量的 1% 左右效果却非常接近全量微调并且可以随时切换不同 LoRA 权重不用动 base 模型。实际项目里我更习惯这么定位三种方式全量微调用于“重新定义一个模型”freeze 微调用于“轻微拨动模型语义”LoRA 用于“快速生成一批新风格或者新角色”。Qwen-Image 做 LoRA 还有个天然优势因为它的表示空间比较干净低秩扰动就能很明确地影响画面风格不像某些早期模型需要很高的 rank 才能看到变化。如果你连 LoRA 本身也不熟可以先把它理解成给模型加了一个“可插拔的方向盘”。base 模型是一个开过很多路的老司机它的驾驶技术是通用的LoRA 是在方向盘上附加的“风格套件”装上去之后老司机突然很擅长漂移拆下来之后他又变回普通司机base 模型的原有能力完全不受影响。这就是为什么 LoRA 适合做图像风格定制它可以叠加可以撤销不会污染基座。2. 环境准备显存门槛、依赖版本和基座模型获取2.1 显存与硬件要求Qwen-Image 的 LoRA 训练并不会像全量微调那样吃光显存但也不能拿一张 8G 卡就硬跑。结合我跑通和多轮试错的经验给一个相对靠谱的参考线最低 12G 显存起步推荐 24G能省很多事。显存主要被三个地方占掉Transformer 模型权重、优化器状态、中间激活值。LoRA 训练时优化器和梯度只存在于低秩矩阵上显存大头其实在中间激活值。如果只有 16G 或 20G 显存可以把分辨率降到 512 或者打开 gradient checkpointing。我更推荐的是一开始就把 batch size 设成 1配合梯度累积来模拟更大 batch而不是硬塞更大的 batch size因为 DiT 在 batch size 变大时显存增长特别快。2.2 安装依赖我用的是 Python 3.10 CUDA 12.1 的环境主要依赖如下pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install diffusers0.31.0 transformers accelerate peft datasets pip install sentencepiece protobuf pip install modelscope # 拉取 Qwen Image 权重用这里有个经验diffusers 版本尽量别太老Qwen-Image 的接入在 0.30 之后才逐渐完整太老的版本会出现 pipeline 加载失败或者权重 key 对不上的奇怪问题。如果你对版本兼容性没把握直接用官方文档推荐的版本号最稳。2.3 基座模型获取Qwen-Image 权重可以从 ModelScope 下载国内网络环境下速度比直接走公网快得多。项目根目录下做个download_model.py这样基座模型、tokenizer、vae 一次拉齐from modelscope import snapshot_download model_dir snapshot_download( Qwen/Qwen-Image, revisionmaster, cache_dir./pretrained_models ) print(f模型已下载到: {model_dir})下载完检查一下目录结构确认里面有model-00001-of-0000x.safetensors这类分片文件以及 config 文件即可。注意Qwen-Image 的 text encoder 和 transformer 都在同一个模型目录里不用像 SDXL 那样额外加载文本编码器目录这一点比较省心。3. 数据集与描述文本LoRA 成败的真正分水岭3.1 图像数量和质量怎么把握很多教程会告诉你“20 张图就能训 LoRA”这句话只对了一小半。20 张图确实能训练但如果你的目标风格比较复杂比如“赛博朋克风的水墨场景”或者“特定人物的半身像”20 张是完全不够的。我实测下来30 到 50 张高质量图像是一个效率平衡点低于 30 张模型容易过拟合到某几张图的细节上超过 100 张如果描述文本不够准确训练时间会明显拉长收益却不线性增长。一个容易被忽略的点是图片预处理质量。训练前必须统一分辨率我用 1024x1024 作为默认分辨率所有图片做居中裁剪加缩放没有直接拉伸因为拉伸会破坏图像比例语义。图片里有水印、文字水印、马赛克或者人脸模糊的一定要手动清除。这个步骤千万别偷懒否则模型会把这些瑕疵当成风格特征学进去。3.2 描述文本标注的细节描述文本是 LoRA 训练的“另一半数据集”。同一张图用不同的文字描述训出来的模型风格完全不同。对于风格型 LoRA描述文本聚焦在画面风格关键词上比如“传统水墨风格、烟雨江南、留白构图、低饱和度”对于角色型 LoRA描述文本则要同时包含触发词和人物特征词比如“一个名叫 xx 的女孩深棕色长发、琥珀色眼睛、黑色皮夹克、街头风格”。这里有一个非常实用的经验不要只写一句“a beautiful girl”要写足 3 到 5 个维度包括主体外观、表情动作、服装配饰、环境背景、光效与色温。训练时模型需要从这段文本里学到“哪些视觉特征是该记住的”。如果所有训练图的描述都过于笼统LoRA 学到的就是个模糊的平均风格表现为生成结果风格不稳定、时好时坏。3.3 数据格式与项目结构我建议按下面结构组织项目把数据集、训练脚本、输出权重分开管理qwen-image-lora/ ├── train_lora.py ├── inference.py ├── prepare_dataset.py ├── dataset/ │ ├── 001.jpg │ ├── 001.txt │ ├── 002.jpg │ └── 002.txt ├── output/ │ └── qwen_image_lora.safetensors └── pretrained_models/ └── Qwen-Image/图片和同名 txt 一一对应txt 里就是该图片的描述文本。官方示例脚本也支持 jsonl 格式但对个人项目来说图片txt 的目录格式更直观调试也容易。这里补充下为什么要独立梳理一个prepare_dataset.py就是把图片缩放、裁剪、格式转换、检查重复图片等工作做成可复现的脚本方便以后换数据集时直接复用。顺便还能统计所有图片的分辨率分布避免训练到一半才发现某几张图片尺寸异常导致 loss 异常。4. 训练脚本参数逐项拆解与核心代码4.1 训练脚本的整体设计我选择了 diffusers 自带的train_text_to_image_lora.py作为基底针对 Qwen-Image 做了几处关键修改。这个脚本虽然是给 SD 系列设计的但内部逻辑很成熟LoRA 注入、accelerate 封装、checkpoint 保存都已经处理好了不必从零写一遍训练循环。核心训练代码简化如下完整可运行版本建议结合 diffusers 源码一起看import torch import argparse from diffusers import QwenImagePipeline, QwenImageTransformer2DModel from diffusers.optimization import get_scheduler from diffusers.training_utils import EMAModel from peft import LoraConfig, get_peft_model from torch.utils.data import Dataset from PIL import Image import os class QwenImageLoRADataset(Dataset): def __init__(self, data_root, tokenizer, size1024): self.data_root data_root self.tokenizer tokenizer self.size size self.image_paths [] self.captions [] for fname in sorted(os.listdir(data_root)): if fname.endswith((.jpg, .png, .jpeg)): txt_path os.path.splitext(fname)[0] .txt img_path os.path.join(data_root, fname) if not os.path.exists(txt_path): continue with open(txt_path, r, encodingutf-8) as f: caption f.read().strip() self.image_paths.append(img_path) self.captions.append(caption) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): image Image.open(self.image_paths[idx]).convert(RGB) image image.resize((self.size, self.size), Image.LANCZOS) pixel_values torch.from_numpy(np.array(image)).permute(2, 0, 1).float() / 127.5 - 1.0 text_inputs self.tokenizer( self.captions[idx], paddingmax_length, max_length128, truncationTrue, return_tensorspt ) return { pixel_values: pixel_values, input_ids: text_inputs.input_ids.squeeze(0), attention_mask: text_inputs.attention_mask.squeeze(0), } def main(): parser argparse.ArgumentParser() parser.add_argument(--base_model, typestr, defaultQwen/Qwen-Image) parser.add_argument(--data_root, typestr, default./dataset) parser.add_argument(--output_dir, typestr, default./output) parser.add_argument(--rank, typeint, default16) parser.add_argument(--alpha, typeint, default32) parser.add_argument(--learning_rate, typefloat, default1e-4) parser.add_argument(--train_batch_size, typeint, default1) parser.add_argument(--grad_accumulation_steps, typeint, default4) parser.add_argument(--epochs, typeint, default10) parser.add_argument(--resolution, typeint, default1024) args parser.parse_args() # 加载 pipeline 与 transformer pipeline QwenImagePipeline.from_pretrained(args.base_model, torch_dtypetorch.bfloat16) transformer pipeline.transformer tokenizer pipeline.tokenizer # 配置 LoRA lora_config LoraConfig( rargs.rank, lora_alphaargs.alpha, target_modules[to_q, to_k, to_v, to_out.0, ff.net.0.proj, ff.net.2], lora_dropout0.05, ) transformer get_peft_model(transformer, lora_config) transformer.print_trainable_parameters() train_dataset QwenImageLoRADataset(args.data_root, tokenizer, sizeargs.resolution) train_dataloader torch.utils.data.DataLoader( train_dataset, batch_sizeargs.train_batch_size, shuffleTrue, drop_lastTrue ) optimizer torch.optim.AdamW(transformer.parameters(), lrargs.learning_rate) lr_scheduler get_scheduler( cosine, optimizeroptimizer, num_warmup_steps0, num_training_stepslen(train_dataloader) * args.epochs ) transformer.train() for epoch in range(args.epochs): for step, batch in enumerate(train_dataloader): ... # 扩散训练主循环noise 采样、denoise 预测、loss 反传这个脚本核心做了三件事把 transformer 用 PEFT 的 LoraConfig 包起来加载图片和描述文本做分辨率统一然后进入标准 diffusion 训练循环。target_modules的选择会影响训练效果我选的是 attention 层的 q、k、v、输出投影以及 feed-forward 网络层。只训 attention 层其实也能出效果但加上 ff 层后风格表达力更强。4.2 关键超参怎么定参数配置是我踩坑最集中的地方这里给一张完整的参考表并解释为什么这么设参数名建议值说明rank16rank 越小可学习参数越少风格表达力越弱但过于收敛到训练集rank 越大越灵活越容易过拟合alpha32实际缩放比例是 alpha / rank32/162。想更强就用 alpharank想温和就用 alpharank/2learning rate1e-4 到 2e-4高于 3e-4 容易出现 loss 不稳定、图像发花低于 5e-5 风格又很难成型batch size1配合 grad accum4小显存优先保证能跑batch size 过大对效果提升有限epochs10 到 15看 loss 曲线连续 2 个 epoch 不降就停resolution1024与 Qwen-Image 默认分辨率一致效果最稳optimizerAdamW图像生成训练的默认选择配 bf16 精度lr schedulercosine比 linear 更适合扩散模型后期收敛更平滑选 rank 16 是综合了很多模型的实践经验。rank 4 和 rank 8 也不是不能用但 Qwen-Image 的 DiT 结构里低秩扰动对全局构图的影响不够充分需要稍微大一点的秩才能承载“风格”这种全局语义。alpha 设成 32等于告诉模型“你可以用 2 倍 rank 的幅度去影响原模型”既不会把基座冲淡又保证风格能被看见。5. 训练中常见的三类问题显存溢出、过拟合与参数漂移5.1 显存溢出先查分辨率再查梯度检查点训练时如果报 CUDA out of memory多数人第一时间去调 batch size实际上最有效的是降低分辨率。把 1024 降到 768 或者 512显存占用能降一半以上。第二种方案是开启 gradient checkpointing相当于用时间换空间多花一点计算时间省下大量显存。如果这两种都不想做可以改用 8-bit AdamW 优化器也能省掉一部分优化器状态显存。但我更想提醒的是别一上来就用 bf16 之外的其他精度。Qwen-Image 对 fp32 和 fp16 的适配不如 bf16 稳定fp16 容易出现 loss 震荡。保持 bf16 加上 gradient checkpointing在 24G 显存上训练 LoRA 是完全没有问题的。5.2 过拟合的根本判断与回退策略判断过拟合不能只看 loss因为扩散模型的 loss 是噪声预测误差它下降不代表图像质量一定提升。我用自己的数据集试过loss 从 0.064 降到 0.058看起来一切正常但生成结果的背景已经“糊”成一片。真正的判断标准是训练集外的提示词生成图像风格是否延续训练集内的图像是否出现了“死记硬背”的复制现象。如果发现过拟合了回退方式不是单纯降低 epoch而是按这个顺序调检查描述文本是否过于单一降低 alpha 值增加 dropout减少重复训练的 epoch。整套组合拳下来一般能恢复一部分泛化能力。如果上述手段都不行就增加训练集多样性而不是硬调参数。5.3 参数漂移为什么训练中断后很难接着跑LoRA 训练过程中如果中断直接重新加载 checkpoint 接着跑很容易遇到输出风格出现断层。原因是优化器的状态比如 AdamW 的动量没有保存完整。我的建议是训练脚本里每 500 步保存一次完整 checkpoint包括 transformer 权重、LoRA 权重和 optimizer state而不是只保存 LoRA 权重。这个细节对长训练特别重要别等崩了再后悔。还有一个参数漂移场景在同一个项目里反复调整了 rank 或 alpha但没清理旧的输出目录。结果就是新权重和旧权重混合在同一个目录导致最终加载的 safetensors 不完整。每次训练前把 output 目录加时间戳命名能规避这类低级问题。6. 训练产物到工程落地推理验证与 ComfyUI 加载6.1 快速验证 LoRA 效果训练完成后在项目根目录下的inference.py里加载 LoRA 权重验证效果。这一步我建议写一个独立的脚本而不是在训练脚本里复用 inference 函数因为推理时通常要关闭梯度、固定随机种子逻辑和训练是完全不同的import torch from diffusers import QwenImagePipeline pipeline QwenImagePipeline.from_pretrained( Qwen/Qwen-Image, torch_dtypetorch.bfloat16, device_mapauto ) pipeline.load_lora_weights(./output/qwen_image_lora.safetensors) pipeline.fuse_lora(lora_scale0.8) # 控制 LoRA 影响幅度 prompt your trigger word, a cyberpunk city in rain, neon lights, cinematic lighting image pipeline( promptprompt, num_inference_steps28, guidance_scale3.5, generatortorch.Generator().manual_seed(42), ).images[0] image.save(validation_output.png)lora_scale是推理时最灵活的一个旋钮。0.6 到 0.8 之间通常能保持 LoRA 风格又不破坏整体构图如果开了 1.0风格更重但容易把一些细节“涂”得很用力。你可以把同一个 prompt 分别用 0.5、0.8、1.0 生成几张对比图选一个最舒服的值固化到项目配置里。6.2 ComfyUI 节点集成如果项目最终要走生产流程我强烈建议把 LoRA 权重加载到 ComfyUI 节点里测试。ComfyUI 对 Qwen-Image 的支持现在已经比较成熟直接加载 LoRA 节点、填入.safetensors路径再在 prompt 里带上触发词就能完成验证。好处在于 ComfyUI 的节点编排很方便把 LoRA 放在 base model 和 KSampler 之间即可不用写重复代码。这里给出一个实用的节点连接顺序Load Qwen-Image Base → Load LoRA → CLIP Text Encode填入触发词描述 → Empty Latent Image → KSampler → VAE Decode → Save Image。其中 KSampler 的 steps 建议默认 20 到 30 之间CFG 保持在 3 到 4.5 之间不同 LoRA 对这个值比较敏感。如果生成图发灰降低 CFG如果颜色过度饱和提高 CFG。6.3 训练脚本与模型格式的补充说明最终产出的 LoRA 权重是.safetensors格式这个格式会被 diffusers 和 ComfyUI 双端支持不需要额外转换。如果你将来想把 LoRA 合并进 base 模型用pipeline.fuse_lora()再加一句pipeline.save_pretrained(merged_model)就能得到合并后的完整模型。这个合并模型可以直接通 Qwen-Image 原生 pipeline 推理也可以再导出其他服务化格式。注意合并后的模型体积会变大而且 LoRA 效果固定进去了不再能像独立 LoRA 那样即时切换所以按需使用。最后分享一个我个人的实操体会Qwen-Image 的 LoRA 训练没有太多“神秘配方”真正决定成败的往往是数据集的干净程度和描述文本的完整度。遇到效果不理想优先怀疑数据和文本而不是怀疑模型或者训练框架。我每次训练新风格的第一版都不会急着调参数而是先训一版固定参数的结果作为 baseline再在这个基础上迭代这样排查问题会快很多。希望这篇指南能帮你少踩几个坑直接把你自己的 Qwen-Image LoRA 跑起来。本文还有配套的精品资源点击获取