尧图网站建设 
简介基于深度学习的图像修复算法Python源码与项目说明面向计算机相关专业准备毕业设计或需要项目实战练习的初学者。项目经导师指导并获评99分代码完整、可直接运行配合输入样例、结果对比图与说明文档有助于理解图像修复原理并在此基础上二次开发。压缩包共14个文件涵盖Python脚本、PNG结果图、JPG样例图、Markdown说明文档及配置文件整体大小约5.33MB素材与结果分目录存放便于按需查阅。目前已有176人学习下载热度较好适合作为毕业设计、课程设计或期末大作业的完整参考。资料从数据准备、算法调用到结果可视化均有覆盖简化版与复杂版的对照设计既可辅助评估不同策略的修复效果也能为有一定基础的读者提供进阶思路整份资源既可用于论文撰写的实验支撑也可直接用于系统演示为希望快速搭建可运行图像修复项目的学习者提供了省时省力的方案。1. 深度学习图像修复的边界与适用场景图像修复或者说图像补全要解决的并不是简单的滤波和抠图。常规的修复需求比如证件照去划痕、老照片去折痕损坏区域通常有清晰的边缘作为参照传统算法能应付。但当你面对的是一张大面积文字遮挡、物体迁移留下的空洞或者整个区域都已破损的老照片算法需要知道“这里原来应该长什么样”而不是从周围像素插值出来。基于深度学习的图像修复把这个问题改造成一个条件生成任务给一个损坏图和一个二进制掩码让网络去预测缺失像素的条件概率分布。它学习的不是像素公式而是从大量自然图像中抽取的语义先验。这份“python源码项目说明”式的工程包覆盖的正是从数据管道到训练推理的一条完整链路。适合的人有两类一类是读完“动手深度学习”或PyTorch教程、想找一个方向完整落地的学生另一类是在做图像编辑、老照片翻新、物体消除等业务的工程师。如果你只是想快速调用OpenCV内置的修复接口那这个方向并不合适深度学习的代价是显存占用和训练时间收益是大面积缺口的语义级补全效果使用前把这两头的边界放在心里。2. 修复网络结构该怎么搭从掩码编码到自注意力选型2.1 掩码编码决定问题边界拿到源码包第一件事不是打开网络模型文件而是看数据模块里掩码是怎么生成的。修复任务的输入是x 原图 * (1 - mask)也就是把缺失区域像素清零掩码张量再沿通道方向拼进去构成一个4通道或更多通道的输入。掩码的通道维度解决了一个容易踩的坑普通CNN对“缺失”没有感知如果不把掩码喂进去模型只会把所有缺失像素当成统一的黑色噪声训练初期loss会非常难降。常见做法是引入部分卷积Partial Convolution卷积时用sum(mask)做归一化分母让卷积核只处理已知像素并且每一层都更新掩码。这部分代码并不复杂但能明显降低训练初期的loss。很多开源项目默认用的是普通Conv2d加一个mask通道这是能跑的底线更稳的变体是逐步升级到部分卷积特别当掩码形状不规则时。def partial_conv2d(x, mask, weight, biasNone): # x: [B, C_in, H, W], mask: [B, 1, H, W] B, C, H, W x.shape mask mask.expand(-1, C, -1, -1) # 卷积核窗口内已知像素的权重之和 mask_sum F.conv2d(mask, weight, biasNone, stride1, padding1) x x * mask x_conv F.conv2d(x, weight, biasbias, stride1, padding1) out x_conv / (mask_sum 1e-8) # 掩码同步更新标记哪些位置已积累足够有效信息 new_mask (mask_sum 0).float() return out, new_mask这段代码的核心是每一步维护mask只允许已知像素参与卷积。mask_sum对应卷积核窗口内已知像素的权重和最后的new_mask交给下一层。要注意padding1时的边界效应mask在图像边缘会被pad的0拉低如果训练时发现图像四周修复效果差优先查这一层的归一化分母必要时把padding部分单独处理。2.2 从局部感受野到全局依赖CNN主干与自注意力怎么接早期修复模型比如PatchMatch走的是纹理匹配路线适用于高重复纹理深度学习CNN把感受野从几十像素扩大到十几层之后的数百像素但结构性缺失区域比如人脸的半边被遮挡需要更远的上下文。卷积的局部连接天然限制了一次建模的信息范围自注意力机制则让任意两个位置的像素可以直接建立依赖。在源码工程里自注意力通常有两种接法。最直接的是在生成器的编码器-解码器中间层插入Non-local模块对所有位置计算注意力权重另一种是窗口自注意力把特征图切成固定大小的窗口在窗口内计算注意力关系。窗口划分的代价是跨窗口信息不互通所以很多结构采用移动窗口来交叉传递信息也就是WSA和跨窗口自注意力组合的网络结构。这样既比全局自注意力省显存又能让信息越过窗口边界传播适合单卡显存只有8G到16G的常规训练环境。选择建议只有8G以下显存用256分辨率输入加窗口注意力有16G以上显存直接用全局自注意力或者混合模式。多数修复论文报告的效果差异并不来自注意力类型而是来自训练数据的mask分布这一点常被新手忽略。源码里如果用了不规则mask生成器优先保留它的随机种子逻辑不要为了还原实验改成固定mask。2.3 生成器之后接判别器损失配比照这张表来调完整源码项目里复现的通常是GAN框架。修复生成器输出整张图判别器需要分辨原图和修复图。这里有一个经常被忽略的细节判别器输入如果是全图真实区域的纹理信息会让“真/假”判断变得过于容易模型学会了判断周边纹理一致性而忽略修复区域本身如果只输入修复区域又丢失了边界上下文。更实用的是局部判别器配合全局判别器一个对全图打分一个对掩码区域打分。# 双判别器合一的简化写法返回全局和局部两个分数 def forward(self, x, mask_local): feat self.backbone(x) global_logit self.global_head(feat) pooled F.adaptive_avg_pool2d(feat, 1) local_logit self.local_head(pooled * mask_local) return global_logit, local_logitmask_local是掩码区域膨胀几个像素后的蒙版目的是把边界处的伪影切割进来。最终损失是重建损失、感知损失、风格损失、对抗损失的加权和权重建议从下表开始再按数据集调整损失分量权重作用L1重建损失1.0约束像素级逼近感知损失0.1在VGG特征空间约束内容语义风格损失120 ~ 240约束纹理和色彩统计一致性对抗损失生成器0.1让修复区域具备高频真实信号对抗损失判别器1.0单独优化判别器感知损失取VGG16的relu1_2到relu4_4多层特征计算距离比只在顶层计算能保留更多结构。风格损失计算同样特征图Gram矩阵的误差权重数值大是正常的因为它对应特征通道数量的平方量级。如果项目代码里是默认权重先保持这组值跑完前几个epoch再根据验证集表现调整。3. Python源码组织与最小训练管线拿到这类带项目说明的zip压缩包我一般不会直接运行训练脚本。先把目录结构、入口文件和依赖列出来确认训练入口和模型定义文件都在再动手。工程包质量差异很大有的作者把训练和推理写在一个文件里有的拆得比较规整但核心流程不会变数据管道、网络构建、损失计算、梯度更新这四段。3.1 用conda锁定Python与PyTorch版本深度学习图像修复项目大多依赖PyTorch生态Python版本建议3.8或3.9。在Python安装教程里通常强调用虚拟环境避免污染系统环境这里直接用conda创建独立环境。conda create -n inpainting python3.9 -y conda activate inpainting pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy opencv-python tqdm tensorboardtorch和torchvision需要从同一套CUDA版本索引安装如果显卡驱动支持的CUDA是12.x把cu118换成cu121。先跑通训练再升级其他依赖否则很容易陷入依赖冲突。配好环境后用一张损坏图和一张掩码跑一次前向传播确认网络输出尺寸与原图一致这是最快判断工程是否完整的办法。3.2 数据管道批量读图、生成掩码、合成输入修复项目的数据管道有三件事读图片、生成掩码、把两者合成训练输入。下面是可运行的DataLoader核心代码兼容原图目录和掩码目录两种组织方式。class InpaintingDataset(Dataset): def __init__(self, img_dir, mask_dirNone, size256): self.paths sorted(glob.glob(os.path.join(img_dir, *.jpg))) self.size size self.mask_dir mask_dir def __getitem__(self, idx): img cv2.imread(self.paths[idx]) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img cv2.resize(img, (self.size, self.size)) img torch.from_numpy(img).permute(2, 0, 1).float() / 127.5 - 1.0 if self.mask_dir is not None: mask_path os.path.join(self.mask_dir, os.path.basename(self.paths[idx])) mask cv2.imread(mask_path, 0) mask cv2.resize(mask, (self.size, self.size)) else: # 运行时随机生成圆形空洞掩码 mask np.ones((self.size, self.size), dtypenp.float32) center (self.size // 2, self.size // 2) cv2.circle(mask, center, self.size // 4, (0,), -1) mask torch.from_numpy(mask).float() # 缺失区域为0已有区域为1 masked img * mask.unsqueeze(0) return masked, mask, imgmasked img * mask.unsqueeze(0)是核心把缺失区域像素变成0返回的mask同时作为模型输入参与部分卷积的掩码更新。注意mask要保持0和1两种取值不要用0和255原图归一化到[-1,1]是GAN训练的习惯如果项目从0开始调参这一点需要一并保持。如果发现模型输出在掩码边界出现黑色描边多半是合成输入时忘了匹配掩码和图像的数值范围。3.3 训练循环与项目目录约定训练循环用混合精度和梯度裁剪防止训练早期梯度爆炸这是深度学习CNN训练的标准写法。for epoch in range(cfg.epochs): for step, (masked, mask, img) in enumerate(train_loader): optimizer.zero_grad() pred model(masked, mask) loss compute_loss(pred, img, mask) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() if step % 100 0: writer.add_scalar(train/loss, loss.item(), epoch * len(train_loader) step)scaler来自torch.cuda.amp混合精度能在保持迭代速度的同时节省显存批量大小为8时显存占用能从11G降到7G左右。compute_loss内部按2.3节的权重表把各个损失分量累加起来这一层的loss分解在TensorBoard上能直接看出哪个分量异常判断训练是否稳定只需要盯住对抗损失和重建损失的相对趋势。源码包拆开后合理的目录结构大概是这样inpaint_project/ ├── configs/ # yaml参数文件 ├── data/ # 数据集和掩码 ├── models/ # generator.py, discriminator.py, losses.py ├── train.py # 训练入口 ├── evaluate.py # 指标计算 └── README.md # 环境、数据、训练说明拿到压缩包平级目录时先检查train.py和models/generator.py是否齐全再确认configs里路径有没有写死这两点是开源修复工程中最常见的跑不通原因。项目说明文档里如果附有算法流程图先按照图把数据流走到哪里、掩码在哪里生成核对一遍比直接改代码更省时间。4. 训练参数与常见伪影问题排查代码跑通只是开始图像修复真正花时间的是训练过程。这一章直接照搬迁中我会反复调整的参数表和排查路径。4.1 学习率、批次大小与epoch怎么配合生成器和判别器的学习率要分开设置这是GAN类项目的常识。常用的初始值是生成器学习率1e-4判别器学习率1e-5。Adam优化器的betas参数用(0.5, 0.999)beta1取0.9会让训练早期震荡明显。epoch的确定不以固定数值为准而是观察验证集误差连续20个epoch不下降后停止通常256分辨率下的修复模型需要200到300个epoch才能看到稳定的语义补全效果。参数推荐值偏大时的表现调整方向生成器学习率1e-4loss震荡、伪影杂乱降到3e-5判别器学习率1e-5生成器loss一直压不住降一个数量级批次大小4~8OOM或者训练慢降一半并同步降低学习率输入分辨率256边界模糊、细节丢失提高到384或512批次大小调整时要同步调整学习率实践里常见的是批次减半、学习率也减半梯度更新幅度保持相近。混合精度开启后如果发现loss精度异常把torch.cuda.amp关掉对比一次有时代码和AMP的兼容性并没有想象中好。4.2 对抗训练阶段判别器节奏与损失配平的先后顺序训练早期最常出现的现象是生成器损失徘徊在某个高位判别器准确率逼近100%。这说明判别器学得太快了生成器无论怎么出图都被一眼识破梯度信号失去引导作用。先做的事情不是改网络结构而是把判别器的学习率再降一个数量级或者每训练生成器两次才训练判别器一次。工程代码里通常是这样写的for step, data in enumerate(train_loader): # 先训生成器 pred generator(data) g_loss generator_loss(pred, data) g_loss.backward() g_optimizer.step() # 再训判别器降低更新频率 if step % 2 0: d_loss discriminator_loss(pred.detach(), data) d_loss.backward() d_optimizer.step()生成器梯度反向传播后pred.detach()是保证判别器在训练时不会把梯度带回生成器。判别器更新频率从step % 2改成step % 3或更低反映在曲线上的效果是判别器loss回升、生成器开始进步。此时再回头调整感知损失权重把0.1提到0.2生成的纹理会更接近原图。4.3 边界伪影和全局色彩不一致的处理模型输出图整体不错但掩码边缘发灰发暗这是修复项目最高频的现出问题。原因主要有两个一是掩码在数据管道中做了缩小旋转边缘存在半透明像素网络把这些低置信度像素当成语义目标二是损失函数对边界像素的约束不足。解决边界问题有一个通用技巧把训练用掩码做一次形态学腐蚀或膨胀。腐蚀让掩码区域变小网络学到的边界更贴近真实边缘膨胀则让网络多学一点边缘外侧的纹理衔接。实际工程里我喜欢用膨胀因为修复结果的边界看起来更自然。参考参数用3x3的卷积核对掩码膨胀2到3个像素如果带颜色偏置再把感知损失提升0.05。色彩不一致则多半是风格损失权重过低。全局色彩偏移可以单独计算一个直方图匹配损失把生成图的色彩直方图向原图方向拉近。这个损失实现起来很简单通常加在L1损失后面对整体色调的一致性提升明显而且不像风格损失那样需要VGG前向传播计算量几乎为零。5. 模型评估与最小可视化交付训练收敛后需要把结果量化出来才算交付一个完整的修复项目。“看起来还行”的图发在博客没问题用在业务上必须有过得去的指标。5.1 算PSNR、SSIM、LPIPS三个指标PSNR和SSIM用skimage.metrics就能计算LPIPS需要加载一个预训练网络这里给出一个可直接复制的最小实现。import torch from skimage.metrics import peak_signal_noise_ratio, structural_similarity import lpips lpips_model lpips.LPIPS(netalex).cuda() def compute_metrics(pred, gt, mask): # pred和gt的取值范围是[-1,1]转成[0,1]后再计算指标 pred (pred.cpu().numpy().transpose(1, 2, 0) 1) / 2 gt (gt.cpu().numpy().transpose(1, 2, 0) 1) / 2 psnr peak_signal_noise_ratio(gt, pred, data_range1.0) ssim structural_similarity(gt, pred, channel_axis2) # LPIPS在原始数值范围上计算 pred_t pred[None].transpose(0, 3, 1, 2).astype(float32) gt_t gt[None].transpose(0, 3, 1, 2).astype(float32) lp lpips_model(torch.from_numpy(pred_t).cuda(), torch.from_numpy(gt_t).cuda()).item() return psnr, ssim, lpPSNR反映像素级误差SSIM反映结构相似度LPIPS则更接近人的感知。三者结合看像素级OK但感知分差通常是纹理生硬相反LPIPS好但SSIM低往往是过度平滑掩盖了误差。验收时拿这三项指标替换训练时的重建损失能找出很多肉眼忽略的问题。5.2 用一条命令生成修复对比图和最小演示项目里的evaluate.py通常负责输出对比图。最小实现是在一张画布上依次拼原图、带掩码图、修复图最后横向拼接保存方向是一行三列。def visualize(original, masked, pred, pathresult.png): import matplotlib.pyplot as plt fig, axes plt.subplots(1, 3, figsize(15, 5)) axes[0].imshow(original) axes[1].imshow(masked) axes[2].imshow(pred) fig.savefig(path, bbox_inchestight, dpi120)运行python evaluate.py --ckpt best.pth --image test.jpg --mask mask.png --out result.png即可把一条命令交付给非技术同事使用。如果想做交互式演示用OpenCV窗口读取鼠标拖动生成掩码再调用模型推理一次就能做一个简单的擦除工具核心是推理函数要和训练时一样接收masked和mask两个输入而不是只接收一张图。交互界面里如果放进滑动条注意加一个互斥锁否则连续拖动掩码会让模型推理输出乱序。本文还有配套的精品资源点击获取 深度学习图像修复实战：PyTorch源码解析与训练调优指南
简介基于深度学习的图像修复算法Python源码与项目说明面向计算机相关专业准备毕业设计或需要项目实战练习的初学者。项目经导师指导并获评99分代码完整、可直接运行配合输入样例、结果对比图与说明文档有助于理解图像修复原理并在此基础上二次开发。压缩包共14个文件涵盖Python脚本、PNG结果图、JPG样例图、Markdown说明文档及配置文件整体大小约5.33MB素材与结果分目录存放便于按需查阅。目前已有176人学习下载热度较好适合作为毕业设计、课程设计或期末大作业的完整参考。资料从数据准备、算法调用到结果可视化均有覆盖简化版与复杂版的对照设计既可辅助评估不同策略的修复效果也能为有一定基础的读者提供进阶思路整份资源既可用于论文撰写的实验支撑也可直接用于系统演示为希望快速搭建可运行图像修复项目的学习者提供了省时省力的方案。1. 深度学习图像修复的边界与适用场景图像修复或者说图像补全要解决的并不是简单的滤波和抠图。常规的修复需求比如证件照去划痕、老照片去折痕损坏区域通常有清晰的边缘作为参照传统算法能应付。但当你面对的是一张大面积文字遮挡、物体迁移留下的空洞或者整个区域都已破损的老照片算法需要知道“这里原来应该长什么样”而不是从周围像素插值出来。基于深度学习的图像修复把这个问题改造成一个条件生成任务给一个损坏图和一个二进制掩码让网络去预测缺失像素的条件概率分布。它学习的不是像素公式而是从大量自然图像中抽取的语义先验。这份“python源码项目说明”式的工程包覆盖的正是从数据管道到训练推理的一条完整链路。适合的人有两类一类是读完“动手深度学习”或PyTorch教程、想找一个方向完整落地的学生另一类是在做图像编辑、老照片翻新、物体消除等业务的工程师。如果你只是想快速调用OpenCV内置的修复接口那这个方向并不合适深度学习的代价是显存占用和训练时间收益是大面积缺口的语义级补全效果使用前把这两头的边界放在心里。2. 修复网络结构该怎么搭从掩码编码到自注意力选型2.1 掩码编码决定问题边界拿到源码包第一件事不是打开网络模型文件而是看数据模块里掩码是怎么生成的。修复任务的输入是x 原图 * (1 - mask)也就是把缺失区域像素清零掩码张量再沿通道方向拼进去构成一个4通道或更多通道的输入。掩码的通道维度解决了一个容易踩的坑普通CNN对“缺失”没有感知如果不把掩码喂进去模型只会把所有缺失像素当成统一的黑色噪声训练初期loss会非常难降。常见做法是引入部分卷积Partial Convolution卷积时用sum(mask)做归一化分母让卷积核只处理已知像素并且每一层都更新掩码。这部分代码并不复杂但能明显降低训练初期的loss。很多开源项目默认用的是普通Conv2d加一个mask通道这是能跑的底线更稳的变体是逐步升级到部分卷积特别当掩码形状不规则时。def partial_conv2d(x, mask, weight, biasNone): # x: [B, C_in, H, W], mask: [B, 1, H, W] B, C, H, W x.shape mask mask.expand(-1, C, -1, -1) # 卷积核窗口内已知像素的权重之和 mask_sum F.conv2d(mask, weight, biasNone, stride1, padding1) x x * mask x_conv F.conv2d(x, weight, biasbias, stride1, padding1) out x_conv / (mask_sum 1e-8) # 掩码同步更新标记哪些位置已积累足够有效信息 new_mask (mask_sum 0).float() return out, new_mask这段代码的核心是每一步维护mask只允许已知像素参与卷积。mask_sum对应卷积核窗口内已知像素的权重和最后的new_mask交给下一层。要注意padding1时的边界效应mask在图像边缘会被pad的0拉低如果训练时发现图像四周修复效果差优先查这一层的归一化分母必要时把padding部分单独处理。2.2 从局部感受野到全局依赖CNN主干与自注意力怎么接早期修复模型比如PatchMatch走的是纹理匹配路线适用于高重复纹理深度学习CNN把感受野从几十像素扩大到十几层之后的数百像素但结构性缺失区域比如人脸的半边被遮挡需要更远的上下文。卷积的局部连接天然限制了一次建模的信息范围自注意力机制则让任意两个位置的像素可以直接建立依赖。在源码工程里自注意力通常有两种接法。最直接的是在生成器的编码器-解码器中间层插入Non-local模块对所有位置计算注意力权重另一种是窗口自注意力把特征图切成固定大小的窗口在窗口内计算注意力关系。窗口划分的代价是跨窗口信息不互通所以很多结构采用移动窗口来交叉传递信息也就是WSA和跨窗口自注意力组合的网络结构。这样既比全局自注意力省显存又能让信息越过窗口边界传播适合单卡显存只有8G到16G的常规训练环境。选择建议只有8G以下显存用256分辨率输入加窗口注意力有16G以上显存直接用全局自注意力或者混合模式。多数修复论文报告的效果差异并不来自注意力类型而是来自训练数据的mask分布这一点常被新手忽略。源码里如果用了不规则mask生成器优先保留它的随机种子逻辑不要为了还原实验改成固定mask。2.3 生成器之后接判别器损失配比照这张表来调完整源码项目里复现的通常是GAN框架。修复生成器输出整张图判别器需要分辨原图和修复图。这里有一个经常被忽略的细节判别器输入如果是全图真实区域的纹理信息会让“真/假”判断变得过于容易模型学会了判断周边纹理一致性而忽略修复区域本身如果只输入修复区域又丢失了边界上下文。更实用的是局部判别器配合全局判别器一个对全图打分一个对掩码区域打分。# 双判别器合一的简化写法返回全局和局部两个分数 def forward(self, x, mask_local): feat self.backbone(x) global_logit self.global_head(feat) pooled F.adaptive_avg_pool2d(feat, 1) local_logit self.local_head(pooled * mask_local) return global_logit, local_logitmask_local是掩码区域膨胀几个像素后的蒙版目的是把边界处的伪影切割进来。最终损失是重建损失、感知损失、风格损失、对抗损失的加权和权重建议从下表开始再按数据集调整损失分量权重作用L1重建损失1.0约束像素级逼近感知损失0.1在VGG特征空间约束内容语义风格损失120 ~ 240约束纹理和色彩统计一致性对抗损失生成器0.1让修复区域具备高频真实信号对抗损失判别器1.0单独优化判别器感知损失取VGG16的relu1_2到relu4_4多层特征计算距离比只在顶层计算能保留更多结构。风格损失计算同样特征图Gram矩阵的误差权重数值大是正常的因为它对应特征通道数量的平方量级。如果项目代码里是默认权重先保持这组值跑完前几个epoch再根据验证集表现调整。3. Python源码组织与最小训练管线拿到这类带项目说明的zip压缩包我一般不会直接运行训练脚本。先把目录结构、入口文件和依赖列出来确认训练入口和模型定义文件都在再动手。工程包质量差异很大有的作者把训练和推理写在一个文件里有的拆得比较规整但核心流程不会变数据管道、网络构建、损失计算、梯度更新这四段。3.1 用conda锁定Python与PyTorch版本深度学习图像修复项目大多依赖PyTorch生态Python版本建议3.8或3.9。在Python安装教程里通常强调用虚拟环境避免污染系统环境这里直接用conda创建独立环境。conda create -n inpainting python3.9 -y conda activate inpainting pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy opencv-python tqdm tensorboardtorch和torchvision需要从同一套CUDA版本索引安装如果显卡驱动支持的CUDA是12.x把cu118换成cu121。先跑通训练再升级其他依赖否则很容易陷入依赖冲突。配好环境后用一张损坏图和一张掩码跑一次前向传播确认网络输出尺寸与原图一致这是最快判断工程是否完整的办法。3.2 数据管道批量读图、生成掩码、合成输入修复项目的数据管道有三件事读图片、生成掩码、把两者合成训练输入。下面是可运行的DataLoader核心代码兼容原图目录和掩码目录两种组织方式。class InpaintingDataset(Dataset): def __init__(self, img_dir, mask_dirNone, size256): self.paths sorted(glob.glob(os.path.join(img_dir, *.jpg))) self.size size self.mask_dir mask_dir def __getitem__(self, idx): img cv2.imread(self.paths[idx]) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img cv2.resize(img, (self.size, self.size)) img torch.from_numpy(img).permute(2, 0, 1).float() / 127.5 - 1.0 if self.mask_dir is not None: mask_path os.path.join(self.mask_dir, os.path.basename(self.paths[idx])) mask cv2.imread(mask_path, 0) mask cv2.resize(mask, (self.size, self.size)) else: # 运行时随机生成圆形空洞掩码 mask np.ones((self.size, self.size), dtypenp.float32) center (self.size // 2, self.size // 2) cv2.circle(mask, center, self.size // 4, (0,), -1) mask torch.from_numpy(mask).float() # 缺失区域为0已有区域为1 masked img * mask.unsqueeze(0) return masked, mask, imgmasked img * mask.unsqueeze(0)是核心把缺失区域像素变成0返回的mask同时作为模型输入参与部分卷积的掩码更新。注意mask要保持0和1两种取值不要用0和255原图归一化到[-1,1]是GAN训练的习惯如果项目从0开始调参这一点需要一并保持。如果发现模型输出在掩码边界出现黑色描边多半是合成输入时忘了匹配掩码和图像的数值范围。3.3 训练循环与项目目录约定训练循环用混合精度和梯度裁剪防止训练早期梯度爆炸这是深度学习CNN训练的标准写法。for epoch in range(cfg.epochs): for step, (masked, mask, img) in enumerate(train_loader): optimizer.zero_grad() pred model(masked, mask) loss compute_loss(pred, img, mask) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() if step % 100 0: writer.add_scalar(train/loss, loss.item(), epoch * len(train_loader) step)scaler来自torch.cuda.amp混合精度能在保持迭代速度的同时节省显存批量大小为8时显存占用能从11G降到7G左右。compute_loss内部按2.3节的权重表把各个损失分量累加起来这一层的loss分解在TensorBoard上能直接看出哪个分量异常判断训练是否稳定只需要盯住对抗损失和重建损失的相对趋势。源码包拆开后合理的目录结构大概是这样inpaint_project/ ├── configs/ # yaml参数文件 ├── data/ # 数据集和掩码 ├── models/ # generator.py, discriminator.py, losses.py ├── train.py # 训练入口 ├── evaluate.py # 指标计算 └── README.md # 环境、数据、训练说明拿到压缩包平级目录时先检查train.py和models/generator.py是否齐全再确认configs里路径有没有写死这两点是开源修复工程中最常见的跑不通原因。项目说明文档里如果附有算法流程图先按照图把数据流走到哪里、掩码在哪里生成核对一遍比直接改代码更省时间。4. 训练参数与常见伪影问题排查代码跑通只是开始图像修复真正花时间的是训练过程。这一章直接照搬迁中我会反复调整的参数表和排查路径。4.1 学习率、批次大小与epoch怎么配合生成器和判别器的学习率要分开设置这是GAN类项目的常识。常用的初始值是生成器学习率1e-4判别器学习率1e-5。Adam优化器的betas参数用(0.5, 0.999)beta1取0.9会让训练早期震荡明显。epoch的确定不以固定数值为准而是观察验证集误差连续20个epoch不下降后停止通常256分辨率下的修复模型需要200到300个epoch才能看到稳定的语义补全效果。参数推荐值偏大时的表现调整方向生成器学习率1e-4loss震荡、伪影杂乱降到3e-5判别器学习率1e-5生成器loss一直压不住降一个数量级批次大小4~8OOM或者训练慢降一半并同步降低学习率输入分辨率256边界模糊、细节丢失提高到384或512批次大小调整时要同步调整学习率实践里常见的是批次减半、学习率也减半梯度更新幅度保持相近。混合精度开启后如果发现loss精度异常把torch.cuda.amp关掉对比一次有时代码和AMP的兼容性并没有想象中好。4.2 对抗训练阶段判别器节奏与损失配平的先后顺序训练早期最常出现的现象是生成器损失徘徊在某个高位判别器准确率逼近100%。这说明判别器学得太快了生成器无论怎么出图都被一眼识破梯度信号失去引导作用。先做的事情不是改网络结构而是把判别器的学习率再降一个数量级或者每训练生成器两次才训练判别器一次。工程代码里通常是这样写的for step, data in enumerate(train_loader): # 先训生成器 pred generator(data) g_loss generator_loss(pred, data) g_loss.backward() g_optimizer.step() # 再训判别器降低更新频率 if step % 2 0: d_loss discriminator_loss(pred.detach(), data) d_loss.backward() d_optimizer.step()生成器梯度反向传播后pred.detach()是保证判别器在训练时不会把梯度带回生成器。判别器更新频率从step % 2改成step % 3或更低反映在曲线上的效果是判别器loss回升、生成器开始进步。此时再回头调整感知损失权重把0.1提到0.2生成的纹理会更接近原图。4.3 边界伪影和全局色彩不一致的处理模型输出图整体不错但掩码边缘发灰发暗这是修复项目最高频的现出问题。原因主要有两个一是掩码在数据管道中做了缩小旋转边缘存在半透明像素网络把这些低置信度像素当成语义目标二是损失函数对边界像素的约束不足。解决边界问题有一个通用技巧把训练用掩码做一次形态学腐蚀或膨胀。腐蚀让掩码区域变小网络学到的边界更贴近真实边缘膨胀则让网络多学一点边缘外侧的纹理衔接。实际工程里我喜欢用膨胀因为修复结果的边界看起来更自然。参考参数用3x3的卷积核对掩码膨胀2到3个像素如果带颜色偏置再把感知损失提升0.05。色彩不一致则多半是风格损失权重过低。全局色彩偏移可以单独计算一个直方图匹配损失把生成图的色彩直方图向原图方向拉近。这个损失实现起来很简单通常加在L1损失后面对整体色调的一致性提升明显而且不像风格损失那样需要VGG前向传播计算量几乎为零。5. 模型评估与最小可视化交付训练收敛后需要把结果量化出来才算交付一个完整的修复项目。“看起来还行”的图发在博客没问题用在业务上必须有过得去的指标。5.1 算PSNR、SSIM、LPIPS三个指标PSNR和SSIM用skimage.metrics就能计算LPIPS需要加载一个预训练网络这里给出一个可直接复制的最小实现。import torch from skimage.metrics import peak_signal_noise_ratio, structural_similarity import lpips lpips_model lpips.LPIPS(netalex).cuda() def compute_metrics(pred, gt, mask): # pred和gt的取值范围是[-1,1]转成[0,1]后再计算指标 pred (pred.cpu().numpy().transpose(1, 2, 0) 1) / 2 gt (gt.cpu().numpy().transpose(1, 2, 0) 1) / 2 psnr peak_signal_noise_ratio(gt, pred, data_range1.0) ssim structural_similarity(gt, pred, channel_axis2) # LPIPS在原始数值范围上计算 pred_t pred[None].transpose(0, 3, 1, 2).astype(float32) gt_t gt[None].transpose(0, 3, 1, 2).astype(float32) lp lpips_model(torch.from_numpy(pred_t).cuda(), torch.from_numpy(gt_t).cuda()).item() return psnr, ssim, lpPSNR反映像素级误差SSIM反映结构相似度LPIPS则更接近人的感知。三者结合看像素级OK但感知分差通常是纹理生硬相反LPIPS好但SSIM低往往是过度平滑掩盖了误差。验收时拿这三项指标替换训练时的重建损失能找出很多肉眼忽略的问题。5.2 用一条命令生成修复对比图和最小演示项目里的evaluate.py通常负责输出对比图。最小实现是在一张画布上依次拼原图、带掩码图、修复图最后横向拼接保存方向是一行三列。def visualize(original, masked, pred, pathresult.png): import matplotlib.pyplot as plt fig, axes plt.subplots(1, 3, figsize(15, 5)) axes[0].imshow(original) axes[1].imshow(masked) axes[2].imshow(pred) fig.savefig(path, bbox_inchestight, dpi120)运行python evaluate.py --ckpt best.pth --image test.jpg --mask mask.png --out result.png即可把一条命令交付给非技术同事使用。如果想做交互式演示用OpenCV窗口读取鼠标拖动生成掩码再调用模型推理一次就能做一个简单的擦除工具核心是推理函数要和训练时一样接收masked和mask两个输入而不是只接收一张图。交互界面里如果放进滑动条注意加一个互斥锁否则连续拖动掩码会让模型推理输出乱序。本文还有配套的精品资源点击获取