简介这份资源是一套面向深度学习初学者与研究者的DDPM去噪扩散概率模型PyTorch可运行实现完整覆盖MNIST数据集获取、DDPM类设计、训练算法、U-Net去噪网络构建以及实验结果分析等核心流程。代码在MNIST上完成训练与采样生成图像与真实手写数字视觉接近并通过不同网络架构的对比实验说明结构参数对输出质量的影响适合正在学习扩散模型或准备复现经典生成模型的读者。压缩包共27个文件体积约22.21MB包含8个Python源文件、预训练权重.pth、MNIST数据文件、配置文档、生成样例图片等源码与数据齐全目录结构清晰既能一键运行验证效果也便于逐模块阅读源码。目前已有218人学习资源附带了复现过程中的关键点与注意事项如数据预处理、超参数设置、训练稳定性等经验总结可帮助读者少走弯路快速构建自己的DDPM实验。1. 扩散过程到底在做什么前向加噪与后向去噪的核心逻辑先说一个可能反直觉的结论DDPM的训练代码核心部分并不长甚至比很多常见分类网络还要简单。我第一次看完DDPM论文时被那些概率图模型、变分下界绕得头晕结果真正用PyTorch把它实现出来之后才发现训练环节要做的不过是三件事对一张图随机加噪、让U-Net去预测加进去的噪声、计算MSE更新参数。真正难的地方反而是采样循环里的每个细节以及踩过坑之后对每个公式的直觉理解。1.1 前向过程从清晰图片到纯噪声的“复印机效应”DDPMDenoising Diffusion Probabilistic Models的核心思路可以这样理解前向过程就是给一张干净图片反复叠加高斯噪声每一步都在原来的基础上“搅浑”一点。论文里把这个过程定义成一个马尔可夫链每一步只和上一步有关加噪强度由一组参数β_t控制。如果加噪总步数T足够大比如常见的1000步那么最后一步得到的几乎就是标准正态分布的纯噪声。这里比较方便的一点是我们不需要真的循环1000步去逐步加噪。通过重参数化技巧从原始图x_0出发可以一步直接算出任意时刻t的加噪结果x_t sqrt(alpha_bar_t) * x_0 sqrt(1 - alpha_bar_t) * noise其中alpha_bar_t是alpha 1 - beta的累乘结果noise是标准高斯噪声。这就像把“复印1000次的中间过程”压缩成了一个公式训练时想抽哪个时间步就抽哪个非常高效。1.2 后向过程让神经网络学会倒放如果能把前向过程倒过来从纯噪声一步一步还原出图像那我们就拿到了一个生成模型。问题是真正的前向逆过程 q(x_{t-1}|x_t) 依赖未知的真实数据分布算不出来所以我们用神经网络 p_θ 去学习逼近。这个网络每次拿到一张带噪图 x_t 和当前步数 t输出对噪声的预测。这里有个关键点网络不是直接预测原图而是预测“加进去的噪声”。原论文从变分下界出发做了大量推导最后化简出的训练目标出人意料地简洁——让预测噪声和真实噪声做MSE。这也是为什么很多人把DDPM的训练代码比喻成“去噪游戏”随机加噪让网络猜噪声猜准了就更新参数。时间步 t 也必须作为输入因为不同时刻带噪图像的噪声程度完全不同。t 越小图像越接近原图需要去除的噪声越少t 越大图像越接近纯噪声去噪力度越强。网络必须知道“自己是站在哪一步”才能决定下手轻重。1.3 训练目标与采样公式先记住这三行整个DDPM可以浓缩成下面三行公式后续源码每一处都对应到这里环节表达式作用前向加噪x_t sqrt(alpha_bar) * x0 sqrt(1 - alpha_bar) * noise任意时刻的带噪图训练损失L MSE(noise_pred, noise)让网络学会预测噪声采样更新x_{t-1} 1/sqrt(alpha_t) * (x_t - (1-alpha_t)/sqrt(1-alpha_bar) * noise_pred) sigma_t * z从噪声逐步还原图像采样更新公式看着长拆开看也不难前半部分是把当前带噪图中的“已预测噪声”扣除得到一个更接近原图的中间结果后半部分的sigma_t * z是随机扰动项用来保持生成过程的多样性。只有在最后一步 t0 时sigma_t为0相当于确定性地输出最终图像。如果能理解这三行后面的代码就是翻译工作。2. 跑这份源码前需要准备的环境与依赖清单2.1 依赖很少只有一个核心框架我见过不少人在模型代码还没看的时候先把环境安装折腾了一整天其实完全没必要。这份源码的依赖非常少Python 3.9、PyTorch 2.x、torchvision再加上可选的 matplotlib 和 numpy。推荐用 Anaconda 建一个独立环境避免把系统 Python 弄乱conda create -n ddpm python3.10 conda activate ddpm pip install torch torchvision matplotlib numpy如果你要用 GPU 加速不要凭印象安装。PyTorch 的 GPU 版安装命令和 CUDA 版本强相关直接去 PyTorch 官网选择你的操作系统、包管理工具和 CUDA 版本复制对应的命令即可。装完先跑一句验证import torch print(torch.__version__) print(torch.cuda.is_available())torch.cuda.is_available()输出True才说明 GPU 版本装对了否则后续训练默认走 CPU速度会差很多。2.2 这套源码对硬件的要求不高这份实现拿 MNIST 手写数字做训练单通道 28x28 分辨率参数规模很小。说句实在话哪怕没有独立显卡纯 CPU 也能训练只是速度慢一些。如果你用的是普通笔记本 CPU建议先不要直接上完整配置后面会给出调试期的替代方案。第一次运行时会自动下载 MNIST 数据集到./data目录。如果下载卡住或报网络错误可以手动从网上下载 MNIST 的四个压缩包放到对应目录下再重新运行。2.3 调试期的一个建议不要一开始就timesteps1000、epochs30丢到 CPU 上跑一整夜然后第二天发现采样公式里有个符号错误。我个人的习惯是先用小配置验证流程把timesteps临时改成 200epochs改成 5确认 loss 能下降、生成的图像不是一片噪声再恢复完整参数。这样一轮验证下来只要几分钟能省下大量等待时间。3. 可运行源码逐模块拆解数据、调度器、模型与采样循环下面按模块给出完整源码每个模块之间是清晰的边界。把 3.1 到 3.5 的代码按顺序拼到一个.py文件里就可以直接运行。3.1 数据加载为什么要把像素归一化到 [-1,1]from torchvision import datasets, transforms from torch.utils.data import DataLoader def load_mnist(batch_size128): transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)), ]) dataset datasets.MNIST(./data, trainTrue, downloadTrue, transformtransform) return DataLoader(dataset, batch_sizebatch_size, shuffleTrue, num_workers2)这里最重要的细节是Normalize((0.5,), (0.5,))它把像素值从 [0,1] 区间映射到 [-1,1] 区间。DDPM 最终生成的是图像张量而图像张量的常见分布范围就是 [-1,1]这和我们在前向过程里采样的标准高斯噪声均值0方差1在数值尺度上更匹配。如果保留 [0,1] 范围也能训练但实践中 [-1,1] 更稳收敛也更快这也是大多数扩散模型实现的选择。3.2 噪声调度器与前向加噪一个公式生成任意时刻的带噪图import torch def linear_beta_schedule(timesteps1000, beta_start1e-4, beta_end0.02): return torch.linspace(beta_start, beta_end, timesteps) def compute_alphas(betas): alphas 1.0 - betas alpha_bar torch.cumprod(alphas, dim0) return alphas, alpha_bar def forward_diffusion_sample(x_0, t, alpha_bar, device): batch_size x_0.shape[0] sqrt_alpha_bar torch.sqrt(alpha_bar[t])[:, None, None, None] sqrt_one_minus_alpha_bar torch.sqrt(1 - alpha_bar[t])[:, None, None, None] noise torch.randn_like(x_0) x_t sqrt_alpha_bar * x_0 sqrt_one_minus_alpha_bar * noise return x_t, noiselinear_beta_schedule生成线性增长的 β 序列从 0.0001 到 0.02这是 DDPM 论文里的经典配置。alpha_bar是 α 的累乘结果数值从接近1逐步衰减到接近0对应图像从“几乎干净”退化到“几乎纯噪声”。forward_diffusion_sample里那一行[:, None, None, None]看起来奇怪实际上只是把形状为(batch,)的标量数组扩展成(batch,1,1,1)方便和图像张量广播对齐。理解了这一点前向过程就彻底结束了——它不需要学习任何参数只是一个固定的数学变换。3.3 U-Net模型时间嵌入与残差块是怎么配合的import torch.nn as nn import torch.nn.functional as F import math class SinusoidalPositionEmbeddings(nn.Module): def __init__(self, dim): super().__init__() self.dim dim def forward(self, time): half_dim self.dim // 2 emb math.log(10000) / (half_dim - 1) emb torch.exp(torch.arange(half_dim, devicetime.device) * -emb) emb time[:, None] * emb[None, :] return torch.cat((emb.sin(), emb.cos()), dim-1) class ResidualBlock(nn.Module): def __init__(self, in_ch, out_ch, time_emb_dim): super().__init__() self.conv1 nn.Conv2d(in_ch, out_ch, 3, padding1) self.gn1 nn.GroupNorm(8, out_ch) self.conv2 nn.Conv2d(out_ch, out_ch, 3, padding1) self.gn2 nn.GroupNorm(8, out_ch) self.time_emb nn.Linear(time_emb_dim, out_ch) self.shortcut nn.Identity() if in_ch out_ch else nn.Conv2d(in_ch, out_ch, 1) def forward(self, x, t): h F.silu(self.gn1(self.conv1(x))) h h self.time_emb(t)[:, :, None, None] h F.silu(self.gn2(self.conv2(h))) return h self.shortcut(x) class MiniUNet(nn.Module): def __init__(self, in_channels1, base64, time_emb_dim128): super().__init__() self.time_mlp nn.Sequential( SinusoidalPositionEmbeddings(time_emb_dim), nn.Linear(time_emb_dim, time_emb_dim), nn.SiLU(), nn.Linear(time_emb_dim, time_emb_dim), ) self.inc ResidualBlock(in_channels, base, time_emb_dim) self.down1 nn.Sequential(nn.Conv2d(base, base, 4, 2, 1), nn.SiLU()) self.mid1 ResidualBlock(base, base * 2, time_emb_dim) self.down2 nn.Sequential(nn.Conv2d(base * 2, base * 2, 4, 2, 1), nn.SiLU()) self.mid2 ResidualBlock(base * 2, base * 2, time_emb_dim) self.up1 nn.Upsample(scale_factor2, modenearest) self.top1 ResidualBlock(base * 2 base * 2, base, time_emb_dim) self.up2 nn.Upsample(scale_factor2, modenearest) self.top2 ResidualBlock(base base, base, time_emb_dim) self.out nn.Conv2d(base, in_channels, 1) def forward(self, x, t): t_emb self.time_mlp(t) h self.inc(x, t_emb) h1 h h self.down1(h) h self.mid1(h, t_emb) h2 h h self.down2(h) h self.mid2(h, t_emb) h self.up1(h) h self.top1(torch.cat([h, h2], dim1), t_emb) h self.up2(h) h self.top2(torch.cat([h, h1], dim1), t_emb) return self.out(h)网络选型上我用了一个缩小版的 U-Net而不是论文里那个几百兆参数的大模型原因很简单MNIST 分辨率低任务也简单没必要杀鸡用牛刀。这个 MiniUNet 保留了 U-Net 最核心的两个设计通过下采样提取多尺度特征再通过上采样和 skip connection 把细节信息融合回去。两个设计选择值得说明一下。第一使用 GroupNorm 而不是 BatchNorm因为扩散模型训练时 batch size 通常不会开特别大BatchNorm 在小 batch 场景下统计量不稳定而 GroupNorm 按通道分组做归一化不受 batch 大小影响训练更稳。第二SinusoidalPositionEmbeddings把整数时间步 t 映射成一组正弦余弦特征和 Transformer 里的位置编码是同一个思路能让网络在不同时间步上获得区分度足够高的特征。时间嵌入进入网络的方式也很直接经过一个 MLP 投影到和目标通道数相同然后通过广播加到卷积特征上。这种方式虽然简单但足够让网络感知“当前去噪到哪一步了”。3.4 训练循环与采样循环对照公式看代码def train_step(model, optimizer, x, betas, alpha_bar, device): batch_size x.shape[0] t torch.randint(0, len(betas), (batch_size,), devicedevice) x_t, noise forward_diffusion_sample(x, t, alpha_bar, device) noise_pred model(x_t, t) loss F.mse_loss(noise_pred, noise) optimizer.zero_grad() loss.backward() optimizer.step() return loss.item() torch.no_grad() def sample(model, betas, alpha_bar, image_size28, batch_size16, channels1, devicecpu): alphas 1.0 - betas alpha_bar_prev torch.cat([torch.tensor([1.0]).to(device), alpha_bar[:-1]]) sqrt_recip_alpha torch.sqrt(1.0 / alphas) sqrt_one_minus_alpha_bar torch.sqrt(1 - alpha_bar) posterior_variance betas * (1.0 - alpha_bar_prev) / (1.0 - alpha_bar 1e-5) model.eval() x torch.randn(batch_size, channels, image_size, image_size, devicedevice) for t in reversed(range(len(betas))): t_batch torch.full((batch_size,), t, devicedevice, dtypetorch.long) noise_pred model(x, t_batch) x sqrt_recip_alpha[t] * ( x - (1.0 - alphas[t]) / sqrt_one_minus_alpha_bar[t] * noise_pred ) if t 0: x x torch.sqrt(posterior_variance[t]) * torch.randn_like(x) model.train() return x训练循环没什么花哨的每个 batch 随机抽一组时间步 t对输入图加噪然后让网络预测噪声并计算 MSE。由于前向过程可以一步到位训练时不需要保存任何中间加噪结果内存开销非常小。采样循环则是对论文公式的直接翻译。从纯高斯噪声张量开始从 t999 一步步走到 t0每一步先用网络预测噪声再用均值更新公式去除预测噪声得到一个更干净的中间图。当 t0 时还要加上一个随机噪声项这个噪声项的强度由后验方差posterior_variance[t]控制。它计算时需要用到alpha_bar_prev也就是把alpha_bar整体往后移一位这样posterior_variance[t]对应的是从 t 到 t-1 这一步的噪声强度。t0 时分子为0方差为0因此最后一步不加随机噪声确定性输出最终图像。3.5 主流程把全部模块串成一个可运行脚本import torchvision def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) timesteps 1000 batch_size 128 epochs 30 lr 3e-4 betas linear_beta_schedule(timesteps).to(device) _, alpha_bar compute_alphas(betas) dataloader load_mnist(batch_size) model MiniUNet().to(device) optimizer torch.optim.Adam(model.parameters(), lrlr) for epoch in range(epochs): total_loss 0.0 for x, _ in dataloader: x x.to(device) total_loss train_step(model, optimizer, x, betas, alpha_bar, device) avg_loss total_loss / len(dataloader) print(fepoch {epoch:02d} loss {avg_loss:.4f}) if epoch % 5 0: samples sample(model, betas, alpha_bar, devicedevice) grid ((samples 1.0) / 2.0).clamp(0, 1) torchvision.utils.save_image(grid, fddpm_epoch_{epoch:02d}.png, nrow4) if __name__ __main__: main()训练时每 5 个 epoch 保存一张采样图这样能直观看到模型从纯噪声中逐渐“学会”写数字的过程。采样输出的图像范围在 [-1,1] 区间直接保存会偏黑偏白所以保存前要先执行(x 1) / 2转回 [0,1]再做一次 clamp 防止越界。4. 训练与采样阶段的坑我的排查过程和调参经验4.1 生成图灰蒙蒙α 和 α_bar 搞混的经典翻车现场我第一次跑这个实现的时候训练 loss 一路正常下降但采样出来的图始终是灰蒙蒙的模糊影像完全看不出数字。排查到最后问题出在采样更新的分母上我把sqrt_one_minus_alpha_bar[t]写成了sqrt_one_minus_alpha[t]。这两个量是完全不同的东西。α_t 表示“某一步”加噪后剩下的信号比例α_bar_t 表示“从第0步累到第 t 步”总共剩下的信号比例。差一个累乘符号数值量级完全不同去噪强度也就不对。这类公式抄错很难靠看 loss 发现因为 loss 在训练时只和网络预测有关采样代码的错误不会反映到训练指标上。我的排查建议是每轮训练都保存采样图而不是只看 loss。如果生成的图整体发灰、细节全无优先检查采样循环里的均值和方差公式如果图是纯噪声没有结构优先检查网络输入输出通道和噪声预测方向。4.2 loss正常但图像质量差试试EMA和更稳的学习率另一种让我头疼的情况是 loss 降得很正常图像轮廓也能看出来但细节总是脏脏的生成结果不稳定。后来确认是两个原因叠加学习率太大以及模型参数在训练后期震荡。DDPM 在 Adam 优化器下3e-4 是比较稳妥的学习率不建议开局直接上 1e-3。至于参数震荡业界通用的解法是 EMA也就是指数移动平均。维护一份模型参数的滑动影子每个训练步用ema_shadow ema_decay * ema_shadow (1 - ema_decay) * model_params更新采样时用这份平滑后的影子参数而不是实时参数。EMA 的实现不复杂但对生成稳定性的提升肉眼可见很多扩散模型的开源库都默认开启。4.3 训练太慢的应急方案如果你在 CPU 上训练又不想等太久可以把base从 64 降到 32这会直接砍掉大部分计算量或者把timesteps临时改成 200先用它验证整个流程对不对。毕竟timesteps1000只是论文里的常用配置不是算法硬性要求。少一些加噪步数训练会更快代价是生成质量下降但作为流程验证完全够用。等确认代码没问题之后再改回完整配置放到 GPU 上正式训练。MNIST 在这种小模型下一块普通显卡跑几十个 epoch 通常只需要几十分钟。4.4 常见问题排查表症状可能原因解决方向loss 不下降学习率过大、网络输入输出通道不对降到 3e-4检查 forward 输出形状生成图全是灰影采样公式里 α 和 α_bar 混用对照第 3 节的 sample 代码逐行检查生成图纯黑或纯白输出范围 [-1,1] 没转回 [0,1]保存前执行(x1)/2并 clamploss 正常但图像脏参数震荡、epoch 不够加 EMA多跑一些 epoch训练非常慢timesteps 太大、设备太弱临时调小 T调小 base 通道数结果无法复现没有固定随机种子main 开头设置torch.manual_seed(0)4.5 记得固定随机种子最后分享一个容易忽略的细节在main()开头加上torch.manual_seed(0)如果用了 GPU 再加一句torch.cuda.manual_seed_all(0)。任何一个做过生成模型实验的人都懂如果每次跑出来的中间结果完全不一样排查问题会变得极其痛苦。固定随机种子之后至少你能确定“这次结果变差是改代码导致的而不是随机噪声带来的波动”。5. 从这份代码出发DDIM加速与下一步实验建议5.1 先做DDIM改成50步采样就这么简单DDPM 采样需要完整跑 1000 步在 CPU 上生成一批图确实有些慢。想提速第一选择不是换模型而是换采样算法DDIM。DDIM 的核心改动非常小去掉采样循环里的随机噪声项改成确定性更新同时允许跳步采样。原来 1000 步的采样过程可以压缩到 50 步生成质量仍然不错。它的思想是把扩散采样看作一个确定的常微分方程求解过程每一步都在沿着一条固定轨迹逼近真实数据分布而不再像 DDPM 那样每一步都要注入新的随机性。在理解了 DDPM 采样循环的基础上实现 DDIM 只是一个小时的动手量级。5.2 升级条件生成与更高分辨率这份源码里网络处理的是单通道 28x28 的 MNIST 图像。想换成 CIFAR-10把in_channels1改成 3图像尺寸改成 32网络会自动适配。想进一步做条件生成把类别标签做 embedding 后加到时间嵌入附近让网络在去噪的同时看到“当前要生成哪个数字”就能训练出一个 conditional DDPM。这个方向的终点其实就是 Stable Diffusion 那套 latent diffusion 的思路把扩散过程搬到潜空间里再配合条件信息做生成。理解了这个 MiniUNet 和采样循环再看那些庞大系统时你会发现底层的骨架仍然是熟悉的 DDPM。5.3 我的建议亲手删掉一个组件看看会发生什么跑通代码只是起点我更建议你做一个小实验把时间嵌入删掉把 GroupNorm 换成 BatchNorm或者把 U-Net 替换成普通的卷积堆叠重新训练一遍对比生成结果。不用多只改一个组件就够。我最初做这个实验时很惊讶去掉时间嵌入之后模型居然也能出图但数字结构明显松散训练过程也更不稳定。这说明那些看似平凡的设计不是装饰而是各司其职地维持着整个扩散过程的稳定性。这种亲手改动带来的直觉比对着论文反复推导公式要深刻得多。毕竟看十遍采样公式都不如亲眼看到一行代码出错后生成的雪花点来得记忆深刻。本文还有配套的精品资源点击获取