1. 生成模型到底在解决什么问题1.1 从“生成”两个字的字面意思说起很多人第一次接触生成模型脑子里冒出来的第一个问题往往是它到底在干什么说白了生成模型要解决的核心问题只有一个——给定一堆已有的数据让机器学会这些数据背后的分布规律然后从这套规律里“造”出新的、但看起来跟真的一样的数据。这个“造”的过程就是生成。你手头有一万张猫的照片生成模型看完之后你给它一个随机噪声它就能吐出一张全新的、世界上不存在的猫。你有一段人类语音它学完之后能合成出从未有人说过的句子。这件事听起来很玄但拆开来看它本质上就是一个概率建模问题真实数据服从某个未知分布 p_data(x)我们想用一个模型 p_θ(x) 去逼近它逼近到一定程度之后从 p_θ(x) 里采样出来的东西就“像”真实数据了。这里有两个关键词贯穿全文概率密度和采样轨迹。概率密度回答的是“这个数据出现的可能性有多大”采样轨迹回答的是“我怎么一步步从噪声走到一个像样的样本”。不同的生成模型本质上就是在这两件事上做了不同的取舍和设计。1.2 为什么会有这么多流派如果你去翻生成模型的论文会发现名字五花八门VAE、GAN、扩散模型、流模型、自回归模型……初学者很容易懵觉得这是五套完全不同的东西。但如果你把视角拉高会发现它们其实都在回答同一个问题如何建模并采样一个复杂的高维分布。区别只在于它们选择了不同的“中间桥梁”。VAE 选择用隐变量加变分推断来搭桥GAN 选择用对抗博弈绕开密度估计扩散模型选择用逐步去噪的马尔可夫链来搭桥。这些选择背后是对“密度好不好算”“采样稳不稳”“训练难不难”这三个问题的不同权衡。理解了这一点你再看这些模型就不会觉得它们是孤立的技巧而是同一张地图上的不同路线。1.3 这篇文章适合谁看如果你已经用过 Stable Diffusion 出图或者跑过几行 VAE 的代码但对“为什么 GAN 训练这么难”“为什么扩散模型采样这么慢”“为什么 VAE 生成的图总是糊”这些问题只有模糊的感觉那这篇内容就是写给你的。我会尽量少堆公式多用类比和实操视角把概率密度和采样轨迹这两条主线讲清楚让你在调模型、选方案、排查问题时心里有一张清晰的图。2. 概率密度生成模型的“世界观”2.1 概率密度到底在描述什么先把这个概念落地。想象你有一张 256×256 的彩色图片把它拉平就是一个 196608 维的向量。真实世界里所有“合理的猫图”在这个超高维空间里只占据极小极小的一个区域。概率密度函数 p(x) 描述的就是随便扔一个点 x 到这个空间里它落在“合理猫图”区域的概率有多大。这个函数几乎不可能显式写出来因为维度太高了。但它决定了生成模型的两件大事第一训练时我们要让模型给真实数据分配高概率第二采样时我们要能找到那些高概率区域。所以你会看到几乎所有生成模型的损失函数本质上都在做同一件事——拉高真实数据的概率压低不合理数据的概率。2.2 显式密度模型与隐式密度模型这是理解生成模型流派的第一把钥匙。所谓显式密度模型就是模型能直接告诉你某个样本的概率值是多少比如 VAE、流模型、自回归模型。隐式密度模型则不给概率值只给你一个采样器你没法直接算 p(x)但能从里面采样GAN 就是典型代表。这个区别带来的后果非常实际。显式模型通常有明确的似然目标训练相对稳定可以做异常检测、密度估计这类任务但往往在生成质量上要做一些妥协比如 VAE 容易糊。隐式模型绕开了密度估计这个难题生成质量往往更锐利但训练不稳定、模式崩塌这些问题就跟着来了。你在选模型的时候先问自己一句我到底需不需要概率值如果不需要GAN 这类隐式模型就值得考虑如果需要那 VAE 或流模型更合适。2.3 VAE 是怎么处理密度的VAE 的思路很巧妙。它假设每个真实样本 x 背后都有一个隐变量 zx 是由 z 生成的。于是 p(x) ∫ p(x|z)p(z)dz。但这个积分在高维下算不动所以 VAE 引入一个编码器 q(z|x) 来近似真实后验 p(z|x)然后用变分下界 ELBO 来优化。ELBO 可以拆成两项一项是重构误差鼓励解码器从 z 还原出 x另一项是 KL 散度鼓励 q(z|x) 靠近先验 p(z)。这两项在打架重构要准KL 要正则结果就是 VAE 生成的图往往偏模糊。这不是 bug是这种密度建模方式的固有 trade-off。我实测下来VAE 在图像压缩、特征解耦、异常检测上很好用但你要拿它做高清出图基本会被扩散模型按在地上摩擦。2.4 GAN 为什么干脆不算密度GAN 的聪明之处在于它发现“算密度”这件事太难那我干脆不算了。生成器 G 负责把噪声 z 映射成假样本判别器 D 负责区分真假。两者博弈到最后理论上 G 生成的分布会逼近真实分布。整个过程你不需要写出一行 p(x) 的表达式。代价是什么呢代价是你失去了对密度的掌控。你没法说“这张图概率是多少”也没法保证生成器覆盖了所有模式。模式崩塌就是典型症状生成器发现只要反复生成那几张最像真的图就能骗过判别器于是多样性直接崩掉。我在早期做图像修复项目时踩过这个坑判别器太强生成器直接摆烂输出全是同一种纹理。后来靠调整判别器更新频率、加标签平滑、引入谱归一化才慢慢稳住。3. 采样轨迹从噪声走到样本的那条路3.1 采样到底在做什么如果说概率密度是“世界观”那采样轨迹就是“方法论”。采样要回答的是我手上有一个随机噪声怎么一步步把它变成一个合理样本不同模型的采样轨迹差别巨大这直接决定了生成速度、稳定性和最终质量。自回归模型是一步一步来的像打字一样每次生成一个像素或一个 token轨迹是串行的慢但稳。GAN 是一步到位的噪声进生成器一次前向传播就出图快但容易崩。扩散模型是几百步去噪轨迹长但每一步都很简单稳但慢。VAE 是一次解码快但容易糊。你看采样轨迹的设计本质上是在速度、质量和稳定性之间做三角权衡。3.2 扩散模型的采样轨迹为什么这么设计扩散模型这两年是出图领域的主力它的采样轨迹值得单独说。前向过程是不断往图片上加高斯噪声直到变成纯噪声反向过程是学一个网络逐步把噪声去掉。训练目标很简单给定加噪后的图和噪声强度预测出加进去的噪声。为什么这种设计有效因为它把一个“一步生成复杂分布”的难题拆成了几百个“一步去一点噪声”的简单问题。每一步的分布都接近高斯网络容易学。但代价就是采样慢因为你要跑几百次网络前向。后来 DDIM、DPM-Solver 这些加速采样方法本质上是在不改变训练目标的前提下把采样轨迹从几百步压缩到几十步甚至几步。我实测过DDIM 50 步和原始 1000 步在多数场景下肉眼几乎看不出差别速度却快了 20 倍。3.3 采样轨迹与图像质量的关系这里有个很实际的问题为什么有时候 AI 生成的图片质量突然特别差除了模型本身的问题采样轨迹的设置往往是元凶。步数太少去噪不充分图就糊或者有噪点步数太多有时候反而会过拟合到某些伪影上。采样器的选择也很关键Euler、DPM、DDIM 各有脾气同一个模型换采样器出图风格可能完全不一样。还有一个容易被忽略的点随机种子和采样轨迹的交互。扩散模型的采样本身带有随机性同一个 prompt 同一个种子换一个采样器出来的图可能天差地别。我在做图像修复项目时经常遇到某个种子在 DDIM 下很好换到 Euler 就崩了。所以排查质量问题时先把采样器、步数、CFG scale 这三个参数固定住再去看模型本身有没有问题。3.4 GAN 的采样轨迹为什么是一步到位GAN 的采样轨迹极短从先验分布通常是高斯里采一个 z过一遍生成器结束。这种一步到位的设计带来了极快的推理速度但也意味着生成器必须一次性完成从噪声到样本的全部映射没有任何中间修正的机会。这就是为什么 GAN 对生成器的容量和训练稳定性要求极高。你可以把 GAN 的生成器想象成一个杂技演员要在一次抛接中完成所有动作中间没有第二次机会。而扩散模型更像是一个雕塑家先有个粗糙的石头然后一刀一刀慢慢修。前者快但难练后者慢但稳。理解了这一点你就明白为什么 GAN 在实时生成、风格迁移这类场景还有优势而扩散模型在高保真出图上更胜一筹。4. 统一图景把 VAE、GAN、扩散模型放在一张表里4.1 三条路线的核心对比维度VAEGAN扩散模型密度建模显式变分下界隐式不算密度显式逐步去噪采样轨迹一次解码一次前向多步迭代生成质量偏模糊锐利但易崩高保真训练稳定性较稳难调较稳采样速度快极快慢可加速典型问题模糊、后验坍塌模式崩塌采样慢、步数敏感这张表不是让你背的而是让你在选型时有个参照。你要做实时风格迁移GAN 可能更合适你要做高保真图像修复扩散模型更稳你要做特征解耦或异常检测VAE 的显式密度是优势。4.2 它们其实在同一个框架下如果把视角再拉高一点你会发现这三者都可以放在“从噪声到数据”的统一框架下理解。VAE 是学一个从隐变量到数据的映射GAN 是学一个从噪声到数据的映射扩散模型是学一个从噪声到数据的逐步映射。区别在于映射的复杂度、中间步骤的数量以及训练信号的设计。甚至可以说扩散模型在某种程度上是 VAE 的极端版本把一层隐变量扩展成几百层每层只做一点点去噪。而 GAN 的对抗思想也可以被看作是一种隐式的密度比估计。这些联系不是学术上的花架子而是你在实际调模型时可以用到的直觉。比如扩散模型采样太慢你可以借鉴 VAE 的思路做蒸馏把多步压缩成少步GAN 训练不稳你可以借鉴扩散模型的逐步加噪思路做渐进式训练。4.3 图像修复场景下的选型实战拿图像修复这个具体场景来说选型逻辑就很清晰了。如果修复区域小、要求速度快GAN 类的模型可以做到实时如果修复区域大、要求纹理合理扩散模型的逐步去噪能更好地保持全局一致性如果只是做低分辨率修复或者需要概率输出VAE 也能凑合。我在实际项目里的做法是先用扩散模型做高质量修复再用蒸馏或者少步采样做加速最后用 GAN 做后处理锐化。这套组合拳打下来质量和速度都能兼顾。当然具体参数和模型选择要看你的数据特点和硬件条件没有万能方案。5. 实操中的坑与排查技巧5.1 生成质量突然变差的排查顺序这是被问得最多的问题。我的排查顺序是这样的先看采样步数和采样器再看 CFG scale然后看种子和 prompt最后才怀疑模型本身。很多时候问题就出在采样步数被误设成了个位数或者采样器换了一个不兼容的。如果这些都正常再去看是不是显存不足导致精度下降或者模型权重加载错了。提示排查时一次只改一个变量改完立刻出图对比不要同时调三个参数否则你永远不知道是哪个起了作用。5.2 VAE 模糊问题的缓解手段VAE 生成模糊是结构性的但可以缓解。第一用感知损失或者对抗损失替代纯 MSE 重构损失能显著提升锐度。第二增大隐变量维度减少信息瓶颈。第三用更强大的解码器架构比如引入注意力机制。我试过在 VAE 解码器里加残差块和谱归一化模糊程度能改善不少但代价是训练变慢。5.3 GAN 模式崩塌的应对模式崩塌的典型表现是生成样本多样性极低。应对手段包括调整判别器和生成器的更新频率比给判别器加噪声或标签平滑使用小批量判别引入谱归一化或者改用 WGAN 系列损失。我个人的经验是判别器不要训得太狠给它一点“容错空间”生成器才有机会探索更多模式。5.4 扩散模型采样加速的取舍加速采样不是免费的。步数压得越少质量下降越明显尤其是细节和纹理。DDIM 在 50 步左右是个甜点DPM-Solver 可以压到 20 步左右。如果你要压到 10 步以下通常需要专门的蒸馏模型比如 LCM 或者 Turbo 系列。我的建议是先确定你能接受的最低质量再去找对应的最少步数不要盲目追求极速。6. 一些个人体会生成模型这个领域表面上看流派林立但底层逻辑是相通的。概率密度决定了模型能表达什么采样轨迹决定了模型怎么把表达变成样本。你把这两条线抓住再看 VAE、GAN、扩散模型就不会觉得它们是互不相干的黑盒而是同一张地图上的不同路径。我在实际项目里最大的体会是没有最好的模型只有最合适的权衡。VAE 的模糊、GAN 的不稳、扩散的慢都是它们设计选择的必然结果不是可以轻易绕过的缺陷。你要做的是根据你的场景、数据和硬件选一条最不难受的路然后在细节上慢慢磨。磨参数、磨采样器、磨损失函数这些脏活累活才是真正决定最终效果的地方。最后分享一个小技巧如果你在扩散模型和 GAN 之间犹豫可以先跑一个小的扩散模型做 baseline看看质量上限在哪里再用 GAN 做加速尝试。这样你心里有个质量锚点不会在调参的海洋里迷失方向。