很多人第一次接触 GAN 时感受到的最大压力其实不在网络结构而在训练逻辑。结构背下来不难生成器、判别器、损失函数三样东西都很简单。真正让人困惑的是——每一步到底先更新谁为什么更新 A 的时候要冻结 B为什么判别器 loss 掉到 0 附近生成器 loss 却还在原地打转为什么左侧的损失曲线看着很合理生成出来的图却永远是同一张脸这篇文章就是来拆解这件事的。按照 AI Study 深度学习系列第 9 章的进度我们把焦点放在 GAN 基础中最关键的一节GAN 的训练逻辑。读完之后你会得到一个非常清晰的判断GAN 训练逻辑的核心只有一条主线叫“交替梯度更新”。生成器和判别器共用同一个目标函数但各自只对自己负责的那半边做梯度下降。把这句主线的含义理解到位后续再看 DCGAN、WGAN、StyleGAN 的训练代码都会顺畅很多。1. GAN 到底解决了什么问题想理解训练逻辑得先知道 GAN 在这张生成模型的版图里站在什么位置。在 GAN 出现之前生成模型的主流思路可以分成两类。一类是显式定义概率分布比如自回归模型一张 28×28 的图片被拆成 784 个像素点逐个预测生成速度慢而且对长程依赖建模很吃力。另一类是隐变量模型典型代表是 VAE变分自编码器它把输入图片编码到隐空间再从隐空间采样重建图片。VAE 的问题在于重建损失用的是像素级距离比如 MSE这样训练出来的模型倾向于输出模糊的“平均脸”因为对像素误差来说模糊的平均答案往往比清晰但稍有偏差的答案得分更高。GAN 走了一条完全不同的路。它不把生成质量交给一个人工设计的损失函数而是直接训练另一个网络来当“裁判”。这个裁判就是判别器。生成器只负责制造样本判别器只负责判断样本是真是假。生成器的目标是让裁判把假样本也判成真样本判别器的目标是把真样本和假样本尽可能区分开。这里真正重要的设计突破是损失函数不再是固定的公式而是网络自己学出来的。你不需要告诉生成器什么是清晰、什么是逼真只要把它和判别器放在同一个闭环里双方对抗生成器就会自动往“越来越像真实数据”的方向演化。所以 GAN 解决的是传统生成模型难以兼顾“保真度”和“多样性”的痛点。VAE 保真度差生成图像模糊自回归模型生成慢。GAN 用对抗博弈逼近真实数据分布生成器输出的样本很可能比 VAE 更锐利、更接近真实、更具备多样性。代价是训练不稳定而这种不稳定的根源就藏在训练逻辑里。2. GAN 核心概念生成器与判别器2.1 生成器从噪声到样本生成器 G 的输入是一个随机噪声向量 z通常从标准正态分布 N(0, I) 采样维度常见设置为 100。输出是生成样本比如一张图片。生成器本身不含任何关于真实样本的先验知识它只见过两种信号一是随机噪声 z二是判别器传回来的梯度。训练初期生成器输出的完全是噪声图判别器一眼就能识破。但多轮对抗之后生成器会逐渐学会把看似随机的噪声映射到“看起来像真实图片”的分布上。这里的核心是生成器没有直接面对真实数据。它只是通过判别器给出的梯度反馈在隐空间里慢慢摸索。你可以把它想象成一个伪造者手里只有空白画布和一支笔每画完一张画就交给鉴定师打分。分数差就调整下一张画的方向分数好就沿着这个方向继续试。2.2 判别器一个可学习的损失函数判别器 D 的输入是一个样本 x输出是一个标量表示“这个样本有多大概率来自真实数据”。如果把输出层看作一类分类器得到的就是二分类概率。判别器和普通分类神经网络没有本质区别。真正的区别在于它的用途它不是一个服务终点的模型而是生成器训练过程中的“动态损失函数”。今天给出 0.3 的分数明天激烈对抗后可能给出 0.9完全由训练过程自己决定。为什么说判别器是“动态的”因为传统损失函数是固定公式比如 MSE 或交叉熵。固定公式对什么算“好”有明确偏好容易导致生成器钻空子。判别器则一直处于更新中它“认为什么算真”的标准也在变生成器没有固定漏洞可以钻。这就是对抗训练和普通监督学习的本质差异。2.3 两个角色的对抗关系把两个网络放到一张对比表里它们的边界会非常清楚角色输入输出追求目标更新方式生成器 G随机噪声 z生成样本 G(z)骗过判别器只更新生成器参数判别器 D真实样本 x 或生成样本 G(z)真/假概率准确分辨真伪只更新判别器参数注意一个关键点两个角色追求的目标看起来相反但并不是简单的“你死我活”。如果没有判别器生成器没有反馈信号如果没有生成器判别器也退化成普通的二分类器。它们互相提供训练信号是共同演进的关系。3. GAN 的训练逻辑minimax 博弈与交替优化3.1 训练目标函数GAN 的原始目标函数可以写成min_G max_D V(D, G) E_x[log D(x)] E_z[log(1 - D(G(z)))]这个公式是理解一切训练逻辑的起点。公式里的 E 表示期望实践中用一批样本的平均值近似。x 来自真实数据分布z 来自噪声分布。拆开来看第一项 E_x[log D(x)]判别器对真实样本输出的对数概率。判别器希望 D(x) 接近 1所以这一项越大越好。第二项 E_z[log(1 - D(G(z)))]1 减去判别器对生成样本的概率。判别器希望 D(G(z)) 接近 0所以这一项也是越大越好。判别器的目标是把 V 最大化也就是尽量认出真样本、拆穿假样本。生成器的目标是把 V 最小化也就是让 1 - D(G(z)) 接近 0让判别器认不出假样本。两者共用同一个 V所以叫“对抗”。3.2 交替优化先更新谁后更新谁有了目标函数之后接下来的问题是怎么用梯度下降去优化一个包含两个网络的目标函数答案是交替更新而不是同时更新。一轮完整的训练迭代通常是这样第一步固定生成器更新判别器。采样一批真实样本再采样一批噪声生成一批假样本。把真样本和假样本分别输入判别器计算判别器损失执行反向传播更新判别器参数。第二步固定判别器更新生成器。再采样一批噪声生成一批新的假样本输入当前判别器计算生成器损失反向传播更新生成器参数。这个“先 D 后 G”的节奏是 GAN 训练逻辑的骨架。它保证每次更新时另一方的参数是不变的。如果两者同时更新梯度信号会在传播中互相干扰训练极易发散。3.3 为什么必须固定一方新手最容易犯的错是在更新判别器时让梯度继续穿过生成器。以 PyTorch 代码为例训练循环里经常看到 fake_images.detach()。detach 的含义是切断梯度传播。更新判别器时我们希望这一轮只改变判别器的参数所以告诉自动求导引擎不要把假样本梯度回传到生成器。反过来更新生成器时我们通过判别器输出来计算生成器损失反向传播时梯度会穿过判别器网络但这个梯度只会更新生成器的参数不会更新判别器的参数。因为生成器优化器只包含生成器的参数而判别器的参数此时不参与任何优化器 step。这个设计的本质是两个网络是竞争关系竞争的前提是各有各的“领地”。如果梯度总能越界传播双方都会变得非常不稳定。3.4 梯度消失与非饱和损失原始目标函数中生成器的损失是 log(1 - D(G(z)))。这个形式有一个著名的实际问题如果判别器非常强大D(G(z)) 输出接近 0那么 log(1 - D(G(z))) 约等于 log(1) 0同时它的梯度也趋近于 0。结果生成器几乎收不到有效梯度训练停滞。为了解决这个问题实际代码里几乎不使用原始目标而是把生成器损失改成非饱和形式不最小化 log(1 - D(G(z)))而是最大化 log(D(G(z)))。也就是下面代码中的写法g_loss criterion(discriminator(fake_images), real_labels)注意这里给生成器用的标签是 real_labels而不是 fake_labels。这一步的意义在于当判别器对假样本输出很低时log(D(G(z))) 的梯度没有消失生成器仍然能获得清晰的优化信号。这看起来像细节其实已经是 GAN 训练逻辑的默认配置。4. 从零实现一个最小 GANPyTorch 实战想让训练逻辑真正变成肌肉记忆必须自己动手跑一段最小实现。下面我们用 PyTorch 手写一个在 MNIST 上训练的最小 GAN。整个模型结构刻意保持简单全连接网络不使用卷积方便看清每一步逻辑。4.1 环境准备和数据加载代码以 Python 3.8 和 PyTorch 2.x 为例版本细节以你本机环境为准。需要安装pip install torch torchvision matplotlib数据加载的关键点是归一化。生成器最后一层使用 Tanh输出范围在 -1 到 1 之间所以真实图片也要变换到 -1 到 1不能直接使用 0 到 1 的像素值。import torch import torch.nn as nn import torch.optim as optim import torchvision import torchvision.transforms as transforms image_size 28 * 28 z_dim 100 batch_size 128 device torch.device(cuda if torch.cuda.is_available() else cpu) transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_dataset torchvision.datasets.MNIST( root./data, trainTrue, transformtransform, downloadTrue ) train_loader torch.utils.data.DataLoader( datasettrain_dataset, batch_sizebatch_size, shuffleTrue )4.2 构建生成器和判别器生成器这里用多层感知机实现。输入 100 维噪声经过三层全连接最后一层用 Tanh 把输出映射到 -1 到 1。中间使用 BatchNorm1d 和 ReLU 提高训练稳定性。class Generator(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(z_dim, 256), nn.BatchNorm1d(256), nn.ReLU(True), nn.Linear(256, 512), nn.BatchNorm1d(512), nn.ReLU(True), nn.Linear(512, image_size), nn.Tanh() ) def forward(self, z): return self.net(z)判别器输入 784 维图片输出一个 logit 值。使用 LeakyReLU 避免死亡神经元中间层不强制加正则但可以加入 Dropout 观察效果。class Discriminator(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(image_size, 512), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(512, 256), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(256, 1) ) def forward(self, x): return self.net(x)这里使用的 nn.BCEWithLogitsLoss 是训练逻辑里容易被忽视的细节。它把二分类交叉熵和 Sigmoid 合并到一个模块里数值稳定性更好。因此判别器最后一层不需要手动加 Sigmoid。4.3 训练循环训练循环是这篇文章最核心的部分每一步都对应前面讲过的交替更新逻辑。criterion nn.BCEWithLogitsLoss() generator Generator().to(device) discriminator Discriminator().to(device) g_optimizer optim.Adam(generator.parameters(), lr0.0002, betas(0.5, 0.999)) d_optimizer optim.Adam(discriminator.parameters(), lr0.0002, betas(0.5, 0.999)) num_epochs 30 for epoch in range(num_epochs): for i, (real_images, _) in enumerate(train_loader): batch real_images.view(real_images.size(0), -1).to(device) real_labels torch.ones(batch.size(0), 1).to(device) fake_labels torch.zeros(batch.size(0), 1).to(device) # 第一步更新判别器 z torch.randn(batch.size(0), z_dim).to(device) fake_images generator(z) d_real_logits discriminator(batch) d_fake_logits discriminator(fake_images.detach()) d_loss criterion(d_real_logits, real_labels) criterion(d_fake_logits, fake_labels) d_optimizer.zero_grad() d_loss.backward() d_optimizer.step() # 第二步更新生成器 z torch.randn(batch.size(0), z_dim).to(device) fake_images generator(z) g_fake_logits discriminator(fake_images) g_loss criterion(g_fake_logits, real_labels) g_optimizer.zero_grad() g_loss.backward() g_optimizer.step() if i % 200 0: print(fEpoch [{epoch}/{num_epochs}] Step [{i}/{len(train_loader)}] fD_loss: {d_loss.item():.4f} G_loss: {g_loss.item():.4f})这段代码需要逐行理解几个关键点第一d_fake_logits discriminator(fake_images.detach())。这里的 detach 是训练逻辑最容易出错的地方。如果不调用 detach判别器在更新时梯度会沿着计算图一路回传到生成器导致生成器参数被意外改变而且生成器更新这一步还没执行梯度乱传会让双方的训练信号完全混乱。第二生成器更新时重新采样了一次 z并重新生成了 fake_images。这样处理的目的是让生成器在当前判别器状态上接收到新鲜信号。也可以复用前面的假样本但必须注意不要让批量节点和计算图混乱。实际代码多用新的噪声。第三生成器的损失标签是 real_labels。这个细节就是上一节说的非饱和损失。要让生成器“骗过”判别器就让判别器对假样本的输出尽量接近 1而不是让假样本的分类尽量接近 0。4.4 可视化生成结果光能打印 loss 还不够GAN 训练必须靠“看图”来判断。每轮训练结束后保存一次生成图像import matplotlib.pyplot as plt import torchvision.utils as vutils generator.eval() fixed_noise torch.randn(64, z_dim).to(device) with torch.no_grad(): samples generator(fixed_noise).cpu().view(-1, 1, 28, 28) grid vutils.make_grid(samples, nrow8, normalizeTrue, value_range(-1, 1)) plt.imshow(grid.permute(1, 2, 0).numpy()) plt.axis(off) plt.savefig(fgan_epoch_{epoch}.png, bbox_inchestight) plt.close() generator.train()这里使用了固定噪声 fixed_noise。同一个噪声向量在每个 epoch 都生成一次你会看到随着训练推进同一组噪声逐渐从随机像素演变成清晰数字。这样对比不同 epoch 之间的差异比每次都随机采样更有诊断价值。5. 训练 GAN 的两大难题与稳定化技巧5.1 训练不收敛判别器赢太多GAN 训练中最常见的现象是“判别器太强”。判别器 loss 快速降到接近 0生成器 loss 却始终在某个值附近震荡或干脆不变。从直觉上说判别器已经能完美区分真图和假图它反馈给生成器的梯度就像在说“你全是错的”但没告诉你“怎么改才对”。这会让生成器陷入迷茫停止学习。对应解决方案通常是这几条降低判别器学习率比如生成器 lr 设为 0.0002判别器 lr 设为 0.0001 或更低。减少判别器每轮的更新强度可以通过增大判别器 batch 的难度或加入 Dropout。增加生成器容量让生成器拥有更强的表达能力。使用标签光滑化把真标签从 1 改成 0.8 或 0.9防止判别器过度自信。5.2 模式坍塌生成器取巧模式坍塌是另一个让初学者崩溃的问题。现象是生成器只会在噪声空间里找到一两个点输出的几十张图全是同一张脸或同一个数字。从风格上判断它学会了“骗取最高分”的策略只要我的样本长成某个样子判别器就会给出还不错的分数那我就不探索别的模式了。模式坍塌之所以难缠是因为生成器损失本身并没有直接惩罚“重复”。它只关心当前假样本能否骗过判别器不关心这堆假样本彼此之间是否多样。而判别器同样没有机制强制要求全局覆盖。缓解思路包括调整类别条件如果任务本身有多类可以试试 class-conditional GAN给生成器和判别器都注入类别标签。使用 minibatch discrimination让判别器看到整个 batch 的样本分布从而惩罚生成器输出过于单一。使用 WGAN-GP 等改进方法从损失函数层面缓解模式坍塌问题。训练时适当降低判别器更新频次比如每更新一次判别器就更新三次生成器给生成器更多探索空间。5.3 常见稳定化技巧对比技巧解决的问题实现方式注意事项降低判别器 lr判别器太强导致梯度消失分别设置两个优化器 lr需要实验调整比例非饱和损失生成器早期梯度消失生成器使用 real_labels几乎是现代 GAN 默认配置标签光滑化判别器过于自信真标签从 1 改为 0.8~0.9训练后期可以逐步调回BatchNorm中间层分布偏移生成器隐藏层加 BN判别器加 BN 要谨慎容易受 batch 统计量干扰泄漏 ReLU判别器死亡神经元LeakyReLU(0.2)生成器常用普通 ReLU谱归一化判别器满足 Lipschitz 约束每层权重奇异值归一化WGAN 风格方法常用这些技巧没有银弹。同样一组超参数换一个数据集效果可能完全不同。这也是为什么 GAN 训练被称作“炼丹”的原因但你只要把训练逻辑理解到位每一种技巧都能落到具体环节里而不是盲目试。6. 如何判断训练是否成功6.1 从损失曲线看GAN 的 loss 曲线和普通分类任务很不一样。分类任务的验证 loss 单调下降基本代表模型在变好GAN 的 loss 则更像两头拔河一方升高往往意味着另一方降低。正常情况下的经验区间是判别器 loss 在 0.5 到 1.5 之间持续震荡生成器 loss 缓慢下降。如果判别器 loss 长期低于 0.1通常不是“判别器很强所以很好”而更像是训练失衡或模式坍塌的前兆。如果双方 loss 来回剧烈震荡且不收敛可能是学习率过高或网络容量不匹配。一个常见误区是盯着某个具体 loss 数值不放。GAN 并没有一个像“准确率”这样可以直接全局评价的指标loss 只能反映对抗的均衡状态不能单独说明生成质量。所以要做完整的判断必须结合真实生成样本。6.2 从生成样本看保存固定噪声的可视化图像观察几点是否出现多样性同一行 8 张图是不是不同的数字或不同的笔迹。是否出现清晰结构训练初期图像模糊、边界不齐是正常的但 20 个 epoch 后还全部糊成一团就要考虑模型容量或判别器过拟合。是否出现局部颜色异常比如所有图全黑或全白往往表示损失或归一化出了问题。是否出现“copy 真实样本”如果生成图像和真实 batch 中某张图几乎一样可能是训练数据过拟合或生成器直接记忆了数据常见于数据集过小、噪声维度太低的情况。6.3 量化评估指标工业和研究场景中还会用 Inception Score 和 FID 做量化评估。FID 的核心思想是用预训练 Inception 网络分别提取真实图片和生成图片的特征分布再计算两个分布的 Wasserstein 距离数值越低说明生成分布越接近真实分布。这些指标可以在训练后评估但要注意两点一是数值高度依赖数据集和预训练模型不同项目间不能直接横比二是指标需要足够多的生成样本才有统计意义一般建议生成几万张图再计算。初学者阶段用固定噪声图像做视觉检查已经足够不必一开始就追求指标。7. 常见问题与排查思路问题现象可能原因排查方式解决方案判别器 loss 迅速降到接近 0判别器能力过强查看 D/G loss 曲线观察生成样本降低判别器 lr增加生成器容量使用标签光滑化生成器 loss 接近 0生成器暂时骗过判别器但不能说明好看训练同时保存的图像检查是不是模式坍塌换一组噪声观察多样性生成多张重复图像模式坍塌观察固定噪声生成图统计重复度使用 minibatch discrimination尝试 WGAN-GP减少判别器更新频率图像全黑或全白激活函数或归一化错误检查生成器输出范围确认生成器最后一层用 Tanh真实数据归一化到 -1 至 1loss 出现 NaN梯度爆炸或学习率过高查看训练日志检查模型输出是否含 NaN降低学习率限制梯度裁剪检查是否有 log 0 情况训练一直不收敛网络结构或超参数失衡记录不同 epoch 的图片和 loss从 DCGAN 默认超参数起步逐项调整固定噪声图像没有明显变化生成器更新过慢或梯度消失检查 G loss 是否持续下降改用非饱和损失确认 detach 位置正确需要强调的是GAN 问题的排查顺序可以固定为先看生成图像再看 loss 曲线最后查代码逻辑。有很多时候代码写得完全正确问题只是“判别器学得太快太狠”。8. GAN 训练工程实践建议当你想把 GAN 从素材代码搬到正式实验环境中工程层面的习惯会大幅减少无效炼丹时间。固定随机种子。PyTorch 中需要同时设置 torch.manual_seed 和 numpy.random.seed如果要上 GPU还要注意 cudnn.deterministic 的配置。固定种子之后同一份代码每次运行结果应该可复现这是对比实验的前提。超参数记录。使用配置文件或日志记录每个实验的 lr、batch_size、z_dim、网络层数。GAN 对超参数极其敏感一个实验调了 lr 却没有记录后续很难判断是哪一步改进起了作用。合理保存 checkpoint。至少保存生成器、判别器以及两个优化器的状态字典。手动实现时参考下面这种保存方式checkpoint { epoch: epoch, generator_state_dict: generator.state_dict(), discriminator_state_dict: discriminator.state_dict(), g_optimizer_state_dict: g_optimizer.state_dict(), d_optimizer_state_dict: d_optimizer.state_dict(), } torch.save(checkpoint, fcheckpoint_epoch_{epoch}.pt)显存管理。图片尺寸较大或生成器较深时减小 batch_size 是更简单的方式。PyTorch 中还可以通过 with torch.no_grad() 规避推理阶段多余的梯度记录。监控与可视化。建议在训练过程中使用 TensorBoard 或 WB 记录 loss、生成图像和学习率比只看终端数字直观得多。固定噪声可视化图每次迭代保存一张配合指标曲线能帮你快速定位问题。安全边界也要放在工程清单里。生成模型的能力本身是中性的但图像生成技术可能被用来伪造数据或生成不符合内容规范的素材。个人学习和实验应只使用公开、合法、明确授权允许使用的数据集不要把这项技术用于伪造身份信息、制作虚假证据或任何违反平台规范的场景。这部分不是客套话而是每个接触生成模型的开发者在投入生产应用前就应该确认的责任边界。9. 总结理解训练逻辑后的下一步现在回头看GAN 训练逻辑的核心其实非常紧凑一个 minimax 目标函数一段交替更新的训练循环一个 detach 切断梯度的小细节一个把生成器损失从 log(1-D) 换成 -log(D) 的改进。四件事连起来就是一个最小 GAN 的全部主线。如果你已经跑通了上面的 MNIST 代码建议按照下面的路径继续深入第一步把训练循环默写一遍不看书也能说出每一步在做什么。第二步把同样的训练逻辑移植到 DCGAN替换成全卷积结构观察图像质量变化。第三步换到 WGAN-GP只在损失函数和训练节奏上做修改对比原始 GAN 在稳定性上的差异。第四步研究一眼条件 GAN给生成器和判别器同时输入类别标签理解信息如何通过拼接注入网络。每走一步都回到训练逻辑这条主线来对比目标函数变了没有交替更新变了没有梯度切断的边界有没有变化。只要主线不丢GAN 后续的很多变体都只是句法层面的调整而不是语义层面的推翻。这篇文章的建议是收藏起来当作排查手册用。下次再看到奇怪的 loss 曲线不要慌先看生成图再查训练循环最后才考虑调超参数。GAN 看起来热闹但真正值得内化的恰恰是这条清晰又容易被忽略的训练逻辑。