手里同时躺着 sd-v1-5、v2-1_768、SDXL base、SDXL-Turbo 四五个权重文件外加一堆 LoRA 和 ControlNet到底该加载哪个、为什么同一个提示词换个模型就完全不吃——这个问题几乎每个从 Stable Diffusion 入门的人都会撞上。版本号看着像手机型号迭代实际上每一个数字背后都换了不同的东西有的是文本编码器整个替换有的是训练数据换了池子有的只是多了几千步的继续训练。搞不清这些区别就会陷入一种低效循环反复复制别人的提示词和参数却不知道为什么在这台机器上不灵。这篇内容想干的事很直接把 LDM 这条技术主线拆开说清楚潜空间扩散的底层逻辑再把 SD 1.0、1.5、2.0/2.1、SDXL、SDXL-Turbo 这几个版本放在同一条时间线上对比讲明白每一次版本换代到底动了哪块骨头、带来了什么好处、又留下了什么后遗症。适合已经能跑通出图、但选模型时全靠玄学的朋友也适合准备自己训 LoRA 或者搭工作流、需要判断版本兼容性的朋友。全程围绕原理和实操不讲空话。1. LDM 的底牌把扩散过程搬进潜空间1.1 直接在像素上做扩散算力账根本算不过来理解 Stable Diffusion 之前先得明白它名字里的 Latent 是什么意思。最早的扩散模型DDPM 那一支是在像素空间里干活的给一张 512×512×3 的图逐步加噪再用 U-Net 把噪声一步步预测出来去掉。听起来很直观但代价是恐怖的——512×512×3 是 78 万多个数值U-Net 要在这么高维的输入上反复做几十次前向运算而且每次前向的注意力计算量跟空间尺寸的平方成正比。LDM 这篇工作High-Resolution Image Synthesis with Latent Diffusion Models的核心贡献就是把这套加噪去噪的过程从像素空间搬到压缩后的潜空间里做。怎么搬先训一个自编码器把 512×512×3 的图压成 64×64×4 的潜变量。位置数量少了 64 倍通道数从 3 变成 4整体计算量降了大约一个数量级到 48 倍左右的水平。更妙的是图像的高频细节比如毛孔、织物质感由自编码器负责还原扩散模型只需要学着安排低频的语义结构任务反而更纯粹了。这里有个很实用的推论既然扩散模型只在潜空间里工作那它对像素级的细节其实没有太多发言权。所以后期放大、锐化、修补这些活儿交给专门的上采样网络或者后处理环节效果更好而不是硬把采样步数往上堆。我见过不少新手把步数从 20 拉到 80结果只是画面更糊了一点因为多出来的步数并没有带来新的信息。1.2 VAE 编解码潜空间里到底留下了什么那个负责压缩和解压的自编码器一般就叫 VAE。它的结构不复杂编码器把图像降采样 8 倍得到 4 通道的潜变量解码器再把它还原回图像。训练时除了重建误差还加了感知损失用预训练网络比对特征和对抗损失用判别器逼着解码结果更像真图再加一点点 KL 正则让潜空间规整。这个 8 倍下采样不是随便定的。压得太狠比如 32 倍重建质量崩得厉害细节全丢压得太松比如 2 倍、4 倍又省不下多少算力。8 倍是实践中公认的甜点位SD 1.x、2.x、SDXL 都沿用这个设定通道数也都是 4。顺带说一句潜变量的数值范围需要乘一个缩放因子才能喂给扩散模型SD 1.x 用的是 0.18215SDXL 换成了 0.13025——这个数字本身没意义但写代码调管道时用错会直接出灰图。提示VAE 的编解码是有损的。把一张图 encode 再 decode肉眼可能看不出差别但高频纹理已经丢了一部分。这解释了一个常见现象——img2img 反复迭代十来轮之后画面会越来越塑料因为每一轮都在潜空间里丢一次细节。想保持质感尽量一次到位少做多轮往返。1.3 交叉注意力文本提示词是如何接管去噪方向的U-Net 是扩散模型真正的主干结构上是下采样块、中间块、上采样块每块里塞了残差单元和注意力层。光有 U-Net 只能做出随机图要让它听提示词指挥就得靠交叉注意力层图像特征作为 Query文本编码器的输出作为 Key 和 Value在每个去噪步里把文字信息注入到图像特征中。SD 1.x 的文本编码器是 CLIP ViT-L/14输出 77 个 token、每个 768 维SD 2.x 换成 OpenCLIP ViT-H/14SDXL 更狠同时挂了 CLIP ViT-L 和 OpenCLIP ViT-bigG两路拼起来是 2048 维。77 这个 token 上限是所有版本都绕不开的硬约束包含起止符在内只有约 75 个词能用超出的部分会被直接截断——很多人写了一大段提示词却感觉后半个句子完全没生效就是这个原因。文本引导能起作用靠的是无分类器引导CFG这套机制。训练时按一定比例随机把文本条件丢掉SD 1.5 公开的配置里是 10%让模型同时学会有条件和无条件两种预测。推理时把两次预测做外推无条件结果加上 CFG 倍数乘以两者的差。CFG 调高画面更贴提示词但容易过饱和、色彩发焦调低则自由但可能跑偏。1.5 上 7 左右是舒适区SDXL 因为条件更强5 到 7 就够了。1.4 从 DDPM 到 DPM采样器只是在解同一个方程很多人把采样器当成模型的一部分其实它跟权重完全无关只是解同一个去噪方程的不同数值方法。DDPM 是原始版本需要上千步DDIM 把它变成确定性的、可以跳步二三十步就够PLMS、UniPC 是更高效的多步方法DPM 2M 和 DPM SDE 是现在的主力前者确定性、后者每步注入随机噪声所以同一个种子跑两次结果会不一样。Karras 这个后缀指的是噪声调度曲线它把采样步数更密集地分配在低噪声区间对细节收敛有帮助。实测在 1.5 上DPM 2M Karras 配 25 步基本就是性价比天花板再往上加收益极小。SDXL 对采样器没那么挑剔Euler a 和 DPM 都能出好图但如果你用的是 Turbo 那类蒸馏模型采样器的选择就变成硬性要求了后面会细讲。2. SD 1.0 与 1.5同一套骨架上的分水岭2.1 1.0 定下的三个硬约束512、77、四通道2022 年 8 月放出的 SD 1.0把后来整个生态的骨架基本定型了512×512 的原生分辨率、CLIP ViT-L/14 文本编码器、77 token 上限、4 通道潜空间、0.18215 缩放因子、约 860M 参数的 U-Net。这套配置能跑在消费级显卡上这是它能在社区里爆炸式传播的根本原因——技术指标不是最漂亮的但门槛低。1.0 时代的权重其实还包括 1.1、1.2 这几个内部小版本它们在训练步数、EMA 权重处理、训练分辨率上都做过调整。公开的模型卡里能看到1.1 先在 256 分辨率上训了一段再切到 5121.2 改善了 EMA 权重的处理方式并在 512 上加了更多步数。这些差异对普通用户来说感知不强但对后续版本的分叉影响很大。2.2 1.5 并非重训而是延续训练的产物这是最容易被误解的一点SD 1.5 不是从零训出来的新模型它是从 1.2 的权重出发在筛选过的美学子集上继续训练了约 59.5 万步得到的。同期还有一条 1.4 的分支用的是不同的初始化两者是平行关系而非继承关系。所以你会看到有些风格在 1.4 上更干净在 1.5 上更讨喜本质上是因为它们吃了不同配方的数据。延续训练这个策略带来了两个直接后果。第一1.5 的收敛起点已经不错所以它不需要天量算力就能达到可用状态。第二它继承了 1.2 的文本编码器这意味着 1.x 时代的 Textual Inversion、LoRA、ControlNet 全线通用——这是生态优势的技术根源不是运气。2.3 同代混用时最容易忽略的三处错配就算都是 1.x混着用也有坑。第一个是 VAE 权重差异同代不同小版本自带的 VAE 并不完全一致社区后来普遍用微调过的 MSE 版本替换主要是为了压掉出图偏灰偏紫的问题。如果你在同一套工作流里换过 VAE 却没换回来同一个种子出的图就复现不了。第二个是 clip skip。这个参数决定取文本编码器的第几层输出1 是最后一层2 是倒数第二层。早期的二次元风格模型大量在 clip skip 2 的条件下训练所以用它们时必须把参数对齐否则提示词的理解会偏。这不是模型坏了是训练和推理的条件不匹配。第三个是训练分辨率的残留影响。1.x 都是在 512 上练的你硬喂 768×768模型会以为画面被裁掉了一部分于是开始往外补内容典型表现是人物出现两个头、肢体分叉。正确做法是先用 512 出图再用高分辨率修复hires fix或者 img2img 放大让放大过程只负责补细节而不重新构图。2.4 生态惯性为什么把 1.5 推上了事实标准技术上新版总该更好但 1.5 至今仍是使用量最大的版本原因有几个。它的 U-Net 只有 860M 参数个人用一张消费级显卡就能做 LoRA 微调SDXL 的 U-Net 是 2.6B显存和时间成本直接翻几倍。生态上社区积累的人物模型、画风模型、ControlNet、插件绝大多数都以 1.5 为基座。我自己的判断是追求特定人物或特定画风的高度一致性1.5 加精调 LoRA 仍然是最省事的路径而追求场景复杂度、光影质感和自然语言理解SDXL 明显更强。这两个需求不冲突很多人最后都是在两套环境之间来回切。3. SD 2.0 系列换掉文本编码器付出的代价3.1 OpenCLIP 替换背后的动机SD 2.0 最大的动作是把文本编码器从 CLIP ViT-L/14 换成了 OpenCLIP ViT-H/14。动机很直接OpenCLIP 的训练数据规模更大文本理解能力理论上限更高尤其是对复杂句式、抽象概念的把握。从纯技术指标看这个替换是升级。但代价来得更猛烈。文本编码器换了整个文本嵌入空间就变了1.x 时代所有的 LoRA、Textual Inversion、以及大量依赖 1.x 文本特征的插件和模型在 2.x 上一律失效。这不是简单的重新训一遍就能解决的——用户的存量资产全部作废迁移成本高到大部分人不愿意承担。这也是后来 SDXL 坚持保留 CLIP ViT-L 一路的原因之一兼容性被摆到了更高的位置。3.2 768 模型与 512-base 的关系2.0 发布时其实是一整套512-base、512-depth带深度条件、768-v外加两个上采样模型。其中 768-v 是从 512-base 出发、再在 768 分辨率上继续训练得到的所以它不是独立训练的新模型而是同一套权重的延伸。这解释了为什么 768-v 在构图稳定性上明显好于直接拿 512-base 硬跑 768。512-depth这个分支值得单独提一句它是 LDM 论文里条件注入思路的落地——除了文本还接受一张深度图作为条件。今天的 ControlNet 深度控制在思路上跟它一脉相承只是控制方式和精度强了很多。3.3 负向提示词在 2.x 上的反直觉表现1.x 的社区习惯是把负向提示词写成一长串worst quality, low quality, normal quality, lowres, jpeg artifacts... 这套写法在 1.5 上确实有效因为它和训练时的文本丢弃比例、数据分布对得上。换到 2.x 上这套模板的效果就打了折扣官方模型卡给的负向提示词写法跟社区习惯明显不同——通常更短偏向 bad art, worst quality, low quality, lowres, jpeg artifacts 这类。更重要的一个坑是 CFG 的手感差异。不同版本的文本条件丢弃比例不一样导致同一个 CFG 值在不同模型上的引导强度不一样。2.x 上如果你沿用 1.5 的 CFG7容易出现过度饱和反过来把 2.x 的 CFG 拿到 1.5 上用又会觉得提示词不听使唤。换模型的时候CFG 是第一个该重调的参数。3.4 2.x 留给后来者的两条经验回头看SD 2.x 在社区遇冷但它的教训直接塑造了 SDXL 的设计。第一条换文本编码器的收益远小于它带来的生态断裂成本。SDXL 因此采取了加法策略——新增一路 OpenCLIP但保留原有的 CLIP ViT-L既能吃到更强的文本理解又不至于让所有旧资产瞬间归零。第二条分辨率和训练策略必须配套。2.0 硬训 768 的做法让模型学会了在更高分辨率下工作但也暴露了裁剪和构图不稳的问题。SDXL 后来引入的多尺寸分桶训练加微条件就是对这个问题的系统性回答。4. SDXL从堆单模型转向分工 条件化4.1 双文本编码器与池化向量的分工SDXL 的文本侧是两路并行一路 CLIP ViT-L/14 出 768 维一路 OpenCLIP ViT-bigG/14 出 1280 维两路序列拼起来形成 2048 维的交叉注意力上下文。除此之外bigG 的池化输出一个 1280 维的全局向量会被加到时间步嵌入里作为全局条件参与整个去噪过程。这个设计的实际意义是序列级的注意力负责哪里该有什么局部对齐池化向量负责整体是什么调性全局氛围。所以 SDXL 对长句的理解明显好于 1.5你写一句完整的场景描述它能把光影、材质、构图一起照顾到而不像 1.5 那样更适合堆 tag。代价是 token 上限还是 77两路各算各的所以超长提示词照样会被截断。4.2 base 与 refiner 的两段式生成链路SDXL 官方发布的是两个模型base 和 refiner加起来约 6.6B 参数其中 U-Net 各约 2.6B。标准流程是 base 先跑大部分去噪步把 latent 交给 refiner 跑最后几步做细化官方推荐的切换点是 high_noise_frac 约 0.8。思路是分工base 负责整体结构和语义refiner 专注高频细节。实测下来refiner 带来的提升是有的但幅度不至于翻倍那么值——它让显存和时间成本实际上增加了一倍左右。所以现在的主流工作流包括各种节点式界面里的常见模板大多只用 base把提细节这件事交给高分辨率修复或者后处理放大。我的建议是先用 base only等你确实觉得细节不够、且时间富裕时再把 refiner 加回来对比一次看值不值。4.3 尺寸与裁剪微条件为什么必须喂 1024 附近的分辨率SDXL 引入了微条件micro-conditioning把原始尺寸、裁剪坐标、目标尺寸这几个值编码后也喂给模型。原因在于训练时采用了多尺寸分桶图片会被随机裁剪和缩放模型必须知道这张图本来多大、被裁掉了多少才能在推理时正确还原构图。这直接决定了推理时的分辨率纪律SDXL 在 1024×1024 附近表现最好面积大致在 100 万像素上下的比例都是安全的比如 1024×1024、896×1152、832×1216、768×1344、640×1536。反过来你拿 512×512 去跑 SDXL模型会推断这是一张被裁得很厉害的图于是把画面往里收结果就是人物占满全屏、脸部变形、构图畸形。这不是模型不行是你给的条件自相矛盾。注意从 1.5 迁到 SDXL 时最容易踩的一个坑就是沿用 512 分辨率。换模型的第一件事是把分辨率改成 1024 附近的合法比例然后再去调提示词。4.4 参数、显存与推理时间这笔账SDXL 的 base U-Net 约 2.6B 参数两个文本编码器加起来约 817M再加上 VAE总量比 1.5 大了三倍以上。这带来几个实际影响显存占用明显上升1024×1024 单张 fp16 推理大致需要 8GB 以上的可用显存开 refiner 或者上高分辨率修复还要更多推理时间上30 步的 base 出图在高端消费级显卡上大致是几秒量级而 1.5 在 512 上同样步数只需要一秒多的量级。批量出图的时候这个差距会被放大得很明显。LoRA 训练的差异更大。同样的数据集SDXL 需要的学习率通常比 1.5 更低、显存更高、时间更长。所以要不要上 SDXL 训自己的模型这件事得先算清楚成本不能只看最终效果的宣传图。import torch from diffusers import StableDiffusionXLPipeline, AutoencoderKL # SDXL 的 VAE 在 fp16 下容易出现 NaN这里显式用 fp32 加载 vae AutoencoderKL.from_pretrained(your-vae-path, torch_dtypetorch.float32) pipe StableDiffusionXLPipeline.from_pretrained( your-sdxl-base-path, vaevae, torch_dtypetorch.float16, variantfp16, ).to(cuda) image pipe( prompta quiet harbor at dawn, soft rim light, wide shot, negative_promptblurry, low contrast, width1024, height1024, num_inference_steps28, guidance_scale6.0, ).images[0]5. SDXL-Turbo 这类蒸馏模型少步数出图的原理与红线5.1 对抗扩散蒸馏解决了什么矛盾常规扩散模型要出好图得跑二三十步每一步都是一次完整的 U-Net 前向这是速度和质量的硬矛盾。SDXL-Turbo 用的是对抗扩散蒸馏Adversarial Diffusion DistillationADD核心逻辑是训练一个学生模型让它一步或几步就跨过老师模型的多个去噪步。具体怎么训两项损失叠加。一项是分数蒸馏损失用老师模型SDXL base的去噪预测作为目标保证学生在语义和结构上不跑偏另一项是对抗损失加一个判别器去区分学生的输出和真实图像逼着学生补上高频细节和真实感。前者管画得对不对后者管画得像不像。这个组合是 ADD 能在 1 步出图还保持可看度的关键——只用分数蒸馏会糊成一团只用对抗损失会语义崩坏。5.2 Turbo、Lightning、LCM 三条不同的蒸馏路线市面上低步数模型不止一种路线差别不小。ADD 路线SDXL-Turbo、SD Turbo对抗损失加分数蒸馏1 步即可用原生分辨率偏小SDXL-Turbo 主要在 512 上训练出图极快但细节有限。渐进式对抗蒸馏SDXL-Lightning把蒸馏分成几个阶段从 8 步逐步压到 4、2、1 步每个步数都有独立权重。相比一步到位的 ADD它的质量曲线更平滑可以按需求挑步数版本。一致性蒸馏LCM / LCM-LoRA思路完全不同它要求同一条去噪轨迹上任意时刻的预测都指向同一个终点从而允许大步跳跃。它的优势是能做成 LoRA 形式直接挂到已有模型上不用换整个权重。同一个模型上换不同蒸馏方案出图的性格会明显不同。LCM 系列的画面偏柔和细节收敛得比较平均Lightning 更锐利Turbo 在低步数下最大胆也最容易出结构错误。5.3 低步数模型的参数红线CFG、采样器、分辨率蒸馏模型最反直觉的地方在于它不能按常规参数用。ADD 训练时条件引导的效果已经被烘焙进学生模型里了你在推理时再加 CFG等于把引导加了两遍输出分布直接被破坏。表现出来就是色彩过饱和、画面糊、边缘出现光晕。所以 CFG 必须压到 1 附近有些实现里甚至直接归零。采样器也有讲究。低步数下每一步都要跨得很远确定性采样器如 DPM 2M容易在轨迹上打结用带随机性的 SDE 类采样器或 Euler a 通常更稳。分辨率则是另一个雷区SDXL-Turbo 在 512 上训练你喂 1024很容易出现双主体、重影、画面被切成两半这类分裂问题。模型推荐步数CFG采样器合适分辨率SD 1.520-306-8DPM 2M Karras512SDXL base25-355-7DPM 2M / Euler a1024 附近SDXL-Turbo1-41.0或更低DPM SDE / Euler a512SDXL-Lightning2-81-2DPM SDE1024LCM-LoRA SDXL4-81.5-2LCM1024提示词也要跟着改。Turbo 类模型对长句子、大量 tag 堆叠的容忍度低写三五个关键词、结构简单反而更稳。我第一次用的时候照搬了平时给 SDXL 写的长提示词结果出来一堆语义错乱的拼贴缩短到一句话之后立刻正常了。注意img2img 配蒸馏模型时strength 要压得比平时低0.3 到 0.5 之间比较安全。strength 高等于让模型在低步数下重画大半个画面很容易崩。5.4 什么活儿适合交给 Turbo什么活儿千万别适合的场景很明确实时涂鸦和草图定位、批量构图探索、视频逐帧渲染配合时序模块、低配显卡出图。这些场景的共同点是要快、要大概对不要求每一帧都精细。我现在做构图验证基本都用 4 步的蒸馏模型一分钟能试十几个方向满意了再换回常规版本出成品。不适合的场景同样明确需要精细人物比例和手部结构的图、需要文字排版的图、需要 ControlNet 精确约束的图、需要靠负向提示词反复精修的图。蒸馏过程丢掉的恰恰是这些细节层面的精细控制能力。拿它硬刚精细活儿省下的时间会在反复重抽上全部还回去。6. 版本选型与迁移把上面这些落进日常工作流6.1 一张对照表看懂各版本的能力边界把前面讲的串起来横向对比会更清楚。版本发布时间原生分辨率文本编码器U-Net 规模潜空间缩放生态规模LDM论文版2022.01256/512CLIP约 400M 级—学术为主SD 1.0 / 1.22022.08512CLIP ViT-L/14约 860M0.18215极大SD 1.52022.10512CLIP ViT-L/14约 860M0.18215最大SD 2.02022.11512 / 768OpenCLIP ViT-H/14约 865M0.18215小SD 2.12022.12512 / 768OpenCLIP ViT-H/14约 865M0.18215小SDXL2023.071024CLIP-L OpenCLIP-bigG约 2.6B0.13025大SDXL-Turbo2023.11512同 SDXL约 2.6B0.13025中看这张表能得出一个不太直觉的结论参数规模和生态规模并不正相关。SD 1.5 是参数最少的可用版本之一却撑起了最大的生态SD 2.0 参数略大、文本编码器更强反而因为兼容性断裂被边缘化。选版本的时候生态成熟度的权重至少要跟模型能力打平。6.2 从 1.5 迁到 SDXL 时最容易翻车的四个点第一是分辨率前面说过必须改成 1024 附近的合法比例512 会出畸形构图。第二是提示词风格1.5 那套masterpiece, best quality, 1girl, ...的 tag 堆叠在 SDXL 上收益会明显下降它更吃完整的自然语言描述。我实测把堆叠 tag 换成一句带场景、光线、镜头感的完整句子同一张图的服从度提升相当明显。第三是负向提示词的精简。那条从 1.5 时代传下来的长负向串在 SDXL 上没必要反而容易干扰写成三四项就够了。第四是 VAE 的数值稳定性SDXL 的 VAE 在 fp16 精度下有一定概率出黑图或 NaN需要显式用 fp32 加载 VAE或者用修复过的版本。这个问题在 1.5 时代的微调 VAE 上不那么突出所以很多人换了 SDXL 之后第一次撞上会一头雾水——明明进度条跑完了图是纯黑的。6.3 LoRA 与 ControlNet 的版本绑定问题LoRA 跟基座模型是强绑定的。1.5 的 LoRA 放到 SDXL 上不是效果差一点而是完全不可用甚至可能报维度错误。反过来也一样。更细一层SDXL 的 base 和 refiner 各有自己的 LoRA 生态混用同样会出问题。ControlNet 的情况类似但更隐蔽。1.5 的 ControlNet 生态有十几种控制类型SDXL 的对应版本数量少得多而且单个文件体积很大因为控制分支需要复制相当一部分 U-Net 结构。最容易踩的坑是目录放错把 SDXL 的 ControlNet 模型丢进 1.5 的目录里界面不会报错但出图会完全失控画面像是随机噪声上盖了一层结构排查起来很费时间。养成习惯——按基座版本分目录存放命名里带上版本标识比事后调试省事得多。6.4 我自己的选型习惯与两个小技巧用久了会形成一套自己的判断。快速验证构图和光线方向我用 4 步的蒸馏模型铺量出人物一致性要求高的成品回 1.5 配精调 LoRA出场景、氛围、复杂光影走 SDXL 的自然语言路线需要精确控制姿态或者构图用 ControlNet 加 1.5 或者 SDXL 的对应版本。工具没有绝对优劣关键是知道每个版本的强项在哪。两个用得最多的技巧。第一个是两段式出图先用低分辨率、低步数把大结构定下来再用高分辨率修复或者 img2img 在 0.4 到 0.5 的 strength 下放大细化。这比一口气高分辨率跑满步数快得多而且构图更可控因为放大阶段只负责补细节不会重排画面。第二个是把 VAE 固定下来。同一套工作流里只用一个 VAE别在不同版本之间来回换。我早期为了压灰图换过好几次 VAE结果同一组参数过两周完全复现不出原来的图排查了半天才发现是 VAE 版本变了。现在我在模型目录里给每个基座版本单独放一份 VAE文件名带上版本号虽然土但再没出过复现不出来的问题。