新闻详情

新闻详情

首页 / 资讯中心 / 详情

Stable Diffusion详解

发布时间:2026/9/11 20:09:47来源:尧图网络
Stable Diffusion详解
介绍Stable Diffusion是文生图模型包括三个大组件VAEClip和Unet。原理分析1.Unet的详细结构上面两张图对应着看Unet包含三大部分①下采样三个cross attention下采样模块CrossAttnDownBlock2D一个普通下采样模块DownBlock2D②中间一个中间模块UnetMidBlock2DCrossAttn③上采样一个普通上采样模块UpSample2D三个cross attention上采样模块CrossAttnUpBlock2D接下来我们逐个分析每个模块cross attention下采样模块CrossAttnDownBlock2D来详细看cross attention下采样模块的结构很明显这里面包括三个子块① ResnetBlock2D② Transformer2DModel③ DownSample2D一步步来看每个子模块包含啥ResnetBlock2DResnetBlock2D的输入包括两部分① 上一层的latent② 时间步的embeddingPS输入输出通道数不一致的时候残差连接会用一个1x1的卷积时间步编码模块的结构如下图所示接下来看Transformer2DModel子模块这个模块的输入也是包括两部分① 上一层的latent② 文本的embedding其shape[2, 77, 768]来看看BasicTransformerBlock块更进一步拆解SelfAttention的结构为CrossAttention的结构为很多面试里会问到Unet中的cross attention其实是在这里Q的根源来自图像特征经过了一些列的中间块处理KV来自文本Feedforward就很显而易见了跟transformer中的类似接下来看DownSample2D子模块上面都是cross attention下采样模块CrossAttnDownBlock2D下面分析DownBlock2D上面分析完了所有下采样看一眼中间模块UnetMidBlock2DCrossAttn最后是上采样的UpBlock2D模块UpSample2DCrossAttnUpBlock2D注意, 最后一个CrossAttnUpBlock2D没有UpSample2D模块2.CLIP的详细结构CLIP这里用到的是文本编码器结构如下:CLIPTextEmbeddings灰色的框框text_inoputs和embedding不是操作是表示输入输出:CLIPEncoderLayerCLIPEncoderLayer就是普通的Transformer 的Encoder层了总结Unet的重点在于哪个cross attention下采样模块里面包含resblock和transformer相关的block其中resblock接受时间步嵌入作为输入transformer模块接受文本嵌入作为输入这块就是用到了cross attention。Q的根源是来此图像但是是经过了很多层处理后的latent featureKV来自文本嵌入。参考Stable Diffusion1.5网络结构-超详细原创
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

AD5293数字电位器与PIC18F4682实现传感器电桥自动校准方案 2026/9/11 20:57:54

AD5293数字电位器与PIC18F4682实现传感器电桥自动校准方案

最近帮客户做了一套产线校准设备,核心需求不算复杂:让传感器电桥的模拟前端在不同批次、不同温度下,输出一致性都过得去。项目里用得最顺手的两个器件,就是标题里的 AD5293BRUZ-20-RL7 数字电位器和 PIC18F4682 微控制器。这篇文章…

阅读更多 →
智驾芯片选型实战指南:算力、确定性与生态成本三维决策 2026/9/11 20:57:54

智驾芯片选型实战指南:算力、确定性与生态成本三维决策

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
嵌入式Linux下Modbus RTU串口通信实战:从termios配置到RS485物理层调通 2026/9/11 20:57:54

嵌入式Linux下Modbus RTU串口通信实战:从termios配置到RS485物理层调通

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
FPGA 100G UDP上板测试实战:从CMAC架构到iperf3打流 2026/9/11 20:57:54

FPGA 100G UDP上板测试实战:从CMAC架构到iperf3打流

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
Diffusers 多格式兼容实战:加载与转换 .ckpt、KerasCV 与 A1111 LoRA 等 Stable Diffusion 模型格式 2026/9/11 20:57:54

Diffusers 多格式兼容实战:加载与转换 .ckpt、KerasCV 与 A1111 LoRA 等 Stable Diffusion 模型格式

Diffusers 多格式兼容实战:加载与转换 .ckpt、KerasCV 与 A1111 LoRA 等 Stable Diffusion 模型格式 【免费下载链接】diffusers 🤗 Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch. 项目地址: htt…

阅读更多 →
C语言入门与实战:从基础到嵌入式开发 2026/9/11 20:54:53

C语言入门与实战:从基础到嵌入式开发

1. C语言入门指南:为什么它依然是编程世界的基石? 第一次接触C语言是在大学计算机系的实验室里,那台老旧的CRT显示器上闪烁的"Hello World"让我至今难忘。二十年过去了,虽然编程语言层出不穷,但C语言依然稳居…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞