1. 从零拆解一套AI绘画课程MJ与SD到底该怎么学AI绘画这个词这两年火得有点不讲道理。打开任何一个内容平台满屏都是“一句话生成大片”“零基础接单月入过万”的标题但真正沉下心去学的人会发现工具本身的门槛在降低可“用好”的门槛反而在升高。我接触Midjourney和Stable Diffusion差不多两年时间从最开始对着Discord里一堆指令发呆到后来能稳定出商用级别的图中间踩过的坑、浪费过的算力、买错的课程加起来能写一本小册子。所以当我看到“知乎知学堂-AI绘画MJSD课程”这个标题的时候第一反应不是“又一个割韭菜的课”而是想认真聊聊如果现在有人想系统学AI绘画一套合格的课程到底应该包含什么MJ和SD这两条技术路线各自解决什么问题以及一个普通人从零到能出活最短的路径是什么。这篇文章不打算给任何具体课程打广告也不会甩一堆“限时优惠”的链接。我想做的是把“AI绘画课程”这个黑箱拆开让你看清楚里面应该有什么、哪些是真正值钱的部分、哪些是凑数的水货。如果你正在犹豫要不要报课、报什么课或者你已经买了课但学得云里雾里这篇内容应该能帮你省下不少时间和冤枉钱。全文会围绕MJ和SD两条主线展开穿插提示词工程、模型选择、工作流搭建、常见故障排查这些实操层面的东西尽量做到你看完就能上手试试了就能出结果。2. 为什么MJ和SD要放在一起学两条路线的本质差异2.1 Midjourney的“开箱即用”到底省了什么Midjourney的核心优势用一句话概括就是你把想法翻译成英文提示词它负责把剩下的脏活累活全干了。不需要考虑显卡型号不需要折腾Python环境不需要下载几十个G的模型文件甚至不需要理解什么是采样器、什么是CFG scale。你只需要在Discord的对话框里敲下/imagine prompt: a cat wearing sunglasses, cyberpunk style等个几十秒四张图就摆在你面前了。这种“傻瓜式”体验背后是Midjourney团队在模型训练、推理优化、审美对齐上做的巨大投入。它的底层模型经过大量高质量图像的训练对光影、构图、材质的表现有一种“天生”的敏感度。你不需要告诉它“用伦勃朗光”它自己就知道怎么打光好看。这也是为什么很多设计师即便后来转投SD依然会保留MJ的订阅——在快速出概念图、找灵感方向这个环节MJ的效率目前没有对手。但MJ的短板同样明显。第一是可控性差你没法精确控制人物的姿势、手部的细节、画面的构图只能通过反复抽卡来碰运气。第二是定制化能力弱虽然现在有了--cref和--sref这些参考功能但跟SD的ControlNet、LoRA比起来依然是小巫见大巫。第三是成本问题基础订阅一个月10美金想用快速模式或者隐身模式还得加钱长期用下来不是小数目。2.2 Stable Diffusion的“高门槛”换来了什么Stable Diffusion走的是完全相反的路线。它是一个开源的扩散模型你可以把它理解成一个“毛坯房”——框架给你了但装修得自己来。你需要一张显存至少8G的N卡6G也能跑但会很憋屈需要装Python、Git、CUDA驱动需要下载底模、VAE、LoRA、ControlNet模型需要理解采样步数、采样器、CFG、种子这些参数的含义。听起来很劝退对吧但正是这些“麻烦”换来了MJ给不了的东西。ControlNet可以让你用一张线稿精确控制生成图的构图OpenPose可以锁定人物的骨骼姿势IP-Adapter可以迁移参考图的风格LoRA可以让你用几十张图训练出特定的人物脸型或画风。在SD的世界里你几乎可以控制生成过程的每一个环节。这意味着什么意味着你可以做商业级的角色设计、可以做风格统一的绘本插图、可以做精确到像素的产品概念图。还有一个关键点SD是本地运行的。你的提示词、你的模型、你生成的图全部在你自己电脑上不存在上传到别人服务器的隐私问题。对于接商单的设计师来说这一点至关重要。另外SD的生态极其丰富C站上每天都有新的模型和LoRA发布从写实人像到二次元插画从建筑效果图到工业设计草图几乎每个细分领域都有专门优化过的模型。2.3 一套合格的课程应该怎么分配这两块内容基于上面的分析一套靠谱的MJSD课程在内容分配上应该遵循“MJ打头阵、SD做纵深”的逻辑。MJ部分不需要讲太多重点放在提示词的结构化写法、参数的高阶用法、以及如何用MJ快速验证创意方向。这部分大概占课程总量的20%到30%就够了因为MJ本身的学习曲线很平缓讲多了就是凑时长。SD部分才是重头戏应该占到60%以上。具体来说环境搭建和基础操作占10%提示词工程和参数调优占20%ControlNet和LoRA的实战应用占30%剩下的是工作流整合和商业案例拆解。我见过太多课程把大量时间花在“怎么安装Python”这种基础问题上真正值钱的ControlNet实战却一笔带过这种课买了就是浪费钱。判断一套课程值不值有个很简单的标准看它有没有讲清楚“什么时候该用MJ什么时候该用SD”。如果全程只教工具操作不教决策逻辑那说明讲师自己可能都没想明白。3. 提示词工程从“抽卡”到“定向生成”的关键一跃3.1 MJ提示词的骨架主体、风格、参数三层结构很多人写MJ提示词的习惯是“想到什么写什么”结果就是生成结果极不稳定。我自己的做法是把提示词拆成三层主体描述层、风格修饰层、技术参数层。主体描述层负责说清楚“画什么”包括主体、动作、环境、构图。风格修饰层负责说清楚“怎么画”包括艺术风格、光影效果、材质质感、参考艺术家。技术参数层就是--ar、--v、--style这些控制输出格式的指令。举个例子如果你想生成一张“赛博朋克风格的女性角色”不要直接写cyberpunk girl而是写成a female hacker standing in a neon-lit alley, rain-soaked streets, holographic advertisements, cinematic lighting, shot on 35mm lens, depth of field, cyberpunk aesthetic, inspired by Blade Runner 2049 --ar 16:9 --v 6。这样写出来的提示词生成结果的稳定性会高很多因为每个词都在给模型提供明确的方向。这里有个小技巧MJ对英文提示词的理解远好于中文但你可以用翻译工具先把中文想法翻成英文然后再手动调整关键词的顺序。通常来说越靠前的词权重越高所以把最重要的主体放在最前面风格词放在后面。3.2 SD提示词的权重控制括号与数字的魔法SD的提示词语法比MJ复杂得多因为它支持权重控制。基本规则是用括号包裹关键词可以增加权重比如(masterpiece:1.2)表示这个词的权重是1.2倍。方括号[keyword]则是降低权重。这个机制在调整画面元素时非常有用比如你发现生成的人脸总是崩就可以把(detailed face:1.3)加进去。但权重不是越高越好。我试过把(perfect hands:1.5)加到提示词里结果手是没崩但整个画面的构图变得极其诡异。后来才明白权重超过1.3之后模型会过度关注这个词导致其他元素的生成质量下降。一般来说权重控制在0.8到1.3之间比较安全超过这个范围就要小心了。还有一个容易被忽略的点负面提示词。SD的负面提示词不是“不要什么”而是“把什么从画面里推出去”。常用的负面提示词包括lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry。这套负面提示词几乎适用于所有场景建议直接存成模板。3.3 提示词网站和工具哪些值得用哪些是坑网上有很多所谓的“AI绘画提示词网站”质量参差不齐。我常用的有两个一个是PromptHero它收录了大量MJ和SD的提示词案例可以按风格和主题筛选另一个是Lexica专门针对SD的提示词搜索支持按模型版本过滤。这两个网站的好处是你不仅能看到提示词还能看到对应的生成图方便判断效果。但要注意直接复制别人的提示词往往出不来一样的效果因为模型版本、采样器、种子这些变量都不一样。正确的用法是把别人的提示词当作参考理解它的结构逻辑然后根据自己的需求调整。比如你看到一张很好看的人像图提示词里用了soft lighting, rim light, 85mm lens你就可以把这几个词记下来下次生成人像时直接套用。至于那些号称“一键生成爆款提示词”的工具我的建议是谨慎使用。它们生成的提示词往往堆砌了大量华丽但无意义的词看起来很长很专业实际生成效果并不稳定。提示词的核心是“准确”而不是“华丽”用最少的词说清楚你想要什么比堆一百个形容词有用得多。4. SD环境搭建与模型管理别在第一步就卡住4.1 本地部署还是云端方案一张表帮你做决定SD的部署方式主要有三种本地部署、云端部署、以及整合包。本地部署需要自己装Python、Git、CUDA适合有编程基础、显卡配置够用的人。云端部署是在租用的服务器上跑SD适合显卡不行但想用SD的人。整合包是别人把环境打包好你下载解压就能用适合纯小白。方案类型硬件要求上手难度成本适合人群本地部署N卡显存8G以上中等一次性硬件投入有显卡、想长期用的人云端部署无中等按小时计费显卡不行、偶尔用的人整合包N卡显存6G以上低免费纯小白、想快速上手的人我个人的建议是如果你有一张RTX 3060以上的显卡直接本地部署虽然前期麻烦一点但长期来看最省心。如果显卡是GTX 1650这种级别的可以考虑云端方案按需付费。整合包适合完全不想折腾环境的人但要注意整合包的版本更新往往滞后而且有些整合包会捆绑垃圾软件。4.2 模型文件的分类与管理底模、VAE、LoRA、ControlNetSD的模型文件种类很多新手最容易搞混。简单来说底模Checkpoint是生成图像的基础模型决定了整体的画风和质量。VAE是负责色彩解码的组件有些底模会自带VAE有些需要单独下载。LoRA是微调模型用来给底模增加特定的风格或角色。ControlNet是控制模型用来约束生成图的构图、姿势、深度等信息。模型文件的管理是个体力活。我的做法是按类型建文件夹models/Stable-diffusion放底模models/VAE放VAEmodels/Lora放LoRAmodels/ControlNet放ControlNet。每个文件夹里再用子文件夹按风格分类比如写实、二次元、建筑。这样找起来方便也不容易搞混。下载模型时一定要注意版本兼容性。SD 1.5的LoRA不能用在SDXL上SDXL的ControlNet也不能用在SD 1.5上。下载前先看清楚模型说明里的基础模型版本。4.3 常见报错与排查从“CUDA out of memory”说起SD最常见的报错就是CUDA out of memory翻译过来就是显存不够了。解决方法有几个降低生成分辨率、减少批处理数量、开启--medvram或--lowvram优化选项、关闭其他占用显存的程序。如果这些都不行那就只能换显卡或者用云端了。另一个常见问题是生成出来的图是黑图或者绿图。这通常是VAE的问题要么是VAE文件损坏要么是底模和VAE不匹配。解决办法是换一个VAE或者把VAE设置成None让底模自己处理。还有的时候是采样器的问题换一个采样器试试比如从Euler a换成DPM 2M Karras。模型加载失败也是高频问题。如果控制台提示Error loading model先检查模型文件是不是完整下载了有时候下载中断会导致文件损坏。然后检查模型文件的格式SD支持.ckpt和.safetensors两种格式后者更安全推荐优先使用。如果还是不行可能是模型版本和WebUI版本不兼容更新一下WebUI试试。5. ControlNet实战让AI按你的想法构图5.1 ControlNet的安装与模型选择ControlNet是SD生态里最重要的插件之一它让“精确控制”成为可能。安装方法很简单在WebUI的扩展页面搜索sd-webui-controlnet点击安装然后重启WebUI。安装完成后还需要下载对应的ControlNet模型文件放到extensions/sd-webui-controlnet/models目录下。ControlNet的模型有很多种常用的包括canny用于边缘检测openpose用于姿势控制depth用于深度图控制lineart用于线稿上色ip-adapter用于风格迁移。每个模型都有对应的预处理器预处理器负责从参考图中提取控制信息模型负责根据控制信息生成图像。选择哪个ControlNet模型取决于你想控制什么。如果你想让人物的姿势和参考图一致用openpose。如果你想保持参考图的构图用canny或lineart。如果你想迁移参考图的风格用ip-adapter。我个人的经验是openpose和lineart的使用频率最高前者用于角色设计后者用于插画上色。5.2 从参考图到成图一个完整的工作流演示假设你想生成一张“穿着汉服的女性角色姿势参考某张照片”。工作流是这样的先把参考照片拖进ControlNet的openpose预处理器提取骨骼图。然后在提示词里写a woman wearing hanfu, traditional Chinese style, detailed embroidery, soft lighting。接着调整ControlNet的权重一般设置在0.8到1.0之间太高会导致画面僵硬太低则控制不住姿势。最后点击生成看效果。如果生成的人脸崩了可以加一个faceid或者roop插件来修复人脸。如果衣服的细节不够可以在提示词里加intricate embroidery, silk texture。如果背景太乱可以用depthControlNet来控制背景的层次。整个过程需要反复调整但一旦跑通效率比纯抽卡高得多。5.3 ControlNet的权重与引导时机两个容易被忽略的参数ControlNet有两个关键参数Control Weight和Starting/Ending Control Step。Control Weight控制的是ControlNet对生成过程的影响强度范围是0到2默认是1。Starting/Ending Control Step控制的是ControlNet在哪个阶段介入范围是0到1默认是0到1也就是全程介入。这两个参数调好了效果会好很多。比如你想让生成的图“参考姿势但不要太死板”可以把Control Weight降到0.6把Ending Control Step设成0.8这样ControlNet只在生成的前80%阶段起作用后面20%让模型自由发挥。反过来如果你想“严格复刻参考图的构图”就把Control Weight设成1.2Ending Control Step设成1.0。我试过用openpose控制一个跳舞的姿势Control Weight设成1.0的时候生成的人体结构很准确但动作有点僵硬。后来把Control Weight降到0.7Ending Control Step设成0.9生成的动作就自然多了同时姿势也没有跑偏。这个参数组合我后来用在了很多角色设计的场景里效果一直很稳。6. LoRA训练与模型微调让AI学会你的画风6.1 LoRA是什么用几十张图教会AI一个新概念LoRA的全称是Low-Rank Adaptation翻译过来叫“低秩适应”。听起来很学术但你可以把它理解成给底模打的一个“补丁”。底模是一个通才什么都会画但什么都不精。LoRA是一个专才只学一个特定的概念比如某个人的脸、某种画风、某件衣服。你给它几十张相关的图它就能学会这个概念然后在生成时把这个概念“贴”到画面上。LoRA的训练门槛比想象中低。一张RTX 3060 12G的显卡用kohya_ss这个训练工具大概两三个小时就能训练出一个可用的LoRA。训练数据的要求是20到50张图分辨率统一主体清晰背景干净。如果训练人物脸型最好包含不同角度、不同表情、不同光照的图。如果训练画风最好包含不同主题但风格一致的图。6.2 训练参数怎么设步数、学习率、网络维度的取舍LoRA训练的参数很多但最关键的三个是max_train_steps训练步数、learning_rate学习率、network_dim网络维度。训练步数一般设在1000到2000之间太少学不会太多会过拟合。学习率一般设在1e-4到1e-5之间太高会导致训练不稳定太低则收敛太慢。网络维度一般设在32到128之间越高表达能力越强但文件也越大。我训练第一个LoRA的时候把步数设成了5000结果生成的图完全过拟合不管画什么都带着训练集里的背景。后来把步数降到1500学习率调到2e-5效果就正常了。所以参数这东西不是越大越好找到平衡点才是关键。建议第一次训练时用保守参数跑完之后看效果再调整。6.3 LoRA的使用与叠加权重控制和多LoRA混合训练好的LoRA文件放到models/Lora目录下在WebUI的提示词里用lora:文件名:权重的格式调用。权重一般设在0.6到1.0之间太高会覆盖底模的风格太低则效果不明显。我通常先用0.8试一下如果效果太强就降到0.6太弱就升到1.0。多个LoRA可以叠加使用比如同时加载一个“人物脸型”LoRA和一个“画风”LoRA。但要注意LoRA之间可能会互相干扰导致画面崩坏。解决办法是降低每个LoRA的权重比如两个LoRA都用0.5让它们共同作用。如果还是不行就分开生成先用一个LoRA生成底图再用另一个LoRA做局部重绘。LoRA训练最耗时的部分不是训练本身而是数据集的准备。图片的质量直接决定了LoRA的质量模糊的、有水印的、构图混乱的图训练出来的LoRA也好不到哪去。宁可少几张图也要保证每张图都是精品。7. 常见问题与排查技巧实录7.1 生成图模糊、崩坏、色彩异常排查清单问题现象可能原因解决方法画面模糊分辨率太低、采样步数太少、VAE问题提高分辨率到512以上采样步数调到25以上更换VAE人物崩坏提示词冲突、权重过高、模型不匹配检查提示词是否有矛盾描述降低权重换底模色彩异常VAE不匹配、色彩空间错误更换VAE检查输出格式是否为RGB画面全黑模型损坏、显存不足、采样器bug重新下载模型降低分辨率换采样器手部畸形训练数据偏差、提示词缺失加perfect hands提示词用depthControlNet辅助这张表是我自己踩坑总结出来的基本上覆盖了80%的常见问题。遇到报错先别慌按表里的顺序排查大部分问题都能解决。7.2 提示词不生效权重、语法、模型的三重检查有时候你写了很详细的提示词但生成结果完全不按你的想法来。这种情况通常是三个原因一是权重设置有问题关键词被其他词压制了二是语法写错了比如括号没闭合、冒号用成了中文三是底模本身不支持这个概念比如用二次元模型生成写实照片。排查方法是先把提示词精简到只剩主体看模型能不能生成基本正确的内容。然后逐步加回风格词和参数每加一个就生成一次看是哪个词导致了问题。这个过程有点繁琐但能帮你快速定位问题。我试过用这个方法排查一个“赛博朋克风格”不生效的问题最后发现是底模选错了换了一个专门训练过赛博朋克风格的模型就正常了。7.3 显存不够用从硬件到软件的全方位优化显存不够是SD用户最常见的痛点。除了换显卡这个终极方案还有很多软件层面的优化可以做。第一降低生成分辨率512x512比1024x1024省一半以上的显存。第二开启--medvram或--lowvram让WebUI把部分模型加载到内存而不是显存。第三使用--xformers优化注意力机制能省不少显存。第四关闭其他占用显存的程序比如浏览器、游戏、视频播放器。如果这些都不行可以考虑用Tiled Diffusion插件做分块生成把大图拆成小块分别生成再拼接。或者用img2img的SD Upscale功能先生成小图再放大。我有一张8G显存的卡用这些方法能稳定生成1024x1024的图虽然速度慢一点但至少不会爆显存。8. 从学习到接单AI绘画的商业化路径8.1 哪些方向真的能赚到钱AI绘画的商业化方向很多但真正能赚到钱的没几个。我观察下来目前比较靠谱的方向有三个一是电商产品图很多小商家需要大量白底图、场景图用SD批量生成效率很高二是头像和壁纸定制虽然单价低但需求量大适合走量三是游戏和动漫的角色概念设计这个门槛高但单价也高需要一定的美术基础。不太靠谱的方向包括AI绘画“无审核”内容、批量生成低质量素材倒卖、以及各种“AI绘画月入过万”的培训课。前两个要么有合规风险要么利润薄得可怜。第三个我就不多说了你自己品。8.2 接单前必须搞清楚的几件事接单之前先想清楚三个问题你的交付标准是什么你的定价依据是什么你的版权归属怎么算交付标准决定了客户满不满意定价依据决定了你能不能赚到钱版权归属决定了你会不会惹上麻烦。我的做法是交付标准写清楚“修改次数”和“交付格式”比如“包含3次修改交付PNG和PSD源文件”。定价按“基础价修改费”的模式基础价覆盖一次成稿的成本修改超过3次就加钱。版权方面默认客户拥有使用权但我保留作品展示权这一点在接单前就要说清楚。8.3 一个真实的接单案例拆解上个月接了一个电商产品图的项目客户需要20张不同场景的保温杯展示图。我的工作流是这样的先用MJ生成20张不同场景的概念图让客户确认风格方向。然后用SD的img2img功能把产品图贴到概念图里用ControlNet的canny控制产品轮廓用ip-adapter迁移场景风格。最后用SD Upscale放大到4K分辨率交付给客户。整个项目耗时大概6个小时收费800块。听起来时薪不高但大部分时间是在等生成实际手动操作的时间不到2小时。这个项目的关键是“批量处理”我把工作流搭好之后剩下的就是换产品图、换场景提示词、批量生成。如果你能把这套流程跑通接单的效率会高很多。9. 我个人的学习路径复盘回头看这两年学AI绘画的过程最大的弯路是“贪多”。一开始什么都想学MJ、SD、NovelAI、DALL-E全试了一遍结果每个都只学了皮毛。后来沉下心只搞MJ和SD把这两个工具吃透反而进步最快。所以我的建议是先选一个工具入门MJ也好SD也好先用起来找到感觉之后再学另一个。第二个弯路是“只看教程不动手”。我买过三套课程前两套都是看完就忘因为光看不动手根本记不住。第三套课程我逼着自己每看完一节就动手做一遍遇到问题就查文档、问群友那段时间的进步速度是之前的十倍。所以如果你正在学AI绘画别光看打开软件动手做哪怕只是生成一张最简单的图也比看十篇教程有用。第三个弯路是“追求完美参数”。有段时间我沉迷于研究各种采样器、调度器的区别试图找到“最优解”。后来发现参数的影响远没有提示词和模型的影响大。与其花时间调参数不如多花时间写提示词、多试几个模型。参数只要不离谱生成结果都不会太差。最后分享一个小技巧建立一个自己的“提示词库”和“参数预设库”。每次生成出满意的图就把提示词、模型、参数、种子全部记下来分类存档。下次遇到类似的需求直接调用预设效率能提升好几倍。这个习惯我坚持了半年现在手头积累了200多条预设基本上覆盖了常见的生成场景。