搞AI绘画这几年Stable Diffusion简称SD已经成了我工作流里离不开的工具。不管是给电商图换背景、修老照片还是做设计提案的创意探索最常用到也最容易被忽视的一个功能就是inpaint局部重绘/图片修复。很多人只知道“涂一下mask它就能补出来”但一旦修出来的东西颜色不对、边缘生硬、内容跟原图不搭就不知道该调哪里了。这篇就以inpaint修复图片为切入点把SD的原理和实际操作串起来讲一遍。核心目标不是让你会背几个术语而是搞清楚扩散模型里到底发生了什么mask是怎么约束生成的denoising strength为什么那么敏感以及真正修图时每一步该怎么做、踩过的坑有哪些。适合刚入门SD小白、卡在中级阶段想深入理解的玩家以及要做图片修复实际业务的从业者参考。1. 先用inpaint当引子SD到底在“修”什么1.1 扩散模型的两条路加噪与去噪Stable Diffusion的核心本质上就是一个“去噪”模型。理解了这个inpaint的原理就通了一大半。训练阶段模型拿到一张真实图片不断往里面叠加高斯噪声直到图片彻底变成一片雪花点。这个把干净图一步步变脏的过程叫前向扩散forward diffusion。接着模型要学会干反活儿——给它一张满是噪声的图让它一步步把噪声去掉还原出原本的图像。这个还原过程叫反向扩散reverse diffusion。打个比方你有一幅画被人拿笔刷一层层涂满了白漆。训练时就是制造这些“涂白漆”的状态而生成时就是让AI学会从一片白里重新把下面的画“推测”出来。去噪过程要经历很多步每一步模型都会猜“这一步应该去掉多少噪声、保留多少结构”。那inpaint是怎么回事你涂掉的mask区域就相当于是被人为划掉的画面。SD要做的不是整张图重画而是根据周围保留区域的语义信息去“推测”被划掉的部分本来应该长什么样。本质上它还是去噪只是它只对mask内的区域去噪同时用周围像素和文本提示词当参考。1.2 为什么叫Stable它稳在哪“Stable”不是指模型输出稳定不出错——恰恰相反它只是想表达“扩散过程稳定”。SD是在潜在空间latent space里做扩散的而不是直接在像素空间里做。像素空间里一张512x512的RGB图数据量是512x512x3直接在这么高维空间里跑扩散模型训练和推理都慢得惊人。SD的做法是先用一个自编码器VAE把图片压缩成64x64x4的潜在张量维度缩小了差不多48倍然后在这个小得多的压缩空间里做加噪、去噪。最后再从latent解码回像素图。可以这么理解你要在一栋大楼里修改设计方案SD不是直接拿实物砌墙拆墙而是先画一张图纸在图纸上改改完再按图纸施工。这张图纸就是latent施工队就是VAE的解码器。这个设计带来的直接好处是GPU显存占用小、推理速度快、生成质量还高。这也是SD能跑在消费级显卡上的根本原因。理解这一点你也就理解了为什么很多inpaint参数都跟“潜空间操作”有关——后面讲实操的时候会反复提到。1.3 三块核心组件VAE、U-Net、文本编码器如果要把SD拆开来看大体上就是三个核心部件VAE变分自编码器负责图像和latent之间的编码与解码。它决定了图片被压缩成什么样、解码回来是不是清晰。U-Net真正的“去噪主力”。输入带噪的latent、当前时间步t、文本条件向量输出预测的噪声。文本编码器Text Encoder把自然语言提示词变成向量让U-Net理解你要画什么。这里面inpaint修复图片时真正起作用的核心是U-Net。因为你要修复的图片经过VAE编码成latent后mask区域本身就是一个被污染的状态。U-Net要根据可见区域、提示词和噪声步数一步步把被污染的区域给“洗”出来。还有一点容易被忽略文本编码器不只是把你的英文提示词变成一串数字它对修复内容的影响极大。比如你涂掉了一个路牌如果提示词里写了“empty street”模型就会倾向于让那个位置变成空马路如果写“park bench”它可能就给补一个长椅。提示词是语义引导mask是空间约束二者在去噪过程中是协同工作的。1.4 分类器自由引导CFG怎么让模型“照着话做”如果你用过SD一定见过CFG Scale这个参数默认值7。它是什么意思在去噪的每一步U-Net其实会同时算两个方向的预测一个是完全按照文本条件去做“有条件的去噪”一个是忽略文本条件去做“无条件的去噪”。两者都猜一个结果然后把它们线性组合。CFG就是这个组合的权重。CFG越高模型越有意去贴合提示词但过高了会过曝、发灰、甚至变脏CFG太低模型就放飞自我画出来的东西跟你想要的没关系了。放在inpaint场景里CFG同样关键。修复一个区域时如果提示词写得很明确比如“红色消防栓”CFG可以稍微高一点让模型严格执行如果只希望它顺势补背景比如“草地边缘”CFG控制在5-7左右就行太高反而会在本应“自然过渡”的地方画出奇怪的轮廓。2. inpaint修复图片的技术原理拆解2.1 mask机制你划的每一笔都是空间约束inpaint的核心输入除了图片本身还有一张mask图。mask是二值化的——你涂过的区域是白色表示需要重绘没涂的是黑色表示保留原样。在WebUI里你直接用鼠标在图片上涂抹工具会自动生成这张mask图。在ComfyUI或者底层代码里你可以用任何图像处理工具如Photoshop、Python的PIL手工制作mask。mask为什么会这么重要因为它在去噪约束里起到一个“空间门控”的作用。U-Net去噪时对于mask外的区域每一步都直接强制保留原图的latent对于mask内的区域则可以自由地去噪重建。这就像你要给一栋老房子翻新一个房间——不在改造范围内的部分不许动改造范围内的部分你要根据整栋楼的结构去设计新房间的内容。实际操作中有一个很容易踩的坑mask边缘的选择太粗糙。很多人用WebUI涂抹时习惯快速刷一笔导致边缘锯齿化修复出来的区域和原图有明显硬切感。解决办法是使用“mask blur”参数后面会详细说以及涂抹时尽量覆盖到需要过渡的中间区域而不是只涂一个精确轮廓。2.2 两种inpaint实现思路普通图生图与专用inpaint模型很多初学SD的人不知道inpaint其实有两种实现路线。第一种普通图生图inpaint。它没有专门训练的mask输入通道而是把原图中mask区域遮盖掉或加噪声然后当成带噪的latent输入给常规的U-Net去噪。这个过程里mask信息是通过“把mask区域变模糊/变噪声整体重绘强度控制”隐式传递的。WebUI默认的inpaint选“原图”或“潜空间噪声”走的就是这种路线优点是通用、可控性强缺点是边缘融合不一定完美需要手动调mask blur等参数。第二种专用inpaint模型。官方和社区训练过专门的inpaint版本比如SD 1.5 Inpainting它U-Net的第一层输入是5通道——4通道的带噪latent加上1通道的mask图。相当于直接把“哪些地方要修”硬编码进模型里去学习边缘和语义理解会更自然。如果你在WebUI里看到模型名带“inpainting”字样或者下载模型时看到“_inpainting.safetensors”后缀优先选它修图会少很多麻烦。实操上我一般推荐普通修图用专用inpaint模型如果没下载就用普通模型配WebUI的inpaint功能也能修得不错但要注意denoising strength和mask blur的配合。2.3 denoising strength到底在控制什么denoising strength重绘幅度是inpaint里调节手感最明显的参数也是新手最容易调崩的参数。它的本质是在去噪开始时对输入latent加入多少噪声。数值0.5意味着把原图区域污染掉一半的噪声再开始去噪数值1则代表几乎完全抛弃原来的信息从纯噪声开始重绘。对整张图生图而言denoising 0.3~0.5适合微调风格、改颜色0.6~0.8适合大幅重绘。但在inpaint场景里这个参数的作用范围主要集中在mask区域内。所以即便你把denoising拉到0.8mask外的区域依然保持不变——除非你选择了“重绘非蒙版内容”这种反向模式。修图时的参考选择denoising 0.3~0.4适合在保留原轮廓的基础上润色比如去掉皱纹、修补污点、小裂痕denoising 0.5~0.6适合补全中等缺失区域如去掉路人、修复草地、改变局部物体denoising 0.7以上适合大范围重绘如换姿势、换主体内容、彻底改造背景如果你修复完发现输出图有点“糊”大概率是denoising太低修补区域没有足够噪声去激活U-Net生成细节的能力模型只能拿残存的模糊信息去猜测如果发现输出跟原图完全不搭大概率是denoising太高模型等于把那一块当空白重画了。2.4 为什么修复结果有时候颜色发灰发闷颜色问题是修复图片最常遇到的Bug级别体验。花了大半天修完结果那块颜色跟周围完全不在一个层次。原因通常是两个一是在潜空间修复后VAE解码出来的结果天然会比像素级填充“微灰”因为latent空间里颜色分布与像素空间并不完全一致二是提示词里没有描述该区域的具体颜色、材质和光照模型只能猜一个平均色彩。解决办法也比较粗暴但有效在提示词里写得越具体越好别只写“修复”要把这一块内容、周围环境光、色调全写进去。比如你修复一个草地缺角提示词可以是“green grass, sunny day, natural lighting, high detail, matching surroundings”并且CFG保持正常值。同时可以把“color correction”这个常见词加进去——虽然它不是一个参数但模型在训练时见过相关概念能稍微改善色彩偏移。另一个实用小招如果修完整体颜色偏灰可以在出图后加一层低强度denoising 0.2~0.3的图生图重绘提示词加color grading / vibrant colors把整体色调拉回来。这属于后期补偿不是什么高端操作但实测救过很多次图。3. inpaint修复图片实操以WebUI为例从零修一张图3.1 环境准备与模型选择实操前你需要一个能跑的SD环境。如果是新手推荐直接用秋叶整合包或官方SD WebUI如果你习惯节点式工作流ComfyUI也完全可以只是界面逻辑不同参数概念相通。下面的步骤用WebUI演示因为它的inpaint界面所见即所得更适合讲解。模型方面我建议准备两个普通SD 1.5或SDXL模型如realisticVision、MeinaMix、DreamShaper用于修复写实照片或设计图专门inpaint模型如sd-v1-5-inpainting、SDXL-inpaint模型用于对融合度要求高的任务如果只装一个也行普通模型配合WebUI的inpaint功能能应付大多数场景但要接受边缘过渡可能不够完美的现实。3.2 具体操作步骤第一步打开img2img标签页切到Inpaint子标签在WebUI里点击“图生图”上方标签选择“局部重绘”Inpaint然后把要修复的图片拖进去。第二步涂抹mask用右上角的画笔工具在图片上涂掉你希望重绘的区域。这里有两个细节涂抹时不用太精确稍微扩大一点范围给模型一点自由发挥的余地边缘会更自然如果你要保留某个细微结构比如人脸的五官mask一定要避开那个区域否则模型会重画结果难以预料第三步设置核心参数第一次尝试建议用这个参数组采样器SamplerDPM 2M Karras步数Steps28宽高与原图一致CFG Scale7重绘幅度Denoising strength0.5蒙版模糊Mask blur8蒙版模式重绘蒙版内容蒙版区域内容处理潜空间噪声重绘区域仅蒙版区域如果你只是想局部修这个会更快选“整张图片”则把全图latent一起送进U-Net色彩过渡更自然但慢第四步写提示词提示词要同时描述以下几点要修复区域的内容、区域的材质颜色、与周围环境的衔接关系。比如我要修复一张公园照片里被撕掉了一块的草地提示词写“green grass, natural texture, matching surrounding grass color, sunny outdoor lighting, high resolution, sharp details, seamless blend”负面提示词写常见干扰项“blurry, low quality, color mismatch, artifact, hard edge, unnatural”第五步生成与迭代点生成看结果。如果满意就结束如果不满意根据问题类型去调参数。通常第一版出来后可以把这张输出图再次拖进inpaint只对不完美的局部进行二次修复。迭代两三次效果就会达到可用的水准。3.3 参数调试的思路不同情况怎么改修图不是一锤子买卖需要根据目标灵活调参。我做了一个表格方便对照修复目标建议denoising强度建议mask blur提示词侧重点去水印/文字0.4~0.54~6背景纹理、周围环境去路人0.5~0.68~12地面/墙面/背景延续老照片裂痕0.3~0.46~8质感、色彩、复古感换物体内容0.6~0.754~6新物体的外观与细节人脸/五官修复0.25~0.352~4面部细节、光影、年龄特征这里顺便说一下mask blur。它是对mask边缘做高斯模糊数值越大mask边界越柔和生成内容与周围融合越自然。但过大也不行——比如你只想修一个小点mask blur拉满会把模糊范围扩到很大导致模型把周围不该动的地方也轻微重构。我个人经验是大面积背景修复时mask blur给到8-12小物体替换给到4-6人脸精细修给到2-4。优先让边缘不突兀比内容细节更重要——人眼对边缘割裂特别敏感。3.4 ComfyUI里的inpaint有何不同如果你在ComfyUI里做inpaint流程会更接近底层逻辑你会看到一个VAE Encode节点把图片转成latent一个Load Image节点做mask然后通过“Set Latent Noise Mask”或inpaint专用的采样节点把mask注入到去噪过程中。跟WebUI的差别在于ComfyUI给了你更多自由。你可以直接在mask图里用Photoshop做精细处理也可以用ControlNet的inpaint模型进一步约束轮廓还能把修复过程拆成“先修大区域再缩小范围精修”的多级流程。ComfyUI适合那些已经在WebUI上修图修出感觉、觉得节点式工作流更可控的人。新手不建议一上来就折腾ComfyUI先在WebUI里理解参数与结果的关系再迁移到ComfyUI会轻松得多。4. 常见问题与排查技巧实录4.1 修复区域与周围颜色断层这是最典型的问题。修出来的区域单独看没问题但跟原图放在一起就“各说各话”。问题通常出在提示词对颜色和光照描述不足以及denoising强度不适配。排查顺序把提示词补得更具体特别是颜色、环境光方向、材质反光程度适当调低denoising到0.4左右让模型更尊重原有色调把mask模糊调高到8以上如果还是断层输出后把这版图再放进inpaint只对边缘过渡区做一次0.25左右的低强度修复大多数情况下第四步能救回来。别指望一次出完美图二次修复是常规操作。4.2 修复出来的物体长得离谱有次我想修掉照片里一个路人结果模型在路人的位置画出了一只姿势诡异的动物。原因很直接提示词没有明确“这个区域应该是空的背景”模型只能自由发挥。解决办法是提示词里把背景写明确。比如“empty stone path, no people, no animals, no objects, clear background”。另外denoising降到0.45~0.55让模型基于原有画面的结构尽可能补全而不是重新创造。如果你想修补的是一个明确的物体而不是去掉东西那提示词要正面描述该物体并且可以提到“white balance”和“perspective”来辅助一致性。4.3 修复后边缘明显有拼接感边缘拼接感通常来自mask边界太过锐利或者修复区域和原图之间没有共享足够的上下文。我的建议是把mask涂抹范围扩大一点让模型有更多上下文可以参考mask blur在4-8之间多试验如果选的“仅蒙版区域”改成“整张图片”试一次——整张图片模式下U-Net会同时处理整张latentmask外的原图信息能更充分地被用上融合度会更好只会稍微慢一点。4.4 同样参数修两张图结果一个稳一个崩SD有随机性。每次生成都从随机噪声开始即使参数完全一样结果也会有差异。想要可复现性需要固定随机种子seed。实操中修重要图片时我一般会先用同一个seed跑多个denoising值锁定最顺眼的组合再在这个基础上微调提示词最后固定seed正式出图。社区流传的“换seed大法”其实就是用来跳出坏生成结果的常用招。4.5 显存不足或跑得很慢inpaint比起文生图多出了VAE编码、mask处理等步骤对显存占用稍微高一点。如果你的显卡只有4-6G显存建议图片尺寸控制在1024x1024以内除非是明确的高清修复需求重绘区域选“仅蒙版区域”不要选“整张图片”使用SD 1.5系列模型而不是SDXL后者更吃显存加--medvram或--lowvram启动参数WebUI如果修的图特别大可以先用低分辨率完成粗修再用“高清修复/放大”功能放大到目标尺寸4.6 常见问题速查表现象最可能原因首选解决方案颜色断层提示词缺色彩/光照描述补细节提示词降denoising边缘硬切mask blur不足提高mask blur到8以上内容乱画提示词没说清该补什么明确背景/物体描述出图偏灰暗latent解码VGG色彩偏移二次低强度颜色校正修复区域太生硬denoising过高降到0.4~0.5修完细节全糊denoising过低提到0.6左右生成结果不可控seed随机性固定seed多试几次显存爆了SDXL大图整图模式关掉整张图片模式或降分辨率4.7 一个老照片修复的完整流程示例顺便分享一个我自己常做的老照片修复流程适合有裂痕、折痕的旧图先用图生图放大或extras里的upscale把图片分辨率拉到舒适尺寸在inpaint里把每一条裂痕、划痕、污点都涂上maskdenoising调0.35、mask blur调4负面提示词写“scratch, crack, dust, noise”逐条修复每次只修一个区域的裂纹以免干扰其他部位细节全部修完后把整张图用0.2-0.3的denoising跑一次轻图生图起一个“去压缩噪点、统一颗粒感”的作用最后再用放大模型提升分辨率整套流程下来老照片的裂痕可以消掉八成以上人脸还能保留原人物的神韵。最核心的技巧就是不贪心一个区域一个区域修宁慢勿崩因为一次全图修复往往得反复返工效率反而更低。5. 从inpaint延伸到更多玩法SD的生态与进阶方向5.1 inpaint ControlNet让修复更可控如果你已经熟练使用inpaint下一步强烈建议试试ControlNet尤其是它的inpaint模块和lineart/canny模块。ControlNet本质上是一种给U-Net注入额外空间控制条件的机制。在inpaint场景里你可以先用canny提取原始图片的线稿再配合inpaint修复这样模型在恢复内容时会被线稿约束住轮廓修复出来的物体不会跑形。具体用法ControlNet单元选择“inpaint”预处理器上传原图mask模式选“ControlNet is more important”或BalancedCFG调整到7。这样修复一个桌子、一把椅子时结构更有保障不会画成畸形体块。5.2 高清修复与inpaint的协同工作流很多人在inpaint修完图后发现细节不够直接用hires.fix又会导致整张图被重绘、伤及已经修好的区域。正确思路是用inpaint修完所有瑕疵在img2img里把出图拖进去denoising调0.3开启hires.fix或使用放大模型放大后再把局部还不满意的小瑕疵拿出来做一次轻量inpaint这样“粗修→放大→精修→再放大”的循环能得到细节丰富同时保留原有内容的成品图比直接全局重绘好得多。5.3 AIGC修图的商业落地思考从AIGC行业视角看inpaint只是SD功能金字塔里最底层但最刚需的一块。它在社交平台的自动修图工具、电商图批量处理、影楼后期、老照片修复服务里都有直接应用。相比文生图的“不确定性”inpaint本质是一个“受控生成”任务商业落地的稳定性要好得多。比如很多电商店主需要把一张商品图的背景换掉、把摄影棚里的支架抹掉这类需求用inpaint只要几分钟就能处理完。而做老照片修复的独立开发者甚至可以基于SD的inpaint工作流出成品工具配合fal.ai或replicate的API做成线上SaaS。这也是AIGC从业者一个比较现实且低门槛的收入方向。如果你在考虑往AIGC方向深入学习inpaint很适合作为第一个精通的技能点。它能让你同时理解扩散机制、模型条件控制、后处理流程而且试错成本低每天修几张图就能积累出对参数的直觉。之后再延伸到ControlNet、LoRA训练、ComfyUI工作流开发会顺很多。5.4 关于SD生态工具的个人推荐最后分享几个我目前常用的工具组合供参考日常体验与修图SD WebUI秋叶整合包适合快速上手、涂抹式操作批量与精细流程ComfyUI工作流可以保存复用适合稳定产出模型来源Civitai社区模型丰富、HuggingFace官方权重辅助工具Photoshop做复杂mask、Topaz Gigapixel做高清放大、Lightroom做色彩校正这些工具配合起来能打通“修复→放大→调色→交付”的完整链路实际商用完全够用。6. 写在最后的经验心得修图画这个事做得越久越会发现参数是死的思路是活的。同一张图让三个人修可能补出来的内容完全不一样因为提示词的选择、mask的范围、denoising的判断都带有很强的个人倾向。我建议新手不要急着追求一次成型把每次修复都当成一次实验记录下参数与结果的关系。修个几十张图之后你看到一张待修复图基本就能猜到该用多少denoising、mask blur给多大不会再依赖试错。我自己最深刻的体会是修复图的成败三成靠模型和参数七成靠观察力。你得先看懂原图的光影方向、色彩规律、透视关系才能写出真正能引导模型的提示词。很多“翻车”其实不是因为AI不行而是你没告诉AI这个位置该长什么样。如果你第一次上手就用inpaint修了张图出来哪怕效果一般也恭喜你已经站在了理解SD的门槛上。接下来你可以去试试ControlNet、试试LoRA、试试自己写一套ComfyUI工作流。这条路走通之后AIGC能带给你的创作自由度要比单次修图大得多。