布袋戏短剧在短视频平台一直有固定受众但传统布袋戏需要操偶、戏台、戏偶、口白配音普通人想做一个“天迹”这种高辨识度角色的衍生短剧基本只能看别人做。AI 辅助创作的出现把这条链路压平了角色立绘用 AI 绘图生成动作镜头用图生视频生成口白用 TTS 配音最后在剪辑软件里合成。这次我们拆解的就是一套以“天迹”为角色样板的 AI 辅助布袋戏衍生短剧制作流程重点讲清楚怎么保证角色长相一致、怎么生成分镜动作、怎么配音、怎么批量化出图以及整套流程的硬件门槛和落地建议。这套流程的核心不是某个单一模型而是“角色一致性 LoRA 可控图像生成 视频生成 语音合成”的组合工作流。优点是角色风格统一、不需要实拍条件、支持批量生成分镜、可本地部署也可接入在线 AI 工具门槛主要在显卡显存和模型文件体积上。如果你已经在玩 ComfyUI 或 Stable Diffusion想从静态 AI 图跨到 AI 短视频制作这篇文章可以直接收藏。本文会带读者完成环境准备、ComfyUI 部署与角色 LoRA 放置、角色立绘生成测试、多角度一致性验证、图生视频生成分镜、TTS 口白配音、API 批量调用以及常见问题排查。文章里所有命令和配置都以通用模板给出具体路径和模型名需要按你本机实际环境替换。1. 核心能力速览能力项说明项目类型AI 辅助原创布袋戏衍生短剧制作工作流角色样板天迹古风神谕系造型头冠/长发/纹样特征明显主要功能角色立绘生成、LoRA 角色一致性、图生视频分镜、TTS 口白配音、批量分镜生成推荐硬件NVIDIA 显卡显存建议 8G 起步具体以实际模型版本为准支持平台Windows / LinuxCPU 可跑但速度慢不建议主流程使用启动方式ComfyUI 本地工作流 本地 TTS 服务 剪辑软件合成是否支持 APIComfyUI 自带 API 接口TTS 可封装本地服务是否支持批量任务支持可通过批量提示词和脚本批量生成分镜适合场景AI 漫剧、AI 短剧、布袋戏同人二创、短视频内容生产这套工作流的难点不在于“能用 AI 画一张布袋戏角色图”而在于让角色在多个分镜、多个角度下看起来是同一个人。传统文生图单张随机性太强所以必须要加角色 LoRA 和统一的提示词模板后面的章节会展开演示。2. 适用场景与使用边界这套流程适合这几类人布袋戏粉丝想做同人衍生短剧、AI 漫剧作者想测试角色一致性工作流、短视频创作者需要批量生成古风角色素材、以及想学习 ComfyUI 视频生成 TTS 全链路打通的开发者。它能解决的问题很明确没有戏偶、没有摄影棚、没有操偶师也能生成风格统一的布袋戏角色画面传统手绘分镜成本高AI 图生视频可以快速产出动态分镜口白配音不需要找配音演员TTS 加参考音频就能接近指定音色。不适合的场景也要说清楚需要精确表情演技的镜头AI 生成不够稳定需要复杂武打动作的连续镜头图生视频容易出现肢体畸变角色形象高度依赖原版 IP 的情况下版权问题必须谨慎处理。使用边界必须强调。布袋戏角色形象属于具体 IP 版权方同人二创在多数平台属于灰色地带因此不能直接用于商业广告、付费售卖或任何暗示官方联动的场景。发布时要标注“AI 辅助创作”“衍生同人”“非官方作品”。涉及配音音色时如果要模仿特定配音演员的声音需要取得本人授权不建议用 AI 复刻真人声线并商用。整条流程应遵守平台 AI 内容标注规则避免误导观众。3. 环境准备与前置条件开始之前先按清单确认本机环境。3.1 硬件要求GPUNVIDIA 显卡优先显存 8G 起步6G 显存可以跑低分辨率但 LoRA 训练会比较吃力。内存建议 16G 以上。磁盘模型文件占用较大建议预留 50G 以上空间后续 LoRA、视频生成、素材输出都会占空间。3.2 软件依赖操作系统Windows 10/11 或 Linux。Python3.10 或 3.11ComfyUI 对 Python 版本有要求安装前先看项目 README。Git用于克隆项目仓库。CUDA 驱动更新到较新的 NVIDIA 驱动PyTorch 能不能用 GPU 就靠它。PyTorchComfyUI 安装时会自动处理但需要注意 CUDA 版本对应关系。3.3 模型文件准备这套流程需要以下几类模型文件Stable Diffusion 底座模型建议选择适合古风、写实或 3D 渲染风格的模型放到ComfyUI/models/checkpoints目录。角色 LoRA如果已经有训练好的“天迹”LoRA直接放到ComfyUI/models/loras如果没有需要先收集素材训练。视频生成相关模块如果用 AnimateDiff需要对应模型文件如果用 SVDStable Video Diffusion也需要独立模型。3.4 端口准备ComfyUI 默认端口是 8188TTS 服务也要分配一个端口。如果端口被占用启动时指定新端口避免服务起不来。4. 安装部署与启动方式4.1 ComfyUI 安装以 Windows 为例使用 Git 克隆 ComfyUI 仓库git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI创建虚拟环境并安装依赖python -m venv venv venv\Scripts\activate pip install -r requirements.txt启动 ComfyUIpython main.py启动后浏览器访问http://127.0.0.1:8188能看到工作流画布说明启动成功。如果显卡驱动和 PyTorch 版本不匹配启动过程会直接报 CUDA 错误需要先解决环境问题再继续。4.2 模型文件放置ComfyUI 目录结构下把底座模型放到models/checkpoints把角色 LoRA 放到models/loras把视频生成模块放到对应目录例如models/checkpoints或models/diffusers具体位置取决于你使用的工作流模板。一个常见的做法是ComfyUI/models/ checkpoints/ real_anime.safetensors loras/ tianji_v1.safetensors vae/ vae-ft-mse-840000-ema-pruned.ckpt4.3 导入工作流找一张已经排好的“角色图生成 图生视频”工作流 JSON在 ComfyUI 画布中直接拖入即可。导入后需要检查以下几项检查点模型路径是否指向本机实际文件。LoRA 节点是否指向models/loras下的文件。采样器步数和尺寸是否在显存可承受范围内。输出节点是否正确连接。检查完成后点击“Queue Prompt”跑一次确认没有红色报错节点。4.4 TTS 本地服务部署口白配音可以使用开源 TTS 项目例如 GPT-SoVITS 或其他支持参考音频克隆的模型。部署思路一样克隆仓库、安装依赖、启动 WebUI然后准备一段参考音频。git clone https://github.com/RVC-Boss/GPT-SoVITS.git cd GPT-SoVITS pip install -r requirements.txt python webui.py启动后浏览器访问 WebUI 地址加载参考音频输入文本即可合成口白。具体启动命令以项目 README 为准不同版本差异较大不一定要完全照抄上面命令。5. 功能测试与效果验证5.1 角色立绘生成测试测试目的是确认 LoRA 是否生效角色是否稳定。输入一段简短提示词masterpiece, best quality, tianji character, ornate headdress, long white hair, chinese paladin style, upper body, clean background在 ComfyUI 中生成单张图像查看角色头冠、发色、服饰纹样是否接近目标设定。判断标准生成的角色脸型、发色、服饰风格稳定没有明显混入其他角色特征。如果出现“提示词无效”或者生成结果完全不相关优先检查 LoRA 是否加载、权重是否过低。一般 LoRA 权重设置在 0.7 到 0.9 之间具体需要按你的 LoRA 训练效果调整。5.2 多角度一致性测试短剧分镜需要不同景别和角度。测试时固定角色种子或使用 ControlNet 控制动作生成正面、侧面、远景三个分镜。操作思路首先生成一张理想的正脸图保存图片和生成参数。固定随机种子修改提示词中的角度和构图词。观察人脸、头冠、服饰是否保持一致。如果每一张都不一样可以在工作流中加 IPAdapter 或 ControlNet 的角色特征参考节点用首张图约束后续生成。这个环节是整个短剧流程的成败关键建议多花时间调参数。5.3 图生视频测试选一张已经满意的角色立绘接入图生视频节点例如 AnimateDiff 或 SVD。输入参数通用参考frames: 16 fps: 8 motion: medium生成一段角色缓慢转身或衣袖飘动的视频片段。判断标准画面没有明显畸变、角色辨识度仍然存在、动作幅度符合预期。如果画面抖动可以调低 motion 强度如果肢体扭曲缩短视频帧数。这里要特别注意图生视频占用显存明显高于静态图生成。如果显存不足优先降低分辨率或帧数。5.4 TTS 口白配音测试准备一段天迹风格的参考音频建议 5 到 10 秒、无噪音、避免混响。在 TTS 工具中输入短剧台词例如「人间有难吾便归来。」合成后判断音色接近程度、断句是否自然、情绪是否合格。布袋戏口白有半文半白的语言特点多音字和语气词较多试错成本不低。建议先录几段台词测试找到发音最稳的参考音频再批量合成。6. 接口 API 与批量任务短剧分镜通常有几十个手动一张张生成效率太低建议通过 ComfyUI API 批量提交生成任务。6.1 ComfyUI API 调用ComfyUI 本身提供 HTTP API。工作流在画布中选中后点击“Save (API Format)”可以导出 API 格式的 JSON之后用 Python 脚本提交到/prompt接口。import json import requests # 替换为从 ComfyUI 导出的 API 格式工作流 JSON with open(workflow_api.json, r, encodingutf-8) as f: workflow json.load(f) server http://127.0.0.1:8188 payload {prompt: workflow} response requests.post(f{server}/prompt, jsonpayload, timeout120) if response.status_code 200: data response.json() print(prompt_id:, data.get(prompt_id)) else: print(error:, response.text)提交后通过/history/{prompt_id}查询任务状态curl http://127.0.0.1:8188/history/你的任务ID生成完成后通过/view接口下载输出图片具体参数需要结合 ComfyUI 返回结果调整。6.2 批量分镜生成脚本思路批量任务需要提前整理好分镜列表每个分镜包含独立提示词、种子、输出文件名。脚本流程如下import json import time import requests jobs [ { name: shot_01, prompt: masterpiece, tianji, medium shot, looking forward, seed: 1001 }, { name: shot_02, prompt: masterpiece, tianji, profile view, waving sleeve, seed: 1002 } ] server http://127.0.0.1:8188 for job in jobs: # 这里需要把 job 里的字段覆盖到 workflow API JSON 对应节点 workflow[节点ID][inputs][text] job[prompt] workflow[节点ID][inputs][seed] job[seed] response requests.post(f{server}/prompt, json{prompt: workflow}, timeout120) print(job[name], response.status_code) time.sleep(2)批量任务要加失败重试。提交前先检查服务是否在线提交后定期轮询任务状态如果出现超时就重新提交。提示词建议放在独立的 CSV 或 JSON 文件里方便后续修改和审阅。7. 资源占用与性能观察AI 辅助布袋戏短剧制作是典型的显存敏感型工作流。静态立绘生成相对轻量显存占用取决于分辨率、步数和是否开 ControlNet图生视频阶段显存会明显上升建议先用低分辨率、低帧数测试稳定后再加大。观察方式Windows 任务管理器查看 GPU 显存占用。NVIDIA 驱动自带面板可以实时查看 GPU 利用率。ComfyUI 运行日志中会打印执行时间和一些设备信息。影响性能的主要因素分辨率从 512x768 提升到 1024x1536显存占用几乎翻倍。采样步数步数多耗时线性增加。批量大小批量一次生成多张图显存占用叠加。视频帧数图生视频中帧数越多显存越高。参考图数量IPAdapter、ControlNet 多路参考会额外占用显存。降低占用建议6G 显存先跑 512 分辨率、16 帧视频。关掉不使用的后台软件。使用--lowvram参数启动 ComfyUI强制低显存模式。输出目录定期整理避免磁盘写满。python main.py --lowvram --port 8188如果换用在线 AI 视频生成工具本地压力会明显减小但角色一致性会变差需要靠首帧图和提示词约束。8. 常见问题与排查方法问题现象可能原因排查方式解决方案启动后页面打不开端口被占用或服务未启动检查控制台日志和端口占用更换端口重新启动生成图片全黑VAE 缺失或模型不兼容查看日志检查 VAE 节点补放 VAE 文件重新连接节点角色长相每次都不一样LoRA 权重过低或提示词不固定检查 LoRA 节点权重固定种子调整权重加 IPAdapter 参考CUDA error: out of memory显存不足查看任务管理器显存占用降低分辨率降分辨率降帧数开启低显存模式图生视频人物肢体扭曲视频生成模型能力限制缩短视频长度降低动作幅度减少帧数换用动作幅度小的镜头TTS 合成音色不像参考音频不匹配更换更干净的参考音频重新录制参考音频API 提交后没有输出工作流节点路径错误或服务繁忙查看 /history 返回报错修正节点 ID重启 ComfyUI批量任务卡住单个任务内存泄漏或 API 排队查看任务状态检查日志增加轮询和重试逻辑如果遇到依赖安装问题优先使用虚拟环境避免和系统 Python 环境冲突。模型文件缺失时检查对应的models目录是否放对了文件、文件名是否和节点配置一致。9. 最佳实践与使用建议先跑通最小流程再追求效果。第一次测试用一张图 一个口白片段走完整个工作流确认每个工具都能正常协作再扩大分镜数量。模型文件、输入素材、输出结果分目录管理。批量生成时输出文件名最好带上分镜编号、生成参数和生成日期方便后期筛选和复盘。批量任务一定要加日志和失败重试。AI 服务偶尔会超时脚本里设置重试逻辑能少很多麻烦。提示词工程要沉淀模板。布袋戏角色有固定造型关键词把角色特征词稳定放进提示词模板每次生成都复用才能保证一致性。涉及人脸、声音、版权素材时要确认授权状态。布袋戏 IP 的同人创作需要遵守版权方规则配音音色模仿需要授权发布时注明“AI 辅助创作”和“非官方”。不要用这套流程生成虚假内容或误导性内容。接口服务要限制访问范围ComfyUI 默认只监听127.0.0.1这个配置比较安全。如果确实要开放给局域网其他设备使用--listen 0.0.0.0但要确认网络环境可信避免接口被滥用。发布或商用前做效果复核。AI 生成的视频和配音可能会有小瑕疵比如肢体轻微变形、口型对不上、台词断句不自然建议逐镜审核该重新生成的重新生成不要直接发布。10. 总结与下一步这套 AI 辅助布袋戏衍生短剧流程最值得尝试的点是把“角色一致性 LoRA ComfyUI 图生视频 TTS 配音”串成了一条可以实际产出的生产链路。天迹这类高辨识度角色正好适合做一致性压力测试跑通之后换任何原创角色都只是换 LoRA 和提示词模板的问题。最先应该验证的功能是角色 LoRA 的效果和多角度一致性。第二步再测试图生视频的稳定性。搞定了这两个节点短剧素材就稳了一大半。最容易踩的坑是显存不够一上来就开高分辨率结果视频生成直接爆显存。建议从低分辨率、低帧数开始逐步上调直到接近显卡上限。再一个坑是角色一致性翻车解决思路是固定种子、固定提示词模板、加 IPAdapter 参考图不要只依赖文字提示。后续可以继续扩展的方向包括训练更高精度的角色 LoRA、引入 ControlNet 控制分镜动作、批量生成口白并自动对齐视频时间轴、把整套流程封装成可复用工作流文件。如果你已经开始动手跑这套流程建议先把第 5 节的功能测试全部做完再进入批量任务阶段这样后面返工成本会低很多。