StoryDiffusion 快速上手角色前后一致的多格漫画生成【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusionStoryDiffusion 是一个基于 Consistent Self-Attention一致性自注意力的长序列图像生成开源项目论文被 NeurIPS 2024 收录为 Spotlight 展示论文。它解决的是 AI 图像生成里一个常见痛点逐张生成的图像之间角色长相、服装经常对不上。用它输入几行场景描述就能得到一整套人物形象保持一致的多格图像并自动拼成带配文的漫画版式。项目基于 SD1.5 / SDXL 扩散模型实现可以完全在本地运行。上图是项目自带的一个生成示例同一角色在多个场景中出现最终被排成漫画版式每格下方带有说明文字。如何在本地跑起 StoryDiffusion安装流程很短官方文档见 README.md主要三步克隆仓库并安装依赖git clone https://gitcode.com/GitHub_Trending/st/StoryDiffusion pip install -r requirements.txt环境要求 Python 3.8 以上、PyTorch 2.0 以上建议用 conda 单独建一个环境启动官方推荐的低显存版 Gradio 界面python gradio_app_sdxl_specific_id_low_vram.py浏览器打开本地地址即可使用。如果习惯 Notebook 形式也可以直接运行 Comic_Generation.ipynb。提示词怎么写一行对应一帧界面里主要填三类内容角色描述外观和服装例如 a man, wearing black jacket场景描述每一行就是一帧画面例如 wake up in the bed、have breakfast、is on the road, go to company风格模板内置多种风格默认 Japanese Anime完整列表在 utils/style_template.py。一致性自注意力模块至少需要 3 行提示词才能生效官方建议写5-6 行这样排版和叙事节奏更好。开头的几行用于定住角色形象后面的帧会继承这套形象。如果某一帧不想要人物出现比如纯环境特写在该行开头加[NC]即可。用参考图锁定角色除了纯文字界面还提供 Using Ref Images 模式上传一到两张角色参考照片由 PhotoMaker 模块按参考图生成一致角色。这个模式有一个容易漏掉的细节角色描述里要在类别词后面加触发词img比如写成man img、woman img、girl img缺了它界面会直接报错。仓库附带了几组示例人物图片可以照抄着试examples/taylor/、examples/Robert/、examples/twoperson/双人示例、examples/lecun/。界面内还内置了几个可点击的完整示例适合第一次运行。版式、配文与细节选项Typesetting Style 提供三种排版默认不排版、四格、经典漫画风格。选择排版样式后可以在某行提示词末尾加##之后的内容会单独作为该格配文之前的部分仍用作生图提示词。生成结果会自动保存到 results 目录。需要精细调节时超参数面板暴露了两级自注意力强度sa32、sa64、采样步数、分辨率256-1024和引导系数等选项。先用默认值跑通再按效果微调即可。硬件要求与需要注意的地方显存低显存版本在 24GB 显存Tesla A10 30GB 内存的机器上测试通过官方预期 20GB 以上显存可正常工作视频生成暂未放出项目包含面向图生视频的运动预测模块但视频模型源码与权重仍在 TODO 列表中当前版本只做图像生成许可证代码采用 Attribution-NonCommercial 4.0 International生成内容采用 Apache-2.0商用场景请留意。下一步如果你的机器显存达标直接克隆后启动低显存版本先点一个内置示例跑通再换成自己的提示词。想深入了解一致性注意力的实现可以看 utils/ 目录最新变动记录见 update.md。【免费下载链接】StoryDiffusionAccepted as [NeurIPS 2024] Spotlight Presentation Paper项目地址: https://gitcode.com/GitHub_Trending/st/StoryDiffusion创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考