人工智能计算机视觉媒体生成深度学习【免费下载链接】style2paintssketch style paints :art: (TOG2018/SIGGRAPH2018ASIA)项目地址https://gitcode.com/gh_mirrors/st/style2paints点击查看免费下载本文以开源仓库 V3/README.md 为主线系统讲解 Style2Paints V3又名 PaintsTransfer-Euclid的交互式线稿上色方法论如何用几何颜色锚点Color Anchor与精确点Accurate Point向 AI 传达上色意图、如何利用可控阴影、皮肤引擎、轮廓强调器与参考图完成专业级创作并结合仓库中的 服务端推理实现 与 浏览器端交互脚本 还原底层原理。读完本文你将掌握 V3 的完整创作工作流、六网络推理管线、命令行批量上色方式以及部署所需的全部依赖与模型清单。V3 是什么一场关于交互性、可能性与创造力的实验Style2Paints V3 是 Style2Paints 系列在 2018 年发布的第三代版本官方代号PaintsTransfer-EuclidEuclid 即其新名称。与上传即出图的端到端模型不同V3 的核心卖点是交互性AI 可以按照用户的指令为线稿上色也可以根据指定的配色风格作画还能自主创造配色风格并支持插画风格迁移。README 用四句话概括其能力AI 能依照你的指令在草图上作画AI 能依照给定的具体配色风格在草图上作画AI 能自主创造配色风格在草图上作画AI 能迁移插画的风格。整个项目聚焦于交互性、可能性与创造力这意味着用户不是被动的观看者而是通过画笔、色点与滑块全程参与创作。对非画师用户V3 的目标是让你也能做到对画师用户则是做得更快。这一理念贯穿 README 全部内容也体现在 V3/client/assets/script/controller.js 的交互设计中鼠标按下、拖动、撤销、取色等逻辑全部在浏览器端完成。核心交互工具几何颜色锚点与精确点V3 的创作体系建立在一对互补的工具之上README 给出的最佳实践顺序是先布 Color Anchor 确定全局氛围再用 Accurate Point 锁定具体颜色。几何颜色锚点Color AnchorColor Anchor 用于控制整幅画作的全局色调README 强调在大多数情况下投放颜色锚点应该是你的第一步。 它通过画面上若干带圆环的锚点向神经网络传递我希望整体呈现什么色彩氛围的信号。从源码看Color Anchor 在客户端的数据结构是六元组[x, y, r, g, b, type]其中type0即锚点类型。CreativeCanvas.js 的绘制逻辑显示锚点带有十字、圆形外环与连线锚点之间用渐变色连线连接视觉上形成一张色彩网格连线意味着线稿上这些位置的颜色在最终结果中可能发生融合。服务端收到后锚点经 tricks.py 的opreate_normal_hint展开为局部色块type0时以长度 1 的半径写入 hint 图。精确点Accurate PointAccurate Point 用于锁定局部、细小、次要区域的具体颜色客户端type1的十字标记见 CreativeCanvas.js。README 建议完成锚点后切换到精确点工具通过精确点把你真正想要的颜色告诉网络。六条必须遵守的最佳实践README 为艺术家和非艺术家各提供了一组关键要点这里完整列出锚点连线意味着连线上的颜色在最终结果中可能被融合每个锚点都有范围圆环圆环内的区域可能受到影响Color Anchor 不直接决定最终颜色它只影响结果的配色风格。因此不要只使用 Color AnchorAccurate Point 只影响细节、微小、次要的颜色区域因此不要只使用 Accurate Point多数情况下可以在锚点周围放置同色的精确点进阶用法则是用不同颜色的精确点环绕锚点不要把所有锚点都设置成同一种颜色。例如与其放 8 个蓝色锚点不如放 3 个蓝、2 个黑、2 个白、1 个绿否则结果配色会丑陋且失衡。第 3 条在 README 的实战章节中得到了最直观的印证在 Minami 示例中作者在翅膀上放了两个粉色锚点、在鞋子上放了一个锚点但最终结果里这些物体依然是白色的——锚点只是建议神经网络创造一种色彩氛围真正的确认必须交给精确点。给色盲用户的推荐调色列表针对我不会配色的普遍疑问README 提供了一张最佳实践配色列表display4 图并指出虽然画布上可能有很多点但大部分点都是同一种颜色——你只需要选一种颜色然后反复点击即可这不需要任何美术知识。参考图与 stylizing rate 滑块V3 仍然支持上传参考图Reference Image但 README 特别强调上传参考图后你必须拖动 stylizing rate 滑块才有明显效果。滑块对应的正是客户端alpha参数controller.js 中on_slider把滑块进度写入current_referenceAlpha并在请求结果时随options.alpha一并提交见 controller.js。在服务端alpha的语义由 server.py 决定当存在参考图时alpha (1 - alpha)参考图本身会先经过s_enhance做饱和度增强见 tricks.py再与合成结果一起输入go_head/go_neck。也就是说滑块控制的是参考图风格与自动合成结果之间的插值权重ipa见 ai.py。README 同时给出忠告不建议以参考图为主进行创作因为合适的参考图很难找但它也附赠了一批精选参考图资源供用户直接取用。仓库 V3/server/game/samples 下的真实样例配置如 options.sample.json展示了hasReference:false、alpha:0的典型设置以及大量type2的细节点位。三大进阶能力阴影、皮肤与轮廓可控阴影Controlable Shading阴影是插画上色中最考验控制力的环节。V3 的工作流是先完成一次常规的 PaintsTransfer 上色然后为阴影选区颜色再通过四个步骤投放阴影提示点得到带阴影的结果。README 展示了将裙摆改为黑色后用类似方法得到高光阴影highlight shading的案例。其底层依赖type2的精准笔点super accurate pencil即 CreativeCanvas.js 中带渐变混合的圆点半径 24 像素、按距离衰减混合进 latent 图配合go_head/go_neck两级渲染完成。皮肤引擎New Skin EngineREADME 用一个脸部大面积暴露的线稿对比了 PaintsChainer 与 V3 的结果指出皮肤渲染对 AI 非常困难而 V3 专门开发了Skin Engine解决肤色渲染问题并给出了多张皮肤渲染样例与一组肤色参考色板。作者还强调必须首先理解什么是肤色即先选对肤色基准色然后多尝试几种肤色方案——不要偷懒。README 提供了一张阿亚Ayase线稿作为练习素材。轮廓强调器Outline Emphasizer当用户希望强调线条以获得更自然的绘画效果时可以启用独立的Outline Emphasizer。客户端通过line_enabled开关与lineColor颜色控制见 controller.js服务端则在合成阶段对线稿做轮廓增强emph_line(composition, sketch, lineColor)按线稿明度在结果颜色与自定义线条颜色之间插值见 tricks.py从而实现线条变深/变色的效果。实战演练给 Minami 上色的完整流程README 给出了一个可复现的逐步练习以一张 Minami 线稿为例上传线稿点击右箭头获得自动上色结果布置 7 个 Color Anchor 调整整体色调注意此时锚点不直接决定最终颜色只是营造氛围用精确点确认关键颜色在翅膀上加粉色精确点AI 由此知道你需要一块粉色色块在头发上加灰色点、背景加白色点在裙子上加白色点——README 特别强调如果你不加这些点AI 就不知道你需要白色裙子。你必须用这些点告诉 AI 你是对的否则 AI 会困惑、犹豫不敢使用这些颜色确认鞋与腿的颜色再为皮肤上色做最后的装饰性调整得到成品。README 的总结是这个画布看上去很复杂但只要按步骤执行就非常简单。其核心思想是**锚点定氛围、精确点做确认**的两次交互机制——这一机制在服务端也有对应go_baby128px 快速打底→go_gird256px 构图合成→go_head/go_neck1024px 精细渲染三级流水线见 server.py每级都融合了不同尺度的 hint。Repaint Mode重着色模式与 rerendering 技巧注意README 声明该功能当前不稳定。重着色模式上传一张成品画作并切换到重着色模式软件会先从中提取线稿再根据你的提示在新线稿上重新作画。README 以作者的作品《Deep Violet Fantasy》为例展示了完整创作过程。rerendering 技巧当线稿本身不是纯线条、或是黑白插画时可使用 rendering 模式。服务端会通过cal_std计算颜色标准差当std 100.0且方法为rendering时判定输入是画作而非线稿自动走go_passline提取线条见 server.py 与 tricks.py。获取纯净线稿对于不含线条的草图可用重着色模式选项提取出纯净线稿。此外 README 还提到可创建特殊纹理该功能同样标注为当前不稳定以及**极密提示点Extreme Hint Density Holder**能力即使画布上布满用户提示点V3 引擎也能承载而不产生混乱或模糊——无论你放多少提示点结果都不会因此变糊是 PaintsTransfer 的主要优势之一。永远不要放弃你的画README 给出一个非常实用的经验法则超过 70% 的坏画作都有潜力变成好作品只需要你额外花 5 分钟补充提示点。很多看起来杂乱、构图失衡的中间结果经过一轮补充提示后都能显著改善。操作上也无需担心复杂度大多数点都是同色重复点击完全不需要艺术知识。懒人用户的调色板预测注意README 声明该功能当前不稳定。针对不想输入任何指令的懒人用户V3 更新了核心模型使得在完全没有用户提示或仅有少量细节提示时结果依然合理。README 展示了多张零提示/少量提示下的成品图这依赖girder.net的构图合成与baby.net的全局调色板预测能力见下文模型管线。我们的 AI 喜欢什么、不喜欢什么README 坦言AI 有自己的喜好当它喜欢你的线稿时结果会很好如果它不喜欢建议改用其他工具。文章以一张对比图列出该避免的线稿类型。同时V3 的模型为线稿sketch设计而非漫画manga——作者明确表示近期不会投入漫画上色方向因为合作伙伴 PaintsChainer 正在做并鼓励对此感兴趣的读者自行研究。最后README 抛出了两个开放挑战如何对特定线稿训练出更好的上色模型以及如何实现如图像到图像翻译类的方法。服务端部署与命令行上色环境与依赖README 给出的部署前提是Python 3.5/3.6 CUDA GPU 环境依赖安装命令如下pip install tensorflow_gpu pip install keras pip install bottle pip install gevent pip install h5py pip install paste pip install opencv-python pip install scikit-image无 GPU 时可安装 CPU 版pip install tensorflow但速度会慢很多。随后克隆仓库、下载全部模型放入server文件夹模型为作者私有通过 Google Drive 分发进入V3/server目录启动cd V3/server python server.py服务端基于 bottle 实现见 server.py默认multiple_processTrue时监听0.0.0.0:80否则监听8000端口可修改 config.py。核心路由包括POST /upload_sketch上传线稿并预处理见 server.pyPOST /request_result提交 hint 点与参数并返回结果见 server.pyGET /get_sample_list/POST /save_as_sample获取样例列表、把当前作品保存为样例静态文件路由直接托管game/目录下的 Cocos2d 前端页面。服务端在后台线程server_loop中循环消费线稿上传池与绘画请求池见 server.py实现异步排队处理。命令行批量上色无需浏览器也可以直接命令行上色见 cmdline.py 的用法说明python cmdline.py infile.jpg colorized.jpg完整语法支持指定模式与提示点python cmdline.py infile.jpg outputfile [colorization|rendering|recolorization] [x y color x y color ...]示例两个归一化坐标点颜色为十六进制 RGBpython cmdline.py sketch.jpg colorized.jpg colorization 0.5 0.25 77ee00 0.5 0.75 0011cc脚本启动时会先校验 6 个模型文件是否存在见 cmdline.py缺失则提示先下载模型随后解析坐标点x、y为归一化坐标color按RRGGBB十六进制解析见 cmdline.py依次执行上传、预处理与推理并复制结果文件。六网络推理管线baby、girder、reader、head、neck、tailV3 的 AI 由6 个神经网络协作完成全部加载于 ai.pysession.run初始化见 ai.py网络文件角色baby.netai.py128px 快速打底融合线稿与 hint 后输出基础色稿girder.netai.py256px 构图合成将打底色稿放大并与线稿/提示合成reader.netai.py特征提取为 head/neck 提供多尺度风格特征head.netai.py1024px 精细渲染colorization 主渲染neck.netai.py1024px 渲染rendering 模式使用并做线稿回填tail.netai.py后处理精修REF 边缘填充 去噪超分推理链路在 server.py 中可见全貌线稿先多尺度降采样1024→256→128见 tricks.py 的k_resizego_baby产出 128px 打底稿并做去线/模糊de_line、blur_line、clip_15go_gird放大合成构图可选emph_line轮廓强调最后go_head/go_neck在 1024px 上结合全局 hint构图下采样 14 倍与局部 hint精确点展开精细渲染go_tail收尾。值得注意的细节hint 分为全局与局部两级global_hint来自构图的下采样14px 小图local_hint由用户精确点展开生成二者输入到go_head/go_neck颜色空间baby在 YUV 空间工作RGB2YUV/YUV2RGB见 ai.pyreader使用 VGG 预训练均值归一化见 ai.py设备配置device_A/device_B均默认/gpu:0config.py可拆分到不同 GPU。训练数据与论文README 明确V3 不使用额外的训练数据并推荐以下公开数据集插画数据集推荐 [nico-opendata] 的 40 万张图片与 Danbooru2017线稿数据推荐 sketchKeras 项目的线稿提取结果。V3 对应的学术论文是《Two-stage Sketch Colorization》ACM Transactions on Graphics, TOG 2018论文 PDF 已收录于仓库 papers/sa.pdf引用信息见 V3/README.md 末尾的 BibTeX。该工作属于 Style2Paints 系列公开出版物的一部分V1 为 ACPR 2017V5 为 CVPR 2021。快速索引仓库源码参考交互式上色方法总览V3/README.md六网络推理实现V3/server/ai.pyHTTP 服务与流水线调度V3/server/server.py命令行批量上色V3/server/cmdline.py图像预处理与 hint 构造工具集V3/server/tricks.py服务端配置设备/端口V3/server/config.py浏览器端交互与参数提交V3/client/assets/script/controller.js三种提示工具的绘制与数据结构V3/client/assets/script/CreativeCanvas.js真实样例配置含 27 个提示点示例V3/server/game/samples/Apr19H21M56S11R508/options.sample.jsonV3 论文 PDFpapers/sa.pdfStyle2Paints V3 的价值不仅在于AI 能上色更在于它把上色过程拆解为锚点定氛围、精确点做确认、滑块控风格、开关调轮廓的可控交互让 AI 成为创作者的协作画笔而非黑箱。理解其双工具交互哲学与六网络推理管线你既能在实际创作中获得稳定可控的结果也能为阅读后续版本V4 分层输出、V5 flat filling打下基础。赞分享人工智能计算机视觉媒体生成深度学习【免费下载链接】style2paintssketch style paints :art: (TOG2018/SIGGRAPH2018ASIA)项目地址https://gitcode.com/gh_mirrors/st/style2paints点击查看免费下载相关推荐Style2Paints完全指南AI驱动的动漫线稿上色革命Style2Paints完全指南AI驱动的动漫线稿上色革命 Style2Paints是一款革命性的AI驱动线稿上色工具专为动漫和插画艺术家设计。这个开源项目人工智能计算机视觉媒体生成深度学习如何用Style2Paints与Houdini打造惊艳特效线稿AI上色与渲染完整指南如何用Style2Paints与Houdini打造惊艳特效线稿AI上色与渲染完整指南 Style2Paints是一款强大的开源AI上色工具能够将线稿自动转换人工智能计算机视觉媒体生成深度学习上一篇一条命令救回截断的MP4视频untrunc修复指南下一篇FeHelper把 JSON 格式化与接口调试装进浏览器的免费前端工具箱创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考