Omost快速上手用LLM生成图像的完整指南【免费下载链接】OmostYour image is almost there!项目地址: https://gitcode.com/GitHub_Trending/om/Omost当你想让AI画一张图常规做法是把一长串提示词塞给它结果常常是战士在右、龙在左位置全错、元素串味。Omost换了条路让大模型写一段Python代码来描述画面构成代码一运行图就画出来了。这个项目做的事就是把LLM的编码能力转成图像生成更准确地说是图像合成能力。Omost是什么给图像生成交代一张分层图纸传统文生图是一句话进一张图出提示词是一整段文字模型只能凭感觉安排元素元素一多就容易失控。Omost在提示词和图片之间塞了一张图纸它提供三个基于Llama3和Phi3微调的LLM负责把画面拆解清楚——整体氛围是什么、有哪些元素、每个元素放哪儿扩散模型只负责照着图纸执行绘制。它适合两类人有8GB显存NVIDIA显卡、想自己部署的人以及不想反复抠提示词希望用对话方式改图比如把龙换成恐龙的人。Canvas图像合成原理一张会分层的虚拟画布Canvas是Omost的核心数据结构实现在lib_omost/canvas.py。你可以把它理解成一块可分层操作的数字画布LLM完全不碰像素只负责写清楚什么东西、放在哪里渲染器再把它变成真正的图片。全局描述打底局部元素逐块摆放Canvas代码只有两类调用set_global_description写整幅画的主题、氛围和标签相当于PPT里的背景和基调。add_local_description把某个元素贴上画布各自带描述、位置、面积和与观者的距离。一个容易忽略的细节每条描述都被设计成严格小于75个token、可独立成立的子提示。这样无论怎么组合编码语义都不会被截断。位置不报坐标用人话官方试过让LLM直接输出像素坐标但开源模型对数值不稳定经常给出随机数。最后改用自然语言组合9宫格位置 × 81个偏移位 × 9种面积共729种边界框覆盖面足够且训练收敛稳定。distance_to_viewer字段则用来给元素排前后景渲染时由远及近逐层画。Omost工作流程从一句话到一张图⚙️ 完整流程分四个阶段输入用户在Gradio聊天页输入提示词入口是gradio_app.py。生成代码LLM输出Canvas调用代码先设全局描述再逐个放置局部元素。条件转换lib_omost/pipeline.py中的StableDiffusionXLOmostPipeline通过all_conds_from_canvas方法把Canvas内容转成扩散模型可用的正负条件。渲染出图基于注意力操作的渲染器产出图像之后还能继续对话编辑每次修改都会重新生成一份代码。Omost快速上手本地部署三步 本地部署需要8GB显存的NVIDIA显卡README建议python 3.10 CUDA 12.1环境git clone https://gitcode.com/GitHub_Trending/om/Omost cd Omost pip install -r requirements.txt python gradio_app.py四行各自含义很直白拉取源码、进入目录、安装diffusers/transformers等依赖、启动Web页面。浏览器打开后输入描述、得到代码、点渲染即可。Omost特点与局限基线渲染器的取舍⚖️ 客观说几点渲染器采用无参数的注意力分数操作基线公式。好处是几乎不引入风格偏移或画质下降定位上仍是基线实现。提供llama-3-8b、dolphin-2.9-llama3-8b、phi-3-mini-128k三个底模及量化版其中llama的4bit版体验最好8GB显存即可跑。上下文约8k对话式编辑大概支持5~6轮快用完时改写原消息再重发即可。量化推理依赖bitsandbytes部分9/10/20系显卡可能有问题此时建议用官方在线演示。后续方向团队表示可能为Omost训练参数化渲染方法进一步提升质量与效率。小结Omost把图像生成拆成了先出图纸、再执行绘制两步让生成过程变得可读、可改。如果你希望画面构成由代码显式控制并且愿意自己部署模型这个项目值得放进待办清单。【免费下载链接】OmostYour image is almost there!项目地址: https://gitcode.com/GitHub_Trending/om/Omost创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考