把截图读成可操作清单OmniParser 纯视觉屏幕解析上手指南【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParser你想让 AI 替你操作电脑却只能递给它一张截图。屏幕上那么多按钮、输入框和菜单AI 不知道哪个是哪个点错一个后面步步错。OmniParser 是面向 GUI Agent图形界面智能体的纯视觉屏幕解析工具不碰软件内部代码只靠视觉特征把截图里的元素变成带编号的结构化清单交给大模型点按。不读源码只读像素两步把截图变清单 它不挂钩应用代码、不读任何内部接口截图就是唯一输入直接从像素解析。第一步用 YOLOv9-E 区域检测模型把屏幕上所有可交互元素——按钮、下拉框、标签页、小图标——逐个框出来。第二步由图标描述模型Florence-2给每个框写一句大白话描述同时用 OCR光学字符识别标出可见文字的位置。最终输出两样东西带编号框的标注图 “编号: 描述”的清单。这个编号是它最关键的机制大模型说“点击 icon 27”时能精确落到那个框上不用猜。解析管线入口在 util/omniparser.py想抠细节从这里看起。复杂界面不丢件工具栏、弹窗、小图标都进清单 做 GUI Agent 或界面自动化测试的人最头疼的是界面千差万别。OmniParser 覆盖 Windows、macOS、iOS 等系统的界面从 Excel 的密集功能区、浏览器地址栏到聊天应用的侧边栏连工具栏里的小图标也能被框出并配上描述。自动化某个软件时不用再为每个按钮手写定位代码只要元素的视觉特征没变解析结果就基本稳定多窗口、跨界面场景也不会乱。解析出来的清单是纯文本结构可以直接拼进你自己的指令模板跨系统混用同一套流程。换大脑不用换眼睛V2 提速与模型解耦OmniParser V2 比 V1 快约 60%对跨系统、跨应用及应用内图标的识别也更多。更重要的是解耦解析层只负责定位和描述“大脑”可以随便换——OpenAI 的 4o/o1 系列、DeepSeek R1、Qwen、Anthropic 的 computer use 都能直接接入配套的 Windows 11 虚拟机 Gradio 控制面板玩法见 omnitool/ 目录。这意味着迁移成本低底层大模型升级或更换时不用重训解析层换一台新系统做测试也不用动“大脑”。仓库里的 omniparserserver 服务还能用 FastAPI 把解析能力暴露成接口供已有自动化管线直接调用。从克隆到出图四步跑通最小示例克隆仓库git clone https://gitcode.com/GitHub_Trending/omn/OmniParser创建 Python 3.12 环境并安装依赖在 OmniParser 目录下执行conda create -n omni python3.12 conda activate omni pip install -r requirements.txt下载检测与描述模型权重官方 PR 合并后首次运行也会自动拉取huggingface-cli download microsoft/OmniParser-v2.0 --local-dir weights启动网页演示打开终端输出的本地地址上传截图即可得到编号清单python gradio_demo.py用不了的截图与两个顺手方向它是为“界面截图”设计的3D 游戏场景、没有 UI 语义的纯相机或视频画面解析价值很低官方提示也不建议喂入含暴力、有害内容的截图分辨率过低、图标过密的界面可能出现漏框。两个值得试的延伸一是把解析输出的坐标接到你已有的截屏 鼠标点击流程里拼成端到端的自动化链路二是配合 OmniTool 的本地轨迹记录在自己领域里积累真实操作数据攒一套 GUI 操作数据集来训练智能体。回到开头的场景与其让 AI 对着截图猜坐标不如先给它一份编号清单误触和卡住的问题自然少一截。仓库是开源只读的先克隆下来、跑通一张截图看看清单能不能准确产出。今晚就可以试一次——截一张你常用软件的复杂界面走一遍流程框得对你的自动化链路就有了一只靠谱的眼睛。【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParser创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考