10 分钟跑通 OmniParser让 AI 看懂屏幕并动手操作的完整指南【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParser你写过帮我点那个按钮这种提示词吗大模型回你一句已点击然后你盯着屏幕发现什么都没发生。问题出在 AI 根本看不见你的界面。OmniParser 是一个纯视觉的屏幕解析工具它把界面截图拆成带坐标和文字描述的结构化元素任何视觉大模型接上它就能真正操作你的电脑。快速起步OmniParser 安装与模型下载三步就能跑起来拉代码、下模型、起服务。1. 拉取代码建好环境git clone https://gitcode.com/GitHub_Trending/omn/OmniParser cd OmniParser conda create -n omni python3.12 conda activate omni pip install -r requirements.txt装依赖大概要 5 到 10 分钟耐心等一下。2. 下载 OmniParser 模型权重约 1GB视网速 5 分钟起huggingface-cli download microsoft/OmniParser-v2.0 icon_detect_v3/model.pt \ --revision refs/pr/37 --local-dir weights这是 YOLO 检测器的权重负责把界面上的按钮、输入框、菜单项一个个框出来。再下描述模型for f in icon_caption/{config.json,generation_config.json,model.safetensors}; do huggingface-cli download microsoft/OmniParser-v2.0 $f --local-dir weights done mv weights/icon_caption weights/icon_caption_florence3. 启动 OmniParser 服务只试屏幕解析python gradio_demo.py想跑看屏幕 动手操作的完整流程启动 OmniToolpython omnitool/gradio/app.py可以加--server_port 8080换端口。启动后浏览器会打开主界面左边下指令右边实时直播 Windows 虚拟机画面原理拆解OmniParser 如何把截图变成可点击的坐标打个比方它像一个人照着餐厅菜单念菜名。你拍一张菜单照片AI 先把每道菜的菜名找出来再告诉你每道在纸面上的位置。具体分三步框元素YOLO 检测器一种目标检测模型专门圈出物体位置扫一遍截图把按钮、输入框、菜单项全部框出来编号 0 到 159。读文字OCR光学字符识别把图里的字读出来负责把界面上的文字认出来。写描述Florence2 模型微软的图像描述模型给每个框生成语义说明比如搜索按钮、用户名输入框。最后汇总成一份编号列表附上坐标和描述交给大模型。大模型说点 12 号computer.py 就把鼠标键盘指令发到虚拟机。任何视觉大模型接上 OmniParser都能变成会动手的 GUI Agent图形界面智能体实战演练用 OmniTool 自动操作 Excel 填表 任务在 Excel 里新建工作表往 A1 到 C3 填数据设置表格格式。️ 过程AI 识别桌面 Excel 图标双击启动自动新建空白工作簿依次向 A1 到 C3 单元格输入数据添加边框调整格式 结果右边监控视图全程直播每一步左边对话区同步解释 AI 为什么这么做。它点错了也能立刻看出来操作全程透明。按需调优常用配置参数一览表解析不顺手时改这几个参数就行。gradio_demo.py 界面里就有对应的滑动条。配置项作用默认值什么时候改Box Threshold检测框置信度过滤线框不确定的直接扔掉0.05界面出现一堆误检的杂框时调高有用按钮没被框出来时调低IOU Threshold重叠框的合并阈值IOU 是衡量两个框重合程度的指标0.1同一个按钮被反复框好几层时调高Use PaddleOCR切换 OCR 识别引擎PaddleOCR中文识别不准时切换引擎试试Icon Detect Image Size检测模型的输入分辨率640界面元素密集、小图标总漏检时调到 1280代价是变慢typing delay键盘输入的间隔毫秒数位于 computer.py12虚拟机卡顿、输入丢字时调大这些坑别踩现象启动就报模型文件找不到。解法模型没下全。重跑一遍上面的下载命令确认weights目录下有icon_detect_v3和icon_caption_florence两个文件夹。现象检测不准小图标总漏框大按钮却框出一堆。解法把 Box Threshold 从 0.05 提到 0.1 左右试试。先解决误检再回头处理漏检。现象解析一张截图要等好几秒甚至更久。解法Florence2 要逐元素生成描述元素越多的界面越慢。把 Icon Detect Image Size 调回 640 会快不少追求精度再调高。回头看开头那个点按钮的尴尬场景。AI 不是不想点是压根不知道按钮在哪。OmniParser 替它把屏幕变成一份带坐标的菜单大模型对着编号列表选目标就行。这就是纯视觉 GUI Agent 能落地的核心。现在打开终端跑一遍gradio_demo.py传张截图试试。更多细节看 README.md。【免费下载链接】OmniParserA simple screen parsing tool towards pure vision based GUI agent项目地址: https://gitcode.com/GitHub_Trending/omn/OmniParser创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考