新闻详情

新闻详情

首页 / 资讯中心 / 详情

UI-TARS 坐标定位实战:3步完成部署并精准点击

发布时间:2026/9/15 12:15:49来源:尧图网络
UI-TARS 坐标定位实战:3步完成部署并精准点击
UI-TARS 坐标定位实战3步完成部署并精准点击【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是字节跳动开源的 GUI 交互智能体给它一张截图和一句指令它会输出 Thought 与含点击坐标的 Action。本文面向第一次用它做桌面自动化的开发者把 UI-TARS 坐标定位的完整流程走一遍。️ 项目速览UI-TARS 能做什么UI-TARS 分两层大模型UI-TARS-1.5 系列负责看懂界面、决定动作ui-tars后处理库负责把模型输出翻译成可执行代码。本仓库侧重后者包含坐标解析、智能缩放与提示词模板模型本身通过 Hugging Face 调用。擅长解析 Thought/Action 输出、绝对/相对坐标转换、生成 pyautogui 脚本、覆盖桌面与移动端动作空间不做不直接控制鼠标pyautogui 脚本要你自己跑、不含大模型本地推理 动手前准备环境与硬件清单下面所有步骤一台能跑 Python 的机器加一个可调用模型的 GPU 就够了。Python ≥ 3.10版本要求见 codes/pyproject.toml后处理库pip install ui-tars零外部依赖执行层pip install pyautogui模型服务1 张 GPU7B 模型建议 L4 / A100 / L40S 48G 级别经 Hugging Face Inference Endpoints 部署可视化可选pip install pillow matplotlib仓库代码查看示例数据与测试git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS 核心原理一句话坐标为什么要换算回来模型输出 (177,549)为什么在你 1920×1080 的屏幕上能点对按钮因为模型只看到一张缩略预览图。截图进入模型前smart_resize会先把它缩放以 28×28 块为最小单位总像素限制在 100×28×28 到 16384×28×28 之间保持宽高比。模型输出的坐标是缩放后的坐标系必须换算回原始分辨率才是真实点击位置——漏掉或做错这一步是差几十像素的主因。两种坐标系要分清Qwen2.5VL 系模型输出绝对坐标解析时内部除以 smart_resize 结果Qwen2VL 系输出相对坐标除以 factor通常取 1000。 步骤一部署模型拿到第一个 Thought Action目标服务上线模型对真实截图给出一次动作输出。操作在 Hugging Face Inference Endpoints 导入 UI-TARS-1.5 7B重点配三处GPU48G 显存档L40S / A100 / L4容器最大输入 65536、最大输出 65537环境变量CUDA_GRAPHS0避免部署失败、PAYLOAD_LIMIT8000000防止大截图请求失败然后用 OpenAI SDK 调用温度固定 0# 请求已部署的端点messages 里放指令和 base64 截图 completion client.chat.completions.create( modeltgi, messagesmessages, temperature0.0, max_tokens400, )预期结果输出形如Thought: 我需要先打开设置... Action: click(start_box(177,549))注意 (177,549) 是缩略图坐标系不是真实像素位置。 步骤二把模型坐标换算成屏幕位置目标把原始文本变成带归一化坐标的结构化动作。操作关键是传入你发给模型的那张截图的实际尺寸不是缩放后的尺寸from ui_tars.action_parser import parse_action_to_structure_output actions parse_action_to_structure_output( response, # 模型原始输出文本 factor1000, # 相对坐标的分母 origin_resized_height1080, # 截图实际高度 origin_resized_width1920, # 截图实际宽度 model_typeqwen25vl # 按底座模型选 )预期结果actions[0][action_type]为clickaction_inputs[start_box]变成 0~1 之间的归一化坐标串。 步骤三生成 pyautogui 脚本并画点验证目标让点击真的落在目标上且执行前肉眼确认过精度。操作把结构化动作转成可执行代码from ui_tars.action_parser import parsing_response_to_pyautogui_code code parsing_response_to_pyautogui_code( actions, image_height1080, image_width1920) print(code) # 生成 pyautogui.click(x, y)先别急着执行在截图上画个红点验证仓库自带完整示例import matplotlib.pyplot as plt from PIL import Image img Image.open(screenshot.png) plt.imshow(img) plt.scatter([x], [y], cred, s50) # x, y 为换算后的坐标 plt.show()预期结果红点精确落在目标元素上如上图落在系统资源再运行生成的代码执行点击。 进阶调优3个让定位更准的细节定位对了但不稳多半是这几个参数的问题。model_type 与底座模型严格对齐。qwen25vl 走绝对坐标、内部除以 smart_resize 结果qwen2vl 除以 factor混用会坐标系整个错乱。验证跑一遍 codes/tests/action_parser_test.py再看生成的 pyautogui 坐标是否落在屏幕分辨率内。传原始截图尺寸。origin_resized_height/width 是换算基准传成缩放后尺寸或别的屏幕尺寸必然偏移。验证红点叠加偏差超过 10 像素就是参数错了。提示词模板按环境选。codes/ui_tars/prompt.py 里有三套COMPUTER_USE桌面支持 drag、hotkey、scroll、MOBILE_USE移动端含 long_press、open_app、press_back、GROUNDING只输出 Action适合纯定位评测。选错会让动作空间缺失模型输出未定义的动作。验证核对模型输出的 Action 是否在该模板的动作空间内。⚠️ 踩坑速查坐标定位的 5 个高频报错现象原因解法点击位置系统性偏移model_type 选错qwen25vl 当成 qwen2vl 解析或反之对齐解析函数的 model_type 参数重画红点验证报Action cant parsetype(content...) 里的单引号没转义让模型用 \ 转义或走 codes/ui_tars/action_parser.py 的 escape_single_quotes 逻辑大图请求直接失败缺 PAYLOAD_LIMIT8000000按 README_deploy.md 补环境变量部署失败TGI 的 CUDA graph 问题加环境变量 CUDA_GRAPHS0同一屏幕坐标整体漂移系统显示缩放125%/150%导致截图像素 ≠ 物理像素检查系统缩放设置保持截图与点击环境一致坐标定位决定动与动得准。上线前先画红点验证一次完整部署参数见 README_deploy.md。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

DS1302日历时钟Proteus仿真与51单片机驱动实现 2026/9/15 13:09:57

DS1302日历时钟Proteus仿真与51单片机驱动实现

简介:这款基于DS1302的日历时钟单片机仿真工程,面向单片机入门与进阶学习者、课程设计及电子竞赛学生,解决日历时钟设计中的硬件连接、软件驱动与Proteus仿真验证问题。压缩包共5个文件,容量仅42KB,包含Proteus仿真原理…

阅读更多 →
基于PNN的变压器DGA故障诊断:原理、实现与工程实践 2026/9/15 13:09:57

基于PNN的变压器DGA故障诊断:原理、实现与工程实践

简介:面向电力系统变压器故障诊断方向的研究人员与学习者,这是一份基于概率神经网络的变压器故障诊断源码包,用于解决变压器运行中故障特征识别与分类问题。包内总共包含两个文件,一个是主程序脚本,另一个是配套的数据…

阅读更多 →
Gamma-Gamma模型详解:Python模拟与极大似然拟合实现CLV金额预测 2026/9/15 13:09:57

Gamma-Gamma模型详解:Python模拟与极大似然拟合实现CLV金额预测

如果说BG/NBD和Pareto/NBD解决的是“用户接下来还会买几次”的问题,那Gamma-Gamma模型就是在回答同一个CLV拼图里的另一半——“用户每一笔平均会花多少钱”。之前我们在系列前两篇里拆解过RFM的结构,也聊过如何用BG/NBD把交易频率单独建模,很…

阅读更多 →
GitHub Actions 流水线完全指南:从 CI/CD 全流程设计到可复用工作流实战 2026/9/15 13:09:57

GitHub Actions 流水线完全指南:从 CI/CD 全流程设计到可复用工作流实战

GitHub Actions 流水线完全指南:从 CI/CD 全流程设计到可复用工作流实战 【免费下载链接】claude-skills 67 Specialized Skills for Full-Stack Developers. Transform Claude Code into your expert pair programmer. 项目地址: https://gitcode.com/GitHub_Tre…

阅读更多 →
WorkBuddy:企业级工作语义基建与多模态工作图谱实践 2026/9/15 13:09:57

WorkBuddy:企业级工作语义基建与多模态工作图谱实践

1. 项目概述:WorkBuddy 不是“AI 工具”,而是你办公桌上的「数字同事」我第一次在腾讯内部技术分享会上听到 WorkBuddy 这个名字时,台下三十多个研发、产品、运营同事没人笑——不是因为敬畏,而是因为所有人都立刻明白了它意味着什…

阅读更多 →
用Docker构建CentOS基础镜像:从rootfs到Dockerfile的完整实践 2026/9/15 13:06:56

用Docker构建CentOS基础镜像:从rootfs到Dockerfile的完整实践

1. 项目概述与需求拆解1.1 核心需求解析在手把手开始之前,先把这个项目的本质说透。所谓"用 Docker 构建自己的 CentOS 基础镜像",很多人一听就懵:Docker Hub 上官方 centos 镜像不是一拉就有的吗?为什么还要自己构建&a…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞