手把手上手 UI-TARS 桌面应用用自然语言操控电脑5 分钟跑起来【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop读完这篇文章你就能在自己电脑上装好 UI-TARS 桌面应用配置好视觉语言模型然后用一句打开设置并检查网络这样的中文指令让 AI 像人一样替你点鼠标、敲键盘。它基于视觉语言模型看懂屏幕、识别界面元素是开源的多模态 AI Agent 栈里专为桌面 GUI 自动化打造的那一块。下面按先懂结构 → 再跑起来 → 再拆功能的顺序带你过一遍。全局地图它是什么、怎么干活UI-TARS 桌面应用本体在 apps/ui-tars/是一个 Electron 应用界面负责对话和设置后台的 Agent 循环负责真正干活。它的工作方式可以记成一个四步循环截图抓取当前屏幕画面思考把最近几张截图 你的指令发给视觉语言模型VLM模型返回下一步动作比如点击 (27, 496)执行本地的操作器Operator模拟鼠标键盘完成动作再截图回到第 1 步直到任务完成或到达最大步数围绕这个核心仓库还拆出几个可复用的模块packages/ui-tars/sdk/提供跨平台的 GUIAgent 框架packages/ui-tars/operators/里是本地电脑、浏览器、ADB、Browserbase 等操作器实现packages/ui-tars/action-parser/负责解析模型输出的动作格式。桌面应用只是把这套栈打包成了开箱即用的 GUI。模型服务不是应用内置的你需要准备一个兼容 OpenAI 协议的 VLM 接口比如 Hugging Face 或火山引擎上的 UI-TARS-1.5 模型在设置页填上地址和 Key 即可。5 分钟跑起来最短路径是直接从 Releases 下载对应平台的安装包macOS 也可以用brew install --cask ui-tars。如果想从源码构建环境要求很简单Node.js 20项目要求node 20.xpnpm 9.x想跑浏览器操作的话装好 Chrome / Edge / Firefox 之一注意目前仅支持单显示器多屏可能导致部分任务失败源码构建命令如下git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop cd UI-TARS-desktop pnpm install # 日常开发调试 pnpm --filter ui-tars-desktop dev # 或者打正式安装包 pnpm --filter ui-tars-desktop builddev会以开发模式拉起应用build会走完类型检查并打出可分发的安装包。macOS 用户装完后有两步必做在系统设置 → 隐私与安全性里打开辅助功能用来模拟键鼠和屏幕录制用来截图识别权限不然后面所有任务都会失败。核心能力拆解1. 自然语言驱动的任务执行 ️这是它的核心价值你不用写脚本、不用记坐标输入指令就开始执行。点击界面上的开始新对话按钮输入例如帮我打开 VS Code 设置把自动保存延迟调到 500 毫秒应用会实时展示每一步的截图和模型决策执行中也可以随时接管或终止。2. 视觉语言模型配置决定眼睛有多好设置页这个界面是配置中心VLM 相关有四个必填项Provider、Base URL、API Key、Model Name。两个最常被坑的细节Base URL 必须以/v1/结尾Hugging Face 托管时它必须是 OpenAI 兼容端点Provider 必须和你实际部署的模型匹配比如 Hugging Face 上跑的 1.5 模型就选 Hugging Face for UI-TARS-1.5选错会导致动作解析失败配置完可以点 Check Model Availability 先验证连通性再开任务。3. 循环参数控制手速和耐心Chat 设置里有两个真正影响体验的参数Max Loop单轮任务最大步数范围 25~200默认 100。任务复杂就调大任务简单调小能省 tokenLoop Wait Time每步截图前等待的毫秒数默认 1000。如果动作后页面需要时间加载比如提交表单后跳转调大它能让截图抓到最终状态4. 预设Preset团队配置一键同步预设就是一个 YAML 设置文件支持从本地文件导入或从 URL 导入URL 方式支持每次启动自动同步适合团队统一配置。一个最小示例name: UI TARS Desktop Example Preset language: en vlmProvider: Hugging Face for UI-TARS-1.5 vlmBaseUrl: https://your-endpoint.huggingface.cloud/v1 vlmApiKey: your_api_key vlmModelName: your_model_name更多可照抄的样例见 examples/presets/default.yaml规则说明在 docs/preset.md。5. 执行报告过程可回看、可分享每轮任务结束后每一步的截图、指令、模型输出都会汇成一份 HTML 报告点导出为 HTML即可下载方便复盘失败步骤或分享给同事。如果你的团队有报告存储服务器也可以在设置里填上地址导出时直接上传拿到链接接口规范见 docs/setting.md。进阶玩法把 Agent 装进自己的代码桌面应用底层用的 SDK 也开源了几行代码就能在你的 Node.js 项目里跑一个 GUI Agentimport { GUIAgent } from ui-tars/sdk; import { NutJSOperator } from ui-tars/operator-nut-js; const agent new GUIAgent({ model: { baseURL, apiKey, model }, // 你的 VLM 服务 operator: new NutJSOperator(), // 本地电脑操作器 }); await agent.run(打开 Chrome 并访问 GitHub);自定义操作器只需实现screenshot()和execute()两个方法比如接入手机ADB、远端浏览器Browserbase都可以示例见 multimodal/gui-agent/agent-sdk/examples/接口说明见 packages/ui-tars/sdk/README.md。事件观测应用还内置了 UTIOUI-TARS Insights and Observation机制可把应用启动 / 发送指令 / 分享报告事件推到你自己的 HTTP 端点做埋点分析配置项在 Report Settings 下的 UTIO Base URL事件类型与协议见 docs/setting.md。避坑速查macOS 任务无响应90% 是辅助功能 / 屏幕录制权限没给两者缺一不可多显示器当前仅支持单屏先拔掉副屏再跑模型连通失败检查 Base URL 是否带/v1/结尾、Key 是否复制完整用设置页的 Check Model Availability 先自检模型答非所问 / 动作解析失败VLM Provider 没选对必须与模型版本对应1.0 和 1.5 是不同选项页面跳转后点空了调大 Loop Wait Time给界面留出加载时间任务中途走偏直接点终止/接管按钮把鼠标键盘抢回手里这是设计好的逃生通道资源与社区快速上手docs/quick-start.md含 Hugging Face / 火山引擎两套完整配置步骤设置详解docs/setting.md预设管理docs/preset.md模型部署旧版参考docs/deployment.md 与 docs/archive-1.0/应用源码apps/ui-tars/src/核心 Agent 循环与操作器apps/ui-tars/src/main/agent/预设样例examples/presets/贡献指南CONTRIBUTING.md写在最后UI-TARS 桌面应用把视觉语言模型 桌面操作器这条最完整的 GUI 自动化链路打包成了开箱即用的应用装好、配好模型、一句话开工下一步就是把它接到你的日常重复操作里试试。先去设置页填好 VLM 配置然后输入你的第一条指令吧。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考