10 分钟跑通 UI-TARS Desktop用一句自然语言操作你的电脑【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktopUI-TARS Desktop 是一款桌面端多模态 GUI Agent给它一句自然语言指令它会截图、识别屏幕再在你的本地电脑或浏览器里执行鼠标和键盘操作。既能直接当自动化助手也能拿仓库里的 SDK 去驱动自己的产品。核心能力一屏速览自然语言控制桌面一句打开 VS Code 并开启 Auto Save模型负责把意图翻译成菜单点击、输入和滚动。双本地操作器Computer Operator 接管整机Browser Operator 负责页面与表单后者要求系统装有 Chrome、Edge 或 Firefox。视觉化识别不依赖 DOM 或辅助功能树截图加视觉语言模型复杂布局的界面也能认。操作报告每轮任务结束自动产出分步报告支持下载文件或生成可分享链接。工作原理 / 架构速览核心链路是感知 → 规划 → 执行的循环你发出指令后操作器先截图完成感知VLM 根据截图与指令产出下一步动作操作器在真实电脑或浏览器上执行新的屏幕状态回传作为下一轮输入直到模型判定任务完成。报告环节是一条独立分支任务结束后先检查是否配置了报告存储服务有则上传报告文件并生成可访问链接没有则直接下载到本地。桌面应用主进程在apps/ui-tars/src/main/Agent 核心与环境抽象位于multimodal/目录。从零跑通分步实操第一步安装macOSbrew install --cask ui-tars或从 Releases 页下载安装包拖入 ApplicationsWindows下载安装包直接运行前置条件目前仅支持单显示器多显示器环境部分任务会失败第二步授权与配置 VLM 模型macOS 需要在系统设置 → 隐私与安全性里授予两项权限辅助功能控制鼠标键盘和屏幕录制识别屏幕内容。然后打开 Settings → VLM Settings选择 Provider 并填写参数VLM Provider: Hugging Face for UI-TARS-1.5 # 或 VolcEngine Ark for Doubao-1.5-UI-TARS VLM Base URL: https://xxx/v1/ # HF endpoint 必须以 /v1/ 结尾 VLM API KEY: your_api_key VLM Model Name: your_model_name点击Check Model Availability确认端点连通即可。第三步发出第一条指令点击开始按钮选择Computer Operator操作本机或Browser Operator操作浏览器在输入框填入任务例如打开浏览器查一下上海明天的天气Agent 即开始截图并执行动作。两个典型场景场景一查最新 Issue角色项目维护者痛点每天人工翻 issue 太慢指令打开浏览器查看本仓库最新的 open issue并总结给我结果Agent 自行导航页面、读取 issue汇总写入操作报告场景二改 VS Code 设置角色开发者痛点设置项藏得深找起来烦指令在 VS Code 中开启 Auto Save延迟设为 500 毫秒结果模型自己打开设置面板定位选项并改完高频坑与解法⚠️ 以下三条基本覆盖了新手的大部分失败案例模型检查不通过根因是 Base URL 没以/v1/结尾或 Provider 与模型不匹配——UI-TARS-1.5 必须选对应 Provider否则动作解析会出错。解法换成 endpoint 页面展示的地址后重新验证。动作打偏、识别不到界面根因是 macOS 未授予屏幕录制权限或多显示器环境。解法系统设置里补齐权限并切到单显示器运行。Remote Operator 无响应根因是免费远程服务已于 2025 年 8 月 20 日下线。解法改用本地操作器或按 quick-start 文档 自行部署远程 Agent。想深入改看这里multimodal/agent-tars/core/ — Agent 主循环与环境抽象environments/目录下有 20 多个环境实现想调整 Agent 与环境的交互方式从这里入手。packages/ui-tars/operators/ — 操作器层nut-js本地电脑、browser、ADB 等实现都在这新增执行环境就是在这里加一个 Operator。packages/ui-tars/sdk/ —ui-tars/sdk跨平台 GUI 自动化 SDKNode.js 与浏览器端均可调用适合嵌入自己的产品。examples/gui-agent-2.0/ — 最小可运行 demoSDK 接 AIO sandbox 跑一个天气查询熟悉 SDK 的最快路径。git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop先跑examples/gui-agent-2.0/里的最小 demo再回桌面版试试打开记事本。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考