Midscene.js 自动化测试3步跑通第一个AI视觉用例【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene改完页面又要手动点一遍验证DOM 选择器定位网页元素的代码规则一更新测试脚本集体失效Midscene.js 自动化测试换了一条路AI 直接看屏幕你用自然语言描述做什么和预期看到什么它负责定位元素、执行操作、核对画面。Web、Android、iOS、HarmonyOS 到桌面端同一套 Agent API 都能用。Midscene.js 能力边界能做什么不能做什么一句话心智模型Midscene 这类 AI 视觉测试工具的工作方式像个真人测试员——看屏幕、动手做、核对结果全程靠截图理解界面不依赖选择器。说得通就办aiAct 执行整段流程aiTap、aiInput 做单个动作aiQuery 提取结构化数据aiAssert 校验画面是否符合预期擅长选择器够不着的地方图标按钮、canvas 画布、原生 App 界面凭外观和位置定位屏幕之外的它不管接口、数据库、后端状态得你自己用代码补断言也只判断屏幕上可见的内容Midscene.js 最小可用配置3步跑通第一个用例装 CLI 并配模型执行 npm i -g midscene/cli然后在运行目录下放一个 .env 文件MIDSCENE_MODEL_BASE_URLhttps://替换为你的模型服务地址/v1 MIDSCENE_MODEL_API_KEY替换为你的 API Key MIDSCENE_MODEL_NAME替换为你的模型名称 MIDSCENE_MODEL_FAMILY替换为你的模型系列写一个 YAML 脚本这就是最小的任务编排单元page: url: https://www.bing.com tasks: - name: 搜索天气 flow: - ai: 搜索 今日天气 - sleep: 3000 - aiAssert: 结果显示天气信息执行 midscene ./bing-search.yaml终端输出进度跑完自动生成带截图和 AI 决策过程的 HTML 报告。高频场景拆解 Android 自动化测试怎么配需求验证 App 核心路径但 App 界面没有稳定的 DOM 可依赖。 做法开发者选项里打开 USB 调试用 adb devices -l 确认设备被识别想先试水就跑 npx --yes midscene/android-playground在齿轮设置里粘贴模型配置。Playground 和 SDK 共用同一套实现在 Playground 验证过的指令写进脚本行为一致。 关键参数YAML 里用 android 部分指定 deviceId不填默认用第一台设备launch 可指定起始页面。 桥接模式复用登录态需求测试内部后台登录流程长、校验多每次跑脚本都重新登录太亏。 做法装好 Midscene Chrome 插件脚本引入 midscene/web 的 AgentOverChromeBridge附着到你当前激活的标签页或新开一个标签页——cookies、插件、登录态直接复用脚本只管后续操作。 关键参数YAML 里 bridgeMode 取 newTabWithUrl 或 currentTab模型配置必须写在 Node.js 侧终端环境变量写在浏览器侧不生效。⚡ 用缓存加速重复任务需求同一批脚本每天定时跑AI 调用又慢又贵。 做法YAML 的 agent.cache 里配 id 和 strategy重复的规划步骤和 Web 元素定位XPath会命中缓存直接复用官方案例里执行耗时从 51 秒降到 28 秒。 关键参数缓存默认关闭必须显式开启strategy 可选 read-write、read-only、write-only缓存文件落在 ./midscene_run/cache 下aiQuery、aiAssert 这类查询操作永远不缓存结果实时变化的页面建议别开。Midscene.js 关键参数速查配置项作用备注MIDSCENE_MODEL_BASE_URL模型服务地址.env 或全局环境变量均可MIDSCENE_MODEL_API_KEYAPI Key必填MIDSCENE_MODEL_NAME / MIDSCENE_MODEL_FAMILY模型名 / 模型系列如 doubao-seed-2-1-turbo-260628 / doubao-seedpage.url / viewportWidth / viewportHeight网页入口与视口视口默认 1440 × 800android.deviceId / ios.wdaPort指定设备iOS 需先起 WebDriverAgent示例端口 8100agent.cache缓存开关默认关闭配 { id, strategy }agent.aiContexts给 AI 的补充上下文如价格单位是美元bridgeMode桥接模式newTabWithUrl 或 currentTabMidscene.js 常见问题与排查CLI 报 Unsupported Node.js versionRspack 工具链只认 Node 20.19、22.12 或 2420.17 这类旧 patch 版本会被拒。升级 Node 后重装 CLI 即可。报 Cannot access a chrome-extension:// URL of different extension其他 Chrome 插件往页面里注入了 iframe 或 script 产生冲突。在开发者工具里复制该 URL 中的扩展 ID到 chrome://extensions/ 禁用对应插件刷新页面重试。本地 Ollama 模型返回 403浏览器扩展默认禁止跨源访问本地服务。设置环境变量 OLLAMA_ORIGINS* 放行。.env 不生效两个高频原因——文件必须放在 CLI 的运行目录下不是 YAML 所在目录且默认不覆盖已存在的全局同名变量。需要覆盖就加 --dotenv-override 参数排查加载过程用 --dotenv-debug。桥接模式提示未配置模型模型环境变量写在浏览器侧了把它挪到 Node.js 侧终端如果脚本要上传本地文件还要在 chrome://extensions 的插件详情里开启 Allow access to file URLs。收尾Midscene.js 自动化测试的本质是把验证界面从维护选择器变成描述预期——UI 怎么改脚本大概率不用动。下一步先读 YAML 脚本运行器文档 把 CLI 流程走熟再对照 Android 平台指南 跑通第一台真机。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考