如何用 iproxy 为 Midscene iOS Playground 启用 WDA 原生 MJPEG 屏幕流【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene iOS Playground 在真机上预览画面时有两种模式默认的轮询模式通过 WDA 的截图 API 逐帧抓图帧率约 5-10fps原生 MJPEG 流则直接代理 WDA 内置的 MJPEG Server帧率更高、延迟更低。本文的任务是在真机场景下用iproxy把 WDA MJPEG Server 端口默认 9100转发到本机让 Playground 的实时预览从轮询模式切换为原生 MJPEG 流。模拟器不需要端口转发本文只针对真机。前提条件macOS XcodeiOS 开发必需并且 WebDriverAgent 版本 7.0.0Node.js 18 或更高版本用于运行 Playground CLI真机已按 iOS 平台文档完成 WebDriverAgent 配置开发者模式、UI Automation、设备信任等WDA 已在本机8100端口可用。WDA 的完整配置方法见 iOS 平台文档。启动 Playground 前可以先确认 WDA 服务本身是通的访问http://localhost:8100/status收到包含state: success的 JSON 响应文档中给出了完整的示例响应才继续。如果这一步都访问不通说明问题出在 WDA 配置而不是 MJPEG 转发先回到 iOS 平台文档排查。执行步骤1. 启动 Playgroundnpx --yes midscene/ios-playground启动后点击齿轮按钮进入配置页粘贴模型 API Key 配置没有模型配置时参考 Supported models and setup。此时即使不转发 9100预览也能工作但走的是轮询模式。2. 用 iproxy 转发 MJPEG 端口另开一个终端在 Mac 上执行# Required for real devices only (simulators dont need this) iproxy 9100 9100 YOUR_DEVICE_ID其中YOUR_DEVICE_ID是文档命令中使用的占位符替换为你当前连接的真机设备标识。iproxy是长驻前台的转发进程只要转发有效它就持续运行、不返回提示符后续所有步骤保留这个终端不动。如果本机 9100 已被占用例如同时转发另一台设备改为其他端口并相应调整 Playground 使用的 MJPEG 端口多设备并发时文档要求为每台设备设置不同的wdaPort和wdaMjpegPort避免命令和流端口冲突。结果验证Playground 启动时会自动探测本机的 9100 端口文档给出的判断依据是启动/运行日志日志内容含义MJPEG: streaming via native WDA MJPEG server9100 探测成功预览已走原生 MJPEG 流任务完成MJPEG: streaming via polling mode (10fps)未探测到原生流自动回退到逐帧截图轮询看到第一行日志且 Playground 预览画面为流畅的视频流而不是明显逐帧刷新即表示原生 MJPEG 已启用。文档没有给出帧率等固定数值预期帧率高低以实际预览手感判断。排查与限制日志一直显示 polling mode先确认iproxy终端还活着、设备 ID 正确、WDA 的 MJPEG Server9100在设备侧可用确认转发后无需重启 Playground——实现代码mjpeg-stream-handler.ts在轮询期间会周期性重新探测原生流9100 一旦可达就结束轮询、客户端预览自动切回原生流探测结果有 10 秒负缓存所以最坏也要等十几秒才切换。原生流返回 HTTP 4xx/5xx日志会显示native stream returned HTTP code, using polling mode说明端口通了但 MJPEG 服务异常同样回退轮询需要检查 WDA 侧的 MJPEG Server 状态。模拟器不需要iproxy模拟器上轮询与原生流的差异不依赖端口转发。真机基础连接如果连轮询预览都没有说明 WDA 主链路8100不通按 iOS 平台文档 FAQ 检查 Developer Mode、UI Automation 和 Device Trust 三项。相关文档iOS 平台文档WDA 配置、Playground 使用与 FAQ含 8100 端口的iproxy用法API ReferencewdaMjpegPort默认 9100与wdaMjpegFrameSource参数说明iOS 脚本侧用agent.startObserving()取连续帧时观察帧同样来自 MJPEG 流最后一张截图仍使用完整质量。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考