做自动化测试和 AI Agent 落地这几年Computer Use 这个功能我从 GPT-5.6 时代就开始盯。最初看演示视频确实惊艳但真正放进工作流里用几乎每天都要给它擦屁股滚动失效、点错按钮、任务走到一半自己迷路最后还得我手动收拾残局。最近换了 GPT-6 Astra我特意把之前在 GPT-5.6 上反复踩坑的同一批任务重新跑了一遍结果让我有点意外——那些我以为只能靠人盯着的故障确实被系统性解决了。这篇就讲讲 Computer Use 为什么之前那么难用、GPT-6 Astra 具体改了什么以及我实测用它画电路图的完整过程。1. Computer Use 从演示很香到真能干活到底卡在哪一步1.1 这个功能原本想解决什么问题Computer Use 的目标一句话就能讲清楚让模型直接接管你的鼠标和键盘。它不像传统 RPA 那样需要预先录制操作流程而是靠看懂屏幕 → 推理下一步 → 执行动作 → 再看屏幕这个循环理论上任何界面软件都能操作。为什么需要它因为现实世界里大量工作都埋在各种图形界面里填报销系统、在客户管理系统里录入数据、在专业绘图软件里调整参数、把某个网页后台的报表下载下来再整理。这些事逻辑简单但步骤繁琐RPA 脚本看似能解决却有两个硬伤一是界面稍微改版脚本就废了二是每个系统都要单独开发适配。Computer Use 的想象力在于它不关心你用什么软件它只关心屏幕上有什么、该点什么。从产品定位上看Computer Use 的技术底座也不复杂多模态视觉理解 坐标定位 动作执行 结果观察本质上是一个持续循环的感知-决策-执行链路。但恰恰是这个循环的每一环在早期都不够扎实这才有了后面那一堆故障。1.2 喊了两年能用为什么一直不敢真用从各家发布会的效果来看Computer Use 的演示普遍很香打开浏览器、订个机票、填个表单一气呵成。但我实际部署后的感受完全不同主要卡在四个问题上演示环境干净真实环境一团糟弹窗、加载、缓存、权限提示轮番出现。每一步操作的误差会累积20 步的任务走到第 15 步可能已经偏离得离谱。模型缺少我点对了吗的验证意识错一步就沿着错误路径狂奔。长任务里上下文越来越乱模型会忘记一开始的目标是什么。以上任何一条单独出现都能忍四条叠在一起就构成了演示很香、落地很苦的根源。我在 GPT-5.6 时代跑过的那些任务几乎每一个都至少踩中其中两条。1.3 GPT-5.6 的问题不是修修补补是结构性的我在 GPT-5.6 上连续测了一个多月的 Computer Use跑过表单填写、网页抓取、画电路图、文档整理这些日常任务最后得到的结论是它的失败模式非常稳定几乎可以预测。滚动失效、坐标漂移、误操作后无法自愈、长任务信息断层——这四类问题我至少各碰上十次以上。它们不是偶发的小 bug而是底层的看图-判断-动作循环在设计上就有缺陷。所以当 GPT-6 Astra 发布官方宣传里提到Computer Use 可靠性大幅提升时我是持怀疑态度的。毕竟前几代模型也都说过类似的话实际用起来该翻车还是翻车。直到我把同一批任务重新跑完才确认这次确实不一样。接下来我先把 GPT-5.6 时代最典型的四个故障现场复盘一遍你拿自己的任务对比一下就知道之前的问题有多普遍。2. GPT-5.6 时代翻车最多的四个现场2.1 滚动失效页面一滚模型立刻失明先说最经典的滚动失效。很多真实任务里目标内容根本不在首屏。我让 GPT-5.6 打开一个十字段的长表单前三个字段填得很顺利到了第四个字段需要滚动页面问题就来了。它的表现非常典型调用了滚动动作但屏幕上新出现的内容根本没有进入模型下一轮的视野模型依然拿着滚动前那帧截图里的坐标对着已经变样的界面乱点。点击落空之后它不会意识到界面变了而是继续尝试直到把某个无辜的按钮点出弹窗。为什么这么容易翻车因为早期 Computer Use 的实现里截图和坐标是绑定的。滚动是一个瞬态动作如果模型没有在滚动后强制刷新视觉输入就会拿着过期地图找路。人操作的时候滚动完自然能看到新内容但对只靠截图的模型来说滚动后那几帧是看不见的。这是设计缺陷不是模型笨。2.2 定位漂移按钮明明在就是点不准第二类高频故障是坐标漂移。Windows 上 125% 缩放、macOS 上 Retina 屏的缩放比例差异会让模型从截图里算出的坐标和真实鼠标坐标产生固定偏差。表现就是你看着模型点到了按钮实际点中的却是按钮边缘外几个像素的位置。如果那个位置恰好有别的控件就直接触发错误操作。另一种常见场景是延迟加载。页面滚动后列表数据需要几百毫秒才渲染出来模型看到的是骨架屏或空白区域但它的推理基于按钮应该在这个位置的先验知识于是继续点击。等数据真正出来它的坐标已经失效。这种情况在 GPT-5.6 上几乎无解因为模型不会主动等待渲染完成再操作。窗口遮挡也是我踩过的大坑。两个窗口叠放时模型拿最上层窗口的截图推理却把坐标映射到了后面的窗口结果就是点击被拦截。在一个三窗口并排的桌面环境里GPT-5.6 经常会认为自己在点 A 软件的按钮实际操作的是 B 软件这种错误很难一眼看出来往往要等任务结果出错才发现。2.3 误操作后没有自愈能力第三类是误操作无恢复。我印象最深的一次让 GPT-5.6 在浏览器里下载一个报表文件。浏览器弹出是否保留此文件的对话框模型第一次就点错了点到取消。按理说接下来应该重新触发下载但它没有它开始尝试点击灰色按钮又被弹窗挡住于是再点关闭结果把另一个对话框点出来最后卡在一个模态框循环里直到超时。整个过程的本质是模型没有操作后验证的环节。人操作的时候点完会看一眼结果但早期模型点完直接跳下一步完全不管动作是否生效、状态是否符合预期。一旦动作序列走偏就沿着错误路径一路狂奔直到彻底卡死。这也是我觉得最恐怖的一点——它不觉得自己错了也不打算回头你能做的就是强制终止。2.4 长任务的信息断层第四类是长任务记忆断层。Computer Use 任务通常都是多步操作比如打开绘图软件 → 新建文件 → 导入素材 → 调整参数 → 导出 → 命名保存。GPT-5.6 在上下文窗口的压力下越往后越健忘。跑过 20 步以上的任务它经常在后续步骤里基于错误假设执行明明约定保存为 PDF导出时却选了 PNG明明已经打开文件却又重新新建了一个。问题出在早期模型把每一步当作独立的行动单元缺少对整个任务状态的持续维护。它知道当前我在做什么但不太清楚整个任务已经完成到哪、我的最终目标是什么。这种信息断层在短任务里不致命一旦任务拉长就成了致命短板。我做过的 30 步以上任务里几乎没有一次不在这上面出问题。3. GPT-6 Astra 的修复思路从截图识别升级为状态机驱动3.1 界面状态建模每一帧都知道自己在哪GPT-6 Astra 解决上述问题的核心在于引入了界面状态建模。简单解释就是Astra 不再把每一帧截图当作独立图片来处理而是在内部维护一份当前界面的结构化描述——包括视口位置、元素遮挡关系、加载状态、弹窗层级等。每次滚动、点击、输入之后这份状态描述都会同步更新。这里有个关键的差异以前模型问自己屏幕上有啥现在 Astra 是先问界面状态是什么再基于状态去验证我看到的截图是否与状态一致。相当于给模型配了一张持续更新的地图而不是让它每次重新认路。实际效果最明显的就是滚动Astra 滚动之后会自动判定新内容是否出现没有出现就再滚一次而不是拿着旧截图硬操作。3.2 动作-反馈闭环点下去不等于点对了第二个重要改进是强制性的动作-反馈闭环。Astra 在每次鼠标或键盘动作之后都会主动执行一次验证对比操作前后的截图、检查关键元素是否出现、判断页面状态是否发生了预期变化。如果预期变化没有发生它不进入下一步而是进入修复流程。这个机制听起来简单却是质的改变。GPT-5.6 时代是执行 → 直接下一步Astra 变成了执行 → 验证 → 确认生效 → 再下一步。表单填错了会回头改按钮没点开会重新点弹窗拦路会先处理弹窗。我在实测中明显感到Astra 的停顿变多了停顿的地方都是在检查但返工率直线下降。每一小步多花零点几秒换来的是全程少踩无数个坑。3.3 异常自愈与回退错了怎么办比不错更重要Astra 另一个让我意外的点是犯错之后的处理。之前的模型犯错后会一路错到底Astra 则设计了异常检测和回退机制当验证发现状态异常——比如弹窗出现、按钮未生效、页面跳转错误——它会尝试撤销动作执行 CtrlZ、ESC、点击返回按钮、关闭错误弹窗把界面恢复到上一个可靠状态然后再重新尝试。这套机制用三步实现第一步检测异常第二步查找恢复路径第三步在恢复失败或涉及不可逆操作时请求人类介入。换句话说Astra 承认自己会犯错但把错误控制在单步范围内不让它滚雪球。这是它和 GPT-5.6 在可靠性上拉开差距的最重要原因。3.4 多模态混合感知像素之外的另一条腿最后是感知方式的升级。Astra 在不破坏通用性的前提下加入了结构化信息读取能力在网页环境下可以读取 DOM 或辅助功能树Accessibility Tree在支持 API 的桌面应用里可以读取控件结构而不是只依赖像素识别。这背后的逻辑很朴素像素识别有天然上限——颜色相近、文字重叠、分辨率和缩放变化都会干扰但 DOM 和辅助功能树是机器直接能读懂的界面语言准确性高得多。Astra 的策略是能读结构就读结构读不到结构再用像素兜底。所以它既能处理网页也能处理纯图形应用只是前者更稳。这也是它画电路图时能准确连线的原因之一——它不只看眼睛还在读底层数据。4. 实测记录让 GPT-6 Astra 画一张可交付的电路图4.1 为什么选画电路图这个任务GPT-6 Astra 画电路图这个热搜词让我很感兴趣因为画电路图是 Computer Use 的典型试金石需要打开专业软件、拖拽元件、连线、设置参数、验证电路行为而且结果对不对可以直接验证——电路能不能跑起来一眼就知道不存在看起来完成了但实际上没完成的糊弄空间。我选了 555 定时器闪光电路LED 闪烁作为测试任务一个 555 芯片、两个电阻、一个电容、一个 LED、一个电池典型的入门电路但涉及完整的操作链路打开模拟器 → 拖放元件 → 连线 → 设置参数 → 运行 → 导出原理图。如果 Astra 能把这个任务干净利落地完成那它处理日常界面操作的基本能力就过关了。4.2 完整操作链记录环境网页版电路模拟器 CircuitJS1浏览器中运行GPT-6 Astra 以 Computer Use 模式接管浏览器。任务分六步打开模拟器Astra 在地址栏输入 CircuitJS1 的地址按回车等待页面加载完成。这里我注意到的细节是它没有急着操作而是等页面出现加载完成的标志才继续这在 GPT-5.6 上是做不到的。拖入元件从左侧元件面板依次拖出 555 芯片、两个电阻R11kΩ、R210kΩ、一个电容C110µF、一个 LED 和一枚 5V 电池。拖放操作在所有 Computer Use 系统里都容易拖歪Astra 每次拖完后会检查元件是否出现在画布且位置可识别歪了会重新拖。连线这是历史上最容易翻车的环节。555 芯片引脚密集视觉上非常容易连错引脚。Astra 在这里通过网页的 DOM 和电路结构化数据确认线头连的是 Pin 3 而不是 Pin 2再结合坐标点击完成连线。设置参数双击每个元件修改数值。Astra 的操作方式是点击元件 → 找到参数对话框 → 清空旧值 → 输入新值 → 点击确定 → 截图确认参数生效。整个过程没有出现一次输入一半丢失的情况。运行验证点击运行按钮等待模拟器进入运行状态截图确认 LED 在闪烁。这一步是硬校验——如果电路没接对LED 不会亮模拟器还会显示短路警告。导出原理图通过菜单导出 PNG 文件到指定目录并再次打开文件确认图片内容完整确认无误后才向任务结束。4.3 过程中一次失误与自愈实测中 Astra 真的犯过一次错连接 555 芯片的 Pin 3输出引脚时它把导线拖到了相邻的 Pin 2触发引脚。模拟器立刻出现短路警告图标。如果是 GPT-5.6大概率会忽略这个警告继续操作但 Astra 的动作-反馈闭环捕捉到了警告判定这次连线未生效随后撤销了导线重新从 Pin 3 拖出连线。整个错误从发生到纠正大约 40 秒不需要我的任何介入。这件事给我的印象很深Computer Use 真正的价值不在于永远不出错而在于出错后能自己发现问题、自己恢复。没有人能保证 20 步操作里不犯一次错但能保证错误不滚雪球的系统才配得上正式投入使用。4.4 与 GPT-5.6 同任务的结果对比我特意用 GPT-5.6 跑了同样的 555 闪光电路任务作对照结果差异很明显对比项GPT-5.6GPT-6 Astra滚动/视口处理元件面板滚动后经常失明拖取失败滚动后主动确认新内容全程未出问题连线准确率3 次尝试中有 2 次连错引脚1 次连错自动撤销重连成功参数设置2 次输入丢失需要人工修正全部一次到位运行验证不检查运行状态直接认为成功验证 LED 闪烁后才进入导出完成时长约 18 分钟期间人工介入 3 次约 9 分钟零人工介入最终结果导出图片含错误连线电路可运行原理图正确这个对比不能说明 Astra 无所不能但至少证明在多步、需要验证、容错要求高的真实任务上它的可靠性确实上了台阶。5. GPT-6 Astra 与 Codex Computer Use两条技术路线的取舍5.1 定位差异模拟人操作 vs 代码执行热搜词里同时出现了 Codex Computer Use正好可以放在一起对比。两者都叫 Computer Use但底层路线完全不同。Codex 走的是代码优先路线它把操作过程写成代码在受控环境里执行。优点是操作可复现、结果可审计、出错可以回滚到特定步骤缺点是你需要目标环境具备可编程接口纯图形软件很难覆盖。GPT-6 Astra 走的是视觉优先路线它模拟真人看屏幕、动鼠标不需要任何 API 或脚本接口覆盖面广但每一步操作都存在像素识别的不确定性天然比代码执行松一些。两条路线不是替代关系而是互补关系关键看任务的性质。5.2 混合使用谁擅长什么就交给谁按照任务类型我从实际使用中总结了一套选择标准逻辑密集、可脚本化的任务数据处理、批量文件操作、终端命令用 Codex 或传统脚本。这类任务追求确定性和可审计性Computer Use 的灵活性反而是风险。纯图形界面任务专业绘图软件、网页后台、桌面客户端用 GPT-6 Astra。这类任务没有编程接口可用只能靠看着操作。混合场景先用代码完成数据处理再用 Computer Use 操作 GUI 完成界面录入、导出等步骤。比如我处理报表的流程就是Codex 负责整理数据Astra 负责打开公司系统、填表、点提交。一句话概括能用代码的地方别用 Computer Use用不了代码的地方才有 Computer Use 的价值。把任务按这个标准分流之后整体效率明显比单用某一套方案高得多。5.3 什么情况下不该放 Computer Use 进去也要划清边界。以下这几种情况我建议保持人工介入不可逆操作支付、删除、发布、覆盖文件。就算 Astra 有确认机制关键步骤也应该让人来点最后一下。敏感数据环境涉及客户信息、凭证、内网数据的操作务必在隔离的沙箱环境里跑且开启完整操作日志。对像素精度要求极高的工作例如 UI 还原、像素级图表校准Computer Use 的坐标精度还达不到设计稿级别需要人眼做最终确认。6. 上手 GPT-6 Astra Computer Use 的配置与避坑清单6.1 环境准备给它一个干净的工作台Computer Use 的本质是模型接管你的机器环境设置直接影响成功率。我建议用独立虚拟机或独立桌面环境跑这样模型的误操作不会污染你的主力工作区。显示缩放设置为 100% 也很关键。Windows 的 125% 缩放、macOS 的 Retina 缩放都会影响坐标换算虽然 Astra 的坐标体系比 GPT-5.6 稳健不少但 100% 缩放能从源头减少偏差。另外在开始任务前关掉无关的弹窗、通知、自动更新提示减少干扰因素。环境越干净故障率越低这是最朴素的道理。6.2 权限边界别让模型裸奔安全边界不是可选项。至少要设置三样东西文件读写目录限制只允许模型访问任务相关文件夹危险操作白名单终端命令和系统设置修改默认禁止高风险操作确认策略删除、覆盖、发布前必须等待人工确认。我的经验是宁可前期多配置 10 分钟也不要在模型误操作后花 1 小时补救。特别是涉及公司内部系统的任务权限边界一定要先收紧。Astra 的异常自愈能力再强也架不住一开始就给了它过大的操作范围。6.3 5 条实操经验能帮你少走弯路这几个月用下来有几个技巧值得分享任务描述越具体越好。打开浏览器随便看看这种模糊指令Astra 会给你一个随机结果打开 XXX 网页把表格前 20 行的数据复制到本地 CSV 文件这种明确指令成功率会翻倍。让模型按阶段汇报。把长任务拆成 3 到 5 个阶段每个阶段结束后让模型截图汇报人工确认没问题再继续。虽然多了些交互但比最后发现跑偏再重来划算得多。重要常数先写在指令里。文件保存路径、输出格式、命名规则直接在任务开始时说清楚别让模型自己猜。你少写一句话它就多猜三次。把常用任务模板化。Astra 支持把一段任务流程保存为模板下次直接调用。如果你每周都要做同样的报表导出模板能省掉一半沟通成本。记录失败案例。我自己建了一个失败案例库每次任务失败就把当时的指令和界面状态截图存下来下次调优指令时直接参考。这个习惯帮我避开了很多重复的坑。6.4 现在它能做和还不能做的事最后给个务实的判断。GPT-6 Astra 的 Computer Use 目前适合表单填写、网页信息检索与整理、GUI 软件的重复操作、专业软件的参数化操作画电路图、做图表的参数设定。不适合的也不少创意判断设计方向、文案打磨、高精度视觉工作修图、像素级排版、重大风险的最终决策发布、支付、删除。认清这两个清单比纠结某一个功能参数重要得多。这一轮从 GPT-5.6 换到 GPT-6 Astra 的测试让我最大的体会不是某个模型变强了而是 Computer Use 这类功能终于到了可以放进工作流的阶段。不过我也想说句实话它解决的是操作层的可靠性问题并没有替代人的判断。真正高效的用法是把它当成一个看得懂屏幕、手还算稳的实习生给它明确的任务、划好边界、在关键节点检查。越了解它的能力边界它越好用把期待抬高到全能选手的位置失望一定大于惊喜。如果你也在折腾 AI 智能体建议从一个小而重复的任务开始先跑通再放大——我自己的图电路图流程就是这么一点点磨出来的。