前言基础型视觉-语言模型VLMs展现出对世界广泛的智能但要将这种智能转化为机器人控制仍然充满挑战对此作者提出 Show-Harness这是一种具身式 Harness使VLM 能够通过一个紧凑的语义接口将意图“操控”到机器人行为上Show-Harness暴露出离散的语义动作单元VLM 可以自然地在其上进行推理而具身相关的解释器则以确定性的方式将这些语义单元落地为局部机器人动作从而让 VLM 直接对细粒度的物理决策负责通过同一接口Show-Harness 证明了以下两点的可行性1在零样本设置下直接解锁闭源前沿 VLM 用于机器人控制2只需少量GPU 小时的微调就能将小规模开源 VLM 适配为低成本部署且作者进一步提出GUMIGUI Manipulation InterfaceGUI 操作接口将同一语义动作空间扩展到基于 GUI 的示教数据采集使人类和智能体无需专用远程操控硬件即可在不同具身形态上“操控”机器人此外其与近期大火GPT-6 Astra的本质区别在于第一部分 Show-Harness: Just a VLM Agent Can Play Robots1.1 引言与相关工作1.1.1 引言如原论文所说基础视觉–语言模型VLMs已经编码了机器人操作所需的大部分能力例如识别物体及空间关系以及分解长时间跨度的目标 [24,40,82,97]然而这些知识却难以直接转化为机器人的实际行为视觉–语言–动作模型VLA通过微调 VLM使其回归与具体具身形式相关的连续动作将其拉向低层控制在这一过程中广泛的语义知识被压缩为一种不透明的从像素到执行的映射并且往往需要针对不同任务、环境和具身形式反复进行适配 [8,12,45,66]分层和程序化系统则走了相反的路线由 VLM生成显式的中间抽象表示包括子任务级别的调用 [1,37,76,92]以及基于人工设计控制 API 的程序 [15,36,54]尽管这种方式在实践中是有效的但物理控制是由下游控制器或特定系统机制来实现的从而削弱了语义意图与物理执行之间的直接关联作者认为要将基础模型级的智能引入物理世界就需要一个合适的接口一种既对VLM 语义上有意义、又足够细粒度以实现直接物理控制的动作空间而接口不是随便定的每一条都在避短VLM 不擅长输出精确数值→ 那就别让它输出数值语义决策往左一步和度量执行左 2cm分离具体多少厘米由确定性解释器负责。模型只做它擅长的方向判断VLM 单步预测不准→ 那就把控制改成小步快走闭环纠偏每步只动 2cm动完拍张照给模型看偏了下一步修回来。精度不来自一次猜对而来自迭代逼近——这正是为什么换 1cm 步长就能做插孔任务模型完全不用重训VLM 不懂机器人坐标系→ 方向定义在可观测的相机视角上画面中向左而不是关节角或世界坐标空间推理直接落在它看得见的画面上对此来自的研究者提出 Show-Harness这是一种与具体模型无关的具身控制“挂架”Embodied Harness使得VLM 能够通过这样的接口来“操控”机器人正如图 2 所示Show-Harness 将机器人控制重构为一组离散的语义动作单元每个动作单元指定在给定方向上的单步运动或一次夹爪动作使其对 VLM 来说可以直接解释随后一个与具体具身形态相关的解释器会以确定性的方式将每个动作单元落实为一个小且有界的机器人运动从而让每一次语义决策都真正落地到物理世界在这一核心机制周围该“挂架”形成闭环它将多视角观测和本体感受组织成一个感知上下文支持子任务推理与恢复并在每个动作单元执行后返回执行反馈从而将数字化的 VLM 转变为“情境化代理”situated agents这些代理在其本就擅长理解的语义空间中进行推理与行动同时仍然要对细粒度的物理决策直接负责进一步而言Show-Harness 实现了两种机器人控制模式首先它可以在无需微调的情况下将闭源前沿 VLM视觉语言模型无缝转换为零样本机器人智能体在多个任务、不同具身形式和环境中性能优于具有代表性的 agentic harness 框架其次它使得轻量级VLM例如参数规模为 2B 的模型只需消耗数个 GPU 小时的微调即可在相同动作空间中“操控”机器人在受控实验下比具有代表性的 VLA 范式实现更强的泛化能力与从仿真到现实的迁移效果综合来看这些结果表明一个合适的语义接口可以从基础VLM 中释放出可观的具身能力提供一条可扩展的路径一方面继承前沿大模型的进展另一方面将这种控制能力扩展到更小、更低成本的模型上由于该动作空间具有可解释性且可被人类和模型直接操作Show-Harness 自然地将基于 VLM 的机器人智能体与类似 GUI 的人类控制方式统一到一起。即作者进一步构建了 GUMI这是一种基于 GUI 的操作界面使得人类和智能体都可以在同一个语义动作空间中采集机器人示范而无需专用的远程操控硬件并且能够自然地支持跨形体复用以及人类–智能体协同数据采集1.1.2 相关工作首先对于面向机器人操作的基础模型如原论文所述第一将基础模型用作低层策略。视觉–语言–动作VLA模型在预训练的 VLM 主干上附加学习到的动作生成模块用于预测机器人低层控制这些控制可以表现为通过回归、扩散或流匹配生成的连续动作片段 [8,22,35,61,79,82,102]离散化的电机马达token [11,12,41,45,69]任务空间中的关键帧或空间网格动作 [71,78]或者从机器人轨迹和视频中学习到的潜在动作编码 [4,13,18,43,47,64,93,103]最新的扩展工作将动作预测与未来视觉动力学耦合在一起形成统一的视频–动作或世界–动作模型[51,53,67,89,94,106]机器人基础模型则进一步在异构任务和具身形式上扩展学习到的动作生成能力 [7,9,10,23,27,30,66,83]后续工作则改进了动作初始化、token 化以及对新具身形式和新任务的适应性 [6,17,32,42,85,88]然而这一路径在语义与控制之间做出了权衡。将模型重新拟合到特定具身形式的电机信号上会把其广泛的预训练知识折叠成不透明的感觉–运动映射并且通常要求为新的任务族或新的具身形式采集新的机器人轨迹 [44,104]第二对于作为中间决策者的基础模型另一种路径是将视觉语言模型VLM置于低层控制之上利用其预训练的语义知识对指令进行分解并输出子目标、关键点、可供性目标、价值地图或空间约束 [24,26,38–40,97]下游控制器再处理它们在物理世界中的实现方式这样做在保留语义的同时却放弃了物理层面模型只在不知道其具体实现方式的情况下给出意图规范 [29,34]而且每一种表示形式都被绑定到一个精心设计的、特定于系统的落地grounding管线之上 [26,38,39,60]在实际部署中还需要长时程规划、闭环反馈以及故障恢复 [29]这就把这些分层式设计进一步推向了下一节将讨论的具身智能体agentic systems范式其次对于具身智能机器人系统第一具身智能体系结构具身智能系统在一个“外骨骼”中保持底座 VLM 完整不变该外骨骼将模型的决策转换为机器人行为并将结果反馈回来从而闭合感知–决策–执行环路 [37,55,59,92]不同系统的主要差异在于决策如何被执行模型可以在感知与控制 API 之上组合程序 [15,28,36,54,80,84,101]从预定义技能库中选择技能[1,2,50,73,74,96]用语言子目标来引导已学习的策略例如 VLA[16,34,68,76,100]或将决策外包给符号规划器和数值优化器 [19,20,57,95]该外骨骼还提供支持长时程交互的机制任务上下文与持久化记忆 [3,73,100]基于反馈的监控与反思 [37,77]以及用于重新规划和恢复的失败检测 [25,62,92]第二具身执行的接口在这些范式中VLM 最终都是通过其所处系统对外暴露的原语来发挥作用因此接口设计成为一个核心问题前沿 VLM 在不同抽象层级上的表现差异巨大 [5,34]由人类设计的抽象例如 place(object, target)能显著提升可靠性而在低层感知与控制 API 之上直接进行组合仍然非常困难 [28,59]因此当前占主导地位的解决方案是将完整的技能、控制器或 VLA 作为可调用的原语对外暴露[1,16,68,76,100]智能体只决定做什么what而由一个不透明的执行器来决定如何做how[29]与之相对Show-Harness 直接将“如何做”本身暴露出来具体表现为细粒度的语义动作单元其物理实现是确定性的且透明的从而使 VLM 能够对细粒度的物理决策保持直接责任第三从数字界面到物理操控Show-Harness 的离散语义动作空间呼应了一个在数字与仿真智能体领域更广泛的界面原则提供紧凑、可解释且同时可被人类和基础模型操作的动作集合计算机使用代理和游戏代理通过鼠标、键盘或控制器输入进行动作[56,65,70,86,99]而仿真的具身智能体则使用离散动作或技能级动作[48,49,52,91]在导航任务中离散方向基元是仿真器和基准中的原生构件 [46,75]且近期的通用智能体已经可以有竞争力地驱动这些系统 [105]然而在真实世界的操作任务中并不存在同样简单且广泛可用的接口控制通常是具身特定的、高维的并且需要精细的空间精度Show-Harness 通过将细粒度的语义动作以确定性的方式落地为物理机器人的运动同时向 VLM 智能体和人类暴露相同的动作空间从而弥合了这一鸿沟1.2 Show-Harness的完整方法论1.2.0 概述Show-Harness 是一种具身形态的控制框架embodied harness其设计目的是通过将基础视觉-语言模型VLM置于一个迭代的“感知–推理–行动”闭环中将这类模型的智能能力转化为在物理世界中可落地的机器人行为在每一个交互步骤中模型会接收感知输入交互历史推理接下来该做什么将其意图表达为语义层面的动作决策并在该决策被落实为机器人实体运动之后观测由此产生的环境变化具体而言如图 3 所示给定一条语言指令在第步时系统获取一条观测其中表示多视角视觉观测表示机器人的本体感知状态系统首先通过一组可配置的推理插件对当前观测和一个压缩形式的交互历史进行处理从而生成经推理优化的上下文然后中央 VLM 在精炼后的上下文的条件下选择一个语义动作——定义为公式2其中是一个紧凑的细粒度可执行单元集合用于定义 VLM 与机器人之间的语义接口每个单元都指定一种可直接解释的末端执行器运动或夹爪意图而不会向模型暴露与具体形体相关的控制变量第 3.2 节得到的语义决策随后被传递给一个与形体相关但与模型无关的解释器由其以确定性的方式将该决策落实为可执行的机器人控制其中表示机器人的具身形式是解释器的内部设定点状态执行会更新机器人和环境产生新的观测和执行状态并在下一次交互步骤中将其反馈回系统1.2.1 物理落地的语义动作接口Show-Harness 的核心是一种接口它使 VLM 的决策在语义上保持有意义的同时又具备足够细粒度以便实现对物理系统的直接控制首先对于语义动作空间式 (2)中的共享动作空间 A 由一组紧凑的语义动作单元组成。在每一步系统都会从当前观测中确定一个参考视角用以定义末端执行器的运动方向相对于该视角MV_FWD/MV_BACK、MV_LEFT/MV_RIGHT 和 MV_UP/MV_DOWN 分别沿对应方向将末端执行器移动一个步长对于需要改变末端执行器姿态的任务ROTATE_CW 和 ROTATE_CCW各自配合指定的轴 x、y 或 z会围绕该轴以顺时针或逆时针方向逐步旋转末端执行器GRASP 和 RELEASE 分别用于闭合和打开夹爪而DONE 表示任务完成相当于语义动作空间只有约 12 个单元——MV_FWD/BACK/LEFT/RIGHT/UP/DOWN、ROTATE_CW/CCW绕 x/y/z 轴、GRASP、RELEASE、DONE。全部用 VLM 的原生词表表达不需要动作头或特殊 token该词汇体系围绕三项属性进行设计增量性每个单元只引发一次小而局部的物理变化通过可观测的动作效果使 VLM 始终处于控制闭环之中并通过连续纠正实现精细行为作者宣称他们的实证结果表明VLM 在无需微调的情况下即可在不同的步长粒度间灵活切换见第 5.3 节可解释且与具体形体无关动作被表示为语义符号而非数值目标而具体形体相关的低层控制则交由下游解释器完成从而使模型所面对的空间保持紧凑、可解释并可在不同机器人之间复用视觉基础运动方向是相对于可观测视图定义的使得空间推理可以直接映射到动作上其次对于具身落地随后VLM 所做出的每一个语义决策都会传递给一个与具身相关的解释器由其以确定性的方式将单元落地为机器人控制。对于一个动作单元解释器会更新6 自由度笛卡尔位姿设定值即其中和分别表示位置和姿态和分别编码平移和旋转对于旋转取对于平移取否则记为斜对称矩阵算子经标定的增量和用于设定平移与旋转的幅值而则将语义方向和轴映射到具身体的运动坐标系中投影算子用于施加与具身相关的工作空间约束以及每步平移或旋转的幅度上限夹爪类单元跳过位姿更新直接映射为夹爪张开或闭合指令不同具身体通过不同的底层控制器来实现相同的语义单元例如Franka 通过阻抗控制跟踪笛卡尔设定点AgileX 使用逆运动学和持续下发的关节目标而仿真器则执行相应的操作空间指令通过将与具身相关的控制逻辑封装在内部语义模型接口在不同机器人之间保持不变。因此适配一个新的具身体只需要一个新的解释器。诸如工作空间和桌面高度限制等安全边界可以在解释器中灵活配置违反这些约束的动作会在执行前被阻止从而确保物理交互的安全性即具身解释器每个机器人配一个确定性解释器把语义动作映射成有界的 6-DoF 笛卡尔位姿增量Franka 用阻抗控制、AgileX 用 IK并内置工作空间安全边界。换新本体只需换解释器模型侧接口不变1.2.2 具身 Harness 架构具身 Harness 将基础模型的交互循环组织为三个可配置阶段感知Perception、推理Reasoning和行动Action。表 1 总结了在每个阶段实例化的插件首先对于感知Perception多视角引导Multi-View Guidance告知 VLM 应该如何使用并优先考虑不同的摄像机视角例如全局的主观视角/客观视角能够提供场景级上下文而腕部安装的视角则为细粒度的对齐与操作提供近距离的视觉证据本体感受将机器人的内部状态转换为简明的文本反馈包括当前夹爪高度、单步动作引起的位移、与任务阶段相关的执行提示例如在高度仍然较高时先向下移动、接触状态以及夹爪状态其次对于推理Reasoning推理类插件将任务结构化为可执行的中间决策并细化当前上下文用于做出粒度更细的动作级别决策子任务规划首先调用 VLM 作为规划器将任务指令 ℓ 分解为带有完成判据的有序子任务序列在执行过程中子任务的切换由模型决定在每一步它都会基于当前图像检查对应的完成判据当判据尚未满足时继续执行动作一旦满足则宣告该子任务完成从而推进整体计划情境规划会推迟做出存在不确定性的决策并在执行过程中所需信息变得可用时有选择性地触发重新规划与其在一开始就对所有未来分支做出承诺初始计划会将此类决策保留为未定状态直到相关证据变得可观测为止随后VLM 会根据当前观测结果来解析分支并相应地更新剩余计划。这样一来条件性任务就能够根据执行状态的演变进行自适应调整而无需在每一次交互步骤都进行重新规划动作分块Action Chunking在尚不需要细粒度反馈时例如目标仍然较远时自适应地降低模型查询频率使得 VLM 能够一次性输出一小段语义动作序列并在下一次模型查询前以开环方式依次执行这些动作自适应步长Adaptive Step会动态调整步长大小以在效率与精度之间取得平衡当目标较远时使用较大的步长而在需要近距离对齐时则采用较小的步长视觉提示Visual Prompt通过一次专门的模型调用将含糊的语言目标转换为视觉参照并高亮相关的可供性区域从而使后续推理能够基于该视觉标记进行落地。当前交互区域难以用语言精确描述时将启用该插件最后对于动作Action在上文(原论文第 3.2 节)提出的物理上有根基的语义动作接口基础之上动作阶段通过轻量级的交互记忆和恢复机制对执行过程进行增强这些机制支持健壮的闭环控制。在此阶段运行两个插件操作历史 会将最近的操作作为轻量级上下文带入下一次交互步骤并附带一些简单的使用指导例如避免在相反操作之间来回摇摆。这种精简的历史记录为模型在多步过程中提供所需的时间记忆失败恢复会自动检测抓取失败并通过重置夹爪状态并回退到相关的抓取子任务来完成恢复1.2.3 同一界面下的两种模式该共享语义界面支持两种互为补充的机器人控制模式前沿型 VLM 作为零样本智能体ZS 模式前沿型 VLM 可以在无需任何微调的情况下直接通过该控制框架操控机器人此模式可以将前沿模型的能力直接用于物理控制为物理世界中的控制任务提供一条可扩展的路径从而继承并利用日益强大的基础模型所取得的进展对小型 VLM 进行微调FT 模式同一接口也支持对小型开源 VLM 进行轻量级适配以便直接预测语义动作单元。给定在共享动作空间中收集的示范 D策略通过最小化目标单元在token 级别的交叉熵来进行训练其中Pmin 有意仅保留最小化的决策上下文以便进行可控的对比与分析该上下文由任务指令 ℓ、多视角观测 ᵅ 和简短的动作历史 ℎ 构成关键在于语义动作是通过 VLM的原生词表来预测的而无需专门的动作头或特殊token这既使得在少量示例基础上进行轻量级的低秩适配成为可能又比具有代表性的 VLA 基线方法表现出更强的泛化能力如下文(对应原论文第 5 节)所示1.2.4 GUMI一种基于图形界面的操作交互系统首先对于面向人类、智能体和策略学习的共享接口由于第 3.2 节中的语义动作空间是离散且可直接操作的它可以很自然地通过一个轻量级图形界面暴露出来基于这一特性作者开发了 GUMI一个基于 GUI 的操作界面使人类和智能体都可以使用相同的语义动作单元来操控机器人如图 4 所示每个单元都映射到一个带标签的控件和按键人类可以通过键盘“操纵”机器人能够使用计算机的智能体可以操作同一个 GUI而通用的 VLM 智能体则可以直接预测这些动作单元在每一步中GUMI 都会记录执行前的观测和所选的语义动作得到可直接用于策略学习的样本对由于每个语义单元都由具体具身相关的解释器进行确定性落地系统在 rollout 过程中也可以保留相应的低层指令和轨迹从而使得一次示范可以同时用于训练语义动作策略和连续控制策略其次对于灵活且可复用的数据采集GUMI 支持分步控制、按队列执行的动作块、单臂与双臂操作以及“人–智能体混合采集”模式在该模式下人类可以在智能体 rollout 过程中介入并进行纠正。且与依赖专用硬件 [21, 87,102] 或特定于仿真的控制方式 [58,63,107] 的传统远程操控流水线不同GUMI 直接在共享的语义动作空间中记录示教轨迹因此只要不同载体的解释器实现了相同的单元这些示教就可以在不同载体之间复用同时相同的工作流程同样适用于仿真环境和实际无需专用远程操控硬件的真实世界环境。其轻量化且可通过数字方式访问的设计进一步支持远程数据采集而不需要与机器人在物理空间上共址1.3 实验1.3.1 实验设置第一对于硬件作者他们的实验使用了两种机器人平台每种都配备了平行夹爪图5第一种是一个 7 自由度的 Franka Research 3 机械臂由一个面向工作空间的外部视角Intel RealSense D435 相机和一个腕部安装的 Intel RealSense D405相机进行观测从而提供两路视角第二种是一个由 AgileX 双臂平台构成的双手操作装置配备两条 6 自由度机械臂由三台 Orbbec Dabai DC1 相机进行观测一台为两条机械臂共享的自我视角相机以及每个机械臂腕部各一台腕部视角相机本地模型部署在一块 RTX 5090 GPU 上运行而前沿模型则通过其提供的 API 进行访问第二对于任务与评测指标作者通过将五种物体与两种目标接收器盘子和碗配对构建了十个真实机器人操作任务。每个任务都需要完成定位、接近、抓取、搬运以及适当放置等步骤物体涵盖多样的物理属性具有刚性几何形状的方块block、形状不规则的香蕉banana、具有滚动物理特性的网球tennis ball、可变形的泰迪熊teddy bear以及需要高精度操作的国际象棋棋子chess piece对于经过微调的开源VLM仅方块、香蕉和网球出现在示范数据中。泰迪熊和棋子则被保留用于分布外OOD评估除上述任务外第5.3节和第5.4节还引入了针对性的情景用于探查更广泛的能力和设计选择最终作者报告成功率和每个回合的平均步数。除非另有说明作者对每个任务在随机物体摆放条件下运行10 次试验。每个回合最多 50 步超时则计为失败第三对于VLM 智能体与执行框架前沿 VLM 作为零样本智能体ZS 模式。除非特别说明作者默认使用 Gemini-3.1 Pro [31] 作为前沿 VLM且将“思考开销”定义为在推理阶段分配给 VLM 的推理预算并设定三个等级——低、中、高——默认使用“中”等级在消融实验中会分析其他 VLM 主干以及不同的推理预算AdaptiveStep 插件使用两种平移步长当目标在腕部视角中可见时使用 2 cm 的精细步长否则使用 4 cm 的粗步长。该简单配置已足以完成基本的抓取-放置任务同时 VLM 无需微调即可灵活适应更细粒度的步长参见第 5.3 节动作历史保留最近 5 个动作。如原论文所说第 3.3 节中的所有插件在默认情况下均被启用除了 Situated Planning 和 VisualPrompt它们仅在需要时被激活微调小型 VLMFT 模式作者默认使用Qwen3.5-2B [72]并在消融实验中分析不同模型容量。且在所有语言模型的线性层上应用 rank-64 的 LoRA [33] 适配器同时冻结视觉编码器和多模态投影层仅更新约 3% 的参数第四对于基线方法作者将本方法与三大代表性机器人控制系统家族进行对比VLA 基线这类方法将观测和指令直接映射为低层级机器人动作包括 π0.5 [9] 和 GR00T [7]为进行可控的公平比较且对二者都进行了微调使用与训练作者 VLM 策略相同的一组示范将其转换为连续末端执行器轨迹以 VLA 为中心的智能体这类方法保留 VLA 作为主要的物理执行模块同时在其外部增加智能体层以实现规划、监控或干预代表方法为 Harness VLA [100]在表中记为 H-VLA和 Goal-VLA [14]在表中记为 G-VLA代码即策略code-as-policy智能体这类方法将高层推理翻译为可执行程序或 API 调用代表方法为 CaP-X [28] 和 RATS [98]第五对于演示数据收集为进行开源 VLM 训练以及可训练的 VLA 基线作者通过 GUMI 使用人类键盘控制以及前沿 VLM 在浏览器界面中的 rollout 来收集演示数据总体上作者在共享 2cm 平移设置下收集了 164 段真实机器人实验轨迹7.8K 个决策步其中7 自由度 Franka 机器人上采集了 101 段5.0K 步单臂 AgileX 机器人上采集了 63段2.8K 步然后作者把微调后的策略与对比的 VLA 基线共同在来自这两种机体形态的演示数据上进行训练————对于 sim-to-real 实验所有对比模型都在 230 段通过相同接口收集的模拟轨迹13.5K 步上进行训练这些数据覆盖两个模拟器其中在 ManiSkill[81] 中使用默认 Panda 机械手采集了 100 段在 RoboLab [90] 中针对 12 个抓取与放置任务共采集了 130 段。更多细节见附录 7.21.3.2 主要结果如原论文所述作者主要评估了三个层级的泛化能力其概括见表 2跨任务设置涵盖所有十个“物体–容器”任务跨环境评估背景、光照、视角、干扰物以及训练阶段或标准测试设置中未出现的仿真到现实sim-to-real分布迁移对于仿真到现实场景可训练方法仅使用通过同一 GUMI 接口在仿真环境中收集的演示数据进行训练并在真实 Franka 机械臂上进行评估跨形体评估 Franka 机械臂与 AgileX 机械臂之间的迁移零样本zero-shot智能体仅通过特定于形体的解释器来切换形体而微调后的策略在来自两种形体的演示数据上共同训练并直接在每个机械臂上进行评估// 待更