数字孪生建模动力学 接触引导强化学习——足式机器人操作的两条主线目录01 ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interaction研究方法研究亮点02 RA-LContact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RL研究方法研究亮点03 结语门、抽屉、洗碗机这类铰链物体和推箱子、搬椅子这类非抓取搬运对四足/移动操作机器人来说难在哪前者一扇门长什么样和推起来什么手感完全是两回事闭门器、弹簧、摩擦这些物理参数从外观根本看不出来后者推和搬属于接触稀疏的非抓取操作接触点找不准RL 策略连任务门槛都摸不到。ETH Zurich Marco Hutter 组联合 NVIDIA 等团队近期连发两篇论文ForceTwin主打“人拿力传感夹爪戳一戳”把铰链物体的完整动力学辨识成物理一致的数字孪生Spot 和 Franka 上 9 组物体-本体组合完成率 87%Contact-Guided Exploration主打多 Critic RL让策略先学会“往哪接触“再学会“干任务”四足机械臂平台真机搬椅子 58 次尝试成功 40 次。两篇一个解决“接触里藏着什么物理”一个解决“该往哪里接触”分别从动力学建模、控制策略两个层面补足足式操作能力ForceTwin 辨识出的门模型正是用来训练 ANYmal 全身开门策略的仿真底座。01 ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interaction手持力传感夹爪人工探查惯参误差比 VLM 先验近乎减半研究方法传统数字孪生管线从视频恢复的主要是运动学物理参数要么靠先验硬赋值要么干脆缺失而状态相关的机构力闭门器随开合角度变力矩、弹簧随压缩变劲度在标准资产格式里没有表达机器人拿到一扇视觉正常的门照样推不开。ForceTwin 的思路是让懂物理的人替机器人做一次“探查”。▲图| ForceTwin 总览手持仪器化交互提供同步工具位姿与接触力辨识铰链模型与动力学生成数字孪生用于控制与仿真仪器化人工探查硬件是一支集成 RGB-D、Project Aria MPS 轨迹追踪和腕部力/力矩传感的手持夹爪人握着它抓物体的可动部件反复开合。探查协议有讲究慢速低加速度运动激励库仑摩擦宽速度范围扫描激励黏性阻尼猛拉快推激励惯量被动跟随看机构响应——一种探查动作对应回归模型里的一项保证参数可辨识。夹爪自身的重力与惯性力先做标定补偿剩下的才是物体真实受力。半参数动力学辨识模型分两截参数项惯量 I、库仑摩擦 μ、黏性阻尼 b用非负约束最小二乘直接估计保证物理有效、可以直接写进模拟器解释不了的部分交给结构化神经残差——一个只看关节角度的构型相关载荷头闭门器、弹簧这类加一个 softplus 输出的方向不对称阻尼头既守住“阻尼非负”的物理底线又不把机构行为硬塞进固定公式。先拟合参数项、再在残差上训网络两阶段顺序进行。▲图| 木门力矩拟合实测力矩对比纯参数模型与加入机构项的模型前馈控制与仿真资产辨识出的模型两条用途一是作为笛卡尔阻抗控制的前馈项机构力矩经物体雅可比映射成末端补偿力Spot 和 Franka FR3 零样本开合真实物体二是导出成 USD 仿真资产在 Isaac Lab 里训练全身开门通行策略部署到带机械臂的 ANYmal 四足木门 5 次真机试验全部通过。研究亮点仪器化人工探查的孪生辨识范式人手持力传感夹爪按激励协议探查一次采集同时解决运动学和动力学辨识——12 轴铰链上轴类型分类 100%、轴位置误差 23mm绕开了“被动录像无法辨识动力学”的根本限制。▲图| Spot 与 Franka FR3 两套机器人本体的零样本基于模型铰接操作真实世界实验结构化神经残差不把所有非线性都丢给黑箱惯量/摩擦/阻尼保持参数化、物理有效机构力单独建模。消融显示加入黏性阻尼力矩误差最多降 12%再加机构项在机构主导物体上再降 67–73%。▲表| 真实机器人铰接操作实验结果实验结果显示5 个真实物体 × 2 台机器人共 9 组组合模型驱动零样本开合完成率 87.3%对比 VLM 先验 59.7%、纯运动学孪生 56.9%强机构物体烤箱、金属门上两个基线完成率不足 5% 完全停滞ForceTwin 达 67–100%惯参误差 29.5% 对 VLM 先验的 53.0%。▲图| 惯性参数估计保真度对比FORCETWIN 与 VLM 先验的误差量化02 RA-LContact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RL专用探索 critic 先教策略往哪接触权重自动衰减再收敛到任务最优▲图| 接触引导探索足式机器人依靠物体中心接触先验完成富接触交互研究方法推箱子、搬椅子这类非抓取操作对 RL 并不“不友好”接触一瞬间的奖励信号极稀疏策略大部分时间在空挥不同随机种子下有的学会接触、有的直接“摆烂”。Contact-Guided Exploration 的解法是把找到接触点从任务里拆出来单独喂一个 critic。▲图| 多评价器Multi-Critic强化学习框架支撑三类非抓取操作任务多 Critic 奖励分解在 PPO 上扩展出三个价值头任务组物体位置跟踪、探索组接触引导、正则组动作平滑与安全每个头独立计算 TD 误差与优势加权混合后更新策略。探索组的奖励非常稠密每次环境重置时从候选点集里采一个 3D 目标接触点奖励末端执行器不断逼近它——把“碰上”这个离散事件变成了连续的距离优化。权重自动衰减探索 critic不是全程在岗训练前期权重大0.1第 5k 到 10k 步线性退火到 0.01先“找到接触”再平滑交还给任务目标避免策略锁死在摸来摸去的次优行为里。同一套调度不加修改地复用于所有任务。抓取算法当接触先验候选接触点来自通用抓取算法 Grasp It Like a Pro 2.0——本来为抓取稳定性设计这里被用作非抓取操作的接触点先验策略因此能泛化到椅腿、洗碗机把手这类复杂几何。底层接一个冻结的预训练 locomotion policy高层只管手臂和基座指令训练用了 15 把 IKEA 椅子加 100 把程序化随机生成的椅子。研究亮点▲图| 不同算法在推箱子、运椅子任务中的成功率与失败类型对比接触引导的探索 critic把稀疏接触问题转化为稠密的“逼近目标点”子任务。消融很直观去掉探索奖励成功率直接归零单 critic 基线漏接触率高达 9.1% 且种子间波动剧烈本文方法成功率 94.1%、倾翻率 4.4%种子标准差不到 1%。通用抓取算法跨几何泛化接触先验不依赖任务定制同一套框架覆盖箱推、椅子搬运、洗碗机开启洗碗机任务还涌现出先拉把手、再切到门板、最后下压的接触序列机械臂关节顶到位置极限的时间步减少 59%。实验结果显示仿真椅子搬运成功率 94.1%真机 ALMA 四足移动操作平台上 4 个未见 IKEA 物体 58 次尝试成功 40 次69%椅子加配重到 6.5kg超过机械臂全展开的额定静态负载仍然完成搬运。▲图| 复杂几何上的接触候选点程序化随机椅子与 IKEA 模型03 结语足式机器人要真干活光会走路远远不够得做到物理世界的“手上有数”——知道门有多沉、椅子该推哪儿。这两篇研究内容分工明确ForceTwin 从数据侧下手把接触里藏着的物理辨识成可仿真的孪生连全身开门策略的 sim-to-real 训练底座都是它提供的Contact-Guided 从策略侧下手让 RL 自己学会往哪里接触、何时收手。一个“人教机器”一个“机器自学”凑成了力与接触这条主线的两个拼块。同时短板在于ForceTwin 每个物体都得单独探查装了东西的抽屉、重新调过的闭门器就得重来迟滞、齿隙这类现象也不在模型能力圈内Contact-Guided 真机依赖外部动捕做物体定位野外部署还差一步侧向接近引发的里程计误差仍是主要翻车原因。距离巡检、配送这类真实作业场景都还有打磨空间但方向上的信号很明确下一代足式操作系统的核心竞争力可能就藏在“力”这个不算起眼的感知通道里。Ref1. ForceTwin: Physics-informed Digital Twins for Robotic Manipulation from Instrumented Human Interactionhttps://arxiv.org/pdf/2609.217512. Contact-Guided Exploration for Non-Prehensile Locomanipulation with Multi-Critic RLhttps://arxiv.org/pdf/2608.28140