新闻详情

新闻详情

首页 / 资讯中心 / 详情

HuRo:将人类视频转化为机器人数据,实现可扩展的 VLA 预训练

发布时间:2026/9/25 20:11:22来源:尧图网络
HuRo:将人类视频转化为机器人数据,实现可扩展的 VLA 预训练
26年8月来自韩国rlwrld.ai公司和延世大学的论文“HuRo: Robotizing Human Videos for Scalable VLA Pretraining”。本文研究如何将人类操作视频转换成机器人训练数据。它的重要贡献是建立并验证了一条大规模数据生产路线;实验支持其预训练价值,但尚不能说明生成的数据具有可靠的物理可执行性。一、论文概述机器人训练面临一个现实问题:真实机器人示范昂贵,人类操作视频却很丰富。但人类与机器人在外观、身体结构、关节和动作空间上存在差异,不能直接把人类视频当作机器人示范。HuRo 的做法是对视频进行“机器人化”:画面转换:擦除人的手臂,再叠加渲染的机器人。动作转换:恢复人手的三维运动,映射为机器人的手腕与手指运动。语言标注:生成描述操作内容的指令。最终得到“图像—语言—机器人状态—动作”配对数据,用于视觉—语言—动作模型(VLA)预训练,再用少量真实机器人示范微调。作者整合五个人类视频数据源,构建了约 63 万条片段、1.422 亿帧、1,317 小时的数据集。如图 1 所示面向现实世界操作任务的 HuRo 预训练概览。利用“视觉机器人叠加”(visual robot overlay)和“动作重定向”(motion retargeting)技术,将海量人类活动视频转化为机器人操作片段。由此生成的片段包含语言指令、机器人状态及动作数据,可用于 VLA 策略的预训练。在经过下游微调后,基于更大规模 HuRo 子集预训练的策略在现实世界操作任务中展现出了更优的性能。二、主要想法:同时对齐“看到的身体”和“要执行的动作”论文认为,仅从人类视频中学习视觉知识,或者只提取动作而保留人类画面,都没有充分解决人机差异。其方法可以概括为:人类视频 → 恢
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

Linux驱动开发笔记-----认知篇・设备树与现代驱动体系1 2026/9/25 20:47:20

Linux驱动开发笔记-----认知篇・设备树与现代驱动体系1

目录 第1章 为什么现代驱动必须用设备树 本章目标 一、先看一个真实场景:同一个LED驱动的两种命运 1. 老式驱动的写法:硬编码硬件参数 2. 设备树驱动的写法:硬件信息抽离 二、老式硬编码驱动的三大核心痛点 1. 移植性极差 2. 代码冗余…

阅读更多 →
SQL Server存储过程实战:从入门到生产级避坑指南 2026/9/25 20:47:13

SQL Server存储过程实战:从入门到生产级避坑指南

简介:本资源是一份面向SQL Server初学者与数据库开发人员的存储过程实践入门包,聚焦核心语法、参数传递与典型业务场景应用。压缩包内含3个SQL脚本文件(共4KB),涵盖供应链报表生成(proc_SCM040901RPT.sql、…

阅读更多 →
6,700万美元融资!全球规模最大的患者组织训练数据集 2026/9/25 20:47:13

6,700万美元融资!全球规模最大的患者组织训练数据集

帕洛阿尔托初创企业Network Bio获5,000万美元融资,依托50万份患者病历构建AI模型#cfRNA #多组学 #AI生物医药 #基础大模型 #液体活检 #医疗AI融资 #生物样本库 #Nexus模型Source: Igor Omilaev on Unsplash1家位于帕洛阿尔托的生物技术初创公司结束隐匿运…

阅读更多 →
具身智能中的协同机制(5):TVA、VLA、World模型的综合性协同作用 2026/9/25 20:47:07

具身智能中的协同机制(5):TVA、VLA、World模型的综合性协同作用

前沿技术探索:TVA智能体(简称TVA) TVA智能体(亦称“AI智能体视觉”)是依托Transformer架构与“因式智能体”理论构建的新型工业视觉系统,也是当前最具代表性的具身视觉技术之一。它有机融合深度强化学习(DRL)、卷积神经网络(CNN)与因式分解算法(FRA),构成了具身智…

阅读更多 →
linux之http传输层协议 2026/9/25 20:47:00

linux之http传输层协议

目录 一、手写原稿第一页(确认应答与序号) 二、手写原稿第二页(流量控制与标志位) 三、拼接的打字稿(标志位、握手挥手、序号丢包、连接管理、滑动窗口) 四、存疑读法汇总,请核对1.通信过程1、C…

阅读更多 →
CRM客户管理系统源码部署与二开指南:从线索到应收款的业务闭环实现 2026/9/25 20:46:53

CRM客户管理系统源码部署与二开指南:从线索到应收款的业务闭环实现

简介:这是一套面向中小企业的旗舰版客户关系管理(CRM)系统源码,覆盖市场、销售、采购、库存、售后全流程,适合需要统一管理客户资料、实现业务自动化的企业管理者与二次开发人员。资源包共1905个文件、约11.92MB&#…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉