VR全身遥操作实战GR00T-WholeBodyControl配PICO实现跪地、跳跃、双手协作等8种高难度动作【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControlGR00T-WholeBodyControl是 NVIDIA 开源的人形机器人全身控制Whole-Body Control, WBC统一平台支持 Decoupled WBCGR00T N1.5/N1.6 所用控制器与最新的 GEAR-SONIC 全身行为基础模型。本教程带你用PICO VR 头显 全身动捕完成一次真人动作 → 机器人动作的低延迟全身遥操作让 Unitree G1 人形机器人跟随你完成跪地、下蹲、前跳、爬行、双手协作搬运等高难度动作。全程只需 3 个终端命令即可在 MuJoCo 仿真中跑通。️ 效果预览3点/全身 VR 遥操作下方演示使用 SONIC Low-Latency 检查点约 80 ms 参考前瞻完成全身追踪与地面拾取动作响应明显更快遥操作脚本位于 gear_sonic/scripts/pico_manager_thread_server.py完整操作文档见 docs/source/tutorials/vr_wholebody_teleop.md。 开始前的硬件清单设备数量说明PICO 4 / PICO 4 Pro 头显1负责头部与双手追踪PICO 手柄2按键控制 手部追踪PICO 动作追踪器2绑在左右脚踝实现下半身追踪高速低延迟 Wi-Fi1 套头显与工作站同网段网络质量直接决定体验⚠️ 安全提示务必穿紧身裤或打底裤保证脚踝追踪器对头显摄像头无遮挡全身遥操作涉及快速敏捷动作请始终保持安全空域并安排一名安全员待命。 一次性配置4 步装好 PICO 遥操作环境完整图文版见 docs/source/getting_started/vr_teleop_setup.md这里只列关键步骤。第 1 步安装 XRoboToolkitPC 服务 PICO 端 AppXRoboToolkit 由两部分组成运行在工作站上的 PC 服务和运行在头显里的 PICO App后者负责把全身追踪数据流式推送给 PC。仓库已内置 Jetson 平台安装包 gear_sonic_deploy/thirdparty/roboticsservice_1.0.0.0_arm64.debSDK 源码在 external_dependencies/XRoboToolkit-PC-Service-Pybind_X86_and_ARM64/。第 2 步绑脚踝追踪器并配对校准将两个追踪器分别绑在左右脚踝指示灯一侧朝上并在 PICO 设置中关闭 Safeguard、重新配对追踪器最后按住蓝色Calibrate按钮完成两段校准站立静止 → 低头对准脚踝追踪器第 3 步一条命令装好 Python 环境在仓库根目录执行详见 install_scripts/install_pico.shbash install_scripts/install_pico.sh source .venv_teleop/bin/activate # 提示符变为 (gear_sonic_teleop)该脚本自动创建.venv_teleop虚拟环境Python 3.10包含 ZMQ、Pinocchio、MuJoCo、XRoboToolkit SDK 与 Unitree SDK2 绑定无需手动装依赖。第 4 步连接 PICO 到工作站确认头显与 PC 在同一 Wi-Fi 网段在 PICO 控制中心查看本机 IPv4 地址然后在头显内的 XRoboToolKit App 中填入工作站 IP状态显示WORKING即连接成功勾选 Head、Controller 追踪开启Send并选择Full body模式 三步跑通仿真中的全身遥操作确认已按 docs/source/getting_started/quickstart.md 完成部署安装与模型下载python download_from_hf.py遥操作更跟手可选--low-latency然后开3 个终端终端命令作用1python gear_sonic/scripts/run_sim_loop.pyMuJoCo 中的虚拟 G1 机器人2cd gear_sonic_deploy source scripts/setup_env.sh ./deploy.sh --input-type zmq_manager simC/TensorRT 控制主循环等出现 Init done3python gear_sonic/scripts/pico_manager_thread_server.py --manager --vis_vr3pt --vis_smplPICO 遥操作流带可视化窗口--input-type zmq_manager会在规划器模式ZMQ 运动指令与全身动作流模式PICO 的 SMPL 姿态间自动切换。部署入口为 gear_sonic_deploy/deploy.shC 推理栈源码在 gear_sonic_deploy/src/g1/。首次操控会话4 个按键走天下摆校准姿势直立并脚站立、上臂下垂、前臂向前弯 90°肘部呈 L 形、掌心朝内按ABXY启动策略并完成全身全零校准CALIB_FULL手臂与机器人当前姿态对齐后按AX进入POSE全身遥操作模式——你动它就动再按AX回到PLANNER空闲模式按ABXY急停关机。常用按键速查表操作按键说明启动/急停策略ABXY首次按下启动全身校准再按紧急停止POSE 全身遥操作AXPLANNER ↔ POSE 切换上身冻结行走BYPOSE ↔ PLANNER_FROZEN_UPPER3点 VR 控制左摇杆按下进入 VR_3PT头双手触发腕部重校准手部抓握扳机键控制对应手部开合实现双手协作移动方向 / 转向左摇杆 / 右摇杆前进、后退、横移 / 偏航切换运动模式AB / XY循环切换 20 种运动技能⚠️ 每次切入 POSE 或 VR_3PT 前先让身体姿态与机器人当前姿态对齐否则机器人会出现猛烈的补偿动作。 8 种高难度动作实战在规划模式下用AB / XY循环运动模式用AX随时切到 POSE 模式用你的身体直接演给机器人。下表是本教程主角ID动作玩法提示4下蹲 Squat下蹲后保持POSS 模式下双手可自由操作5 / 6双膝跪 / 单膝跪低姿态近地作业入口7俯卧与爬行衔接8爬行 Crawling肘爬/手爬组合配合左右横移17前跳 Forward Jump低延迟检查点下起跳时机更准18潜行 Stealth Walk压低重心的快走19受伤跛行 Injured Walk单腿支撑的失衡步态POSE 双手协作双手抓握 地面拾取扳机开合双手演示视频中有完整下蹲拾取流程对应的技能视频资产在 docs/source/_static/kinematic_planner/遥操作全流程录像在 docs/source/_static/teleop/含进阶动作、双手操作与自然运动示例。️ 安全与故障排查紧急停止PICO 手柄按ABXY或在 C 终端直接按键盘O立即停机追踪飘忽优先排查网络5 GHz 优先、脚踝追踪器是否被衣物遮挡、Safeguard 是否已关闭VR_3PT 校准失败左摇杆冻结上身 → 重新对齐手臂 → 按 AX 切回 POSE 复位真机部署前请先关掉仿真进程run_sim_loop.py两者同时运行会冲突。 延伸模块路径VR 遥操作教程docs/source/tutorials/vr_wholebody_teleop.mdPICO 硬件安装docs/source/getting_started/vr_teleop_setup.mdPICO 环境一键安装脚本install_scripts/install_pico.shPICO 数据流服务含模式状态机gear_sonic/scripts/pico_manager_thread_server.pyC 推理与 ZMQ 协议gear_sonic_deploy/src/仿真主循环gear_sonic/scripts/run_sim_loop.py遥操作数据导出用于 VLA 训练gear_sonic/scripts/run_data_exporter.py低延迟检查点观测配置gear_sonic_deploy/policy/release/observation_config_low_latency.yaml掌握以上流程后你还可以把遥操作数据导出为 VLA 训练集见 docs/source/tutorials/data_collection.md让 G1 在 SONIC 全身控制之上学会真正的自主操作技能。祝你操控愉快【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考