Psi0在SIMPLE仿真器跑基准测试数据生成到3级域随机化评测完整指南【免费下载链接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.项目地址: https://gitcode.com/gh_mirrors/ps/Psi0 本文带你完整走一遍Psi0开源人形 VLA 基础模型在SIMPLE 仿真器中跑基准测试的全流程从运动规划/遥操作数据生成、模型微调、策略服务部署到level-0/1/2 三级域随机化评测并给出成功率统计与常见坑的解决方法适合想复现论文结果或评测自己的 VLA 模型的新手。一、先认识 Psi0 与 SIMPLE 仿真器Psi0 (Ψ₀)是一个面向通用人形运动-操作Universal Humanoid Loco-Manipulation的开源视觉-语言-动作VLA基础模型。它的架构分为三层System-2VLM 骨干基于 Qwen3-VL-2B-Instruct从第一视角图像和语言指令中提取语义特征System-1动作专家约 500M 参数的多模态扩散 Transformer预测整身连续动作块System-0底层控制器基于 RL 的跟踪控制器执行下半身动作指令保证物理稳定。SIMPLE则是 Psi0 官方选用的人形机器人基准测试仿真器基于 MuJoCo 物理引擎 Isaac Sim 渲染内置 G1 人形的整机操作任务移动抓取、弯腰拾取等并自带datagen数据生成与 eval评测两套 CLI是复现论文结果的标准考场。二、环境准备一键拉起 Psi0 SIMPLE 运行时 仓库内置了third_party/SIMPLE子模块推荐用第三方依赖方式安装 SIMPLE最适合评测 Psi0 与全部基线git clone https://gitcode.com/gh_mirrors/ps/Psi0 cd Psi0 git submodule update --init --recursive仓库用 uvenv -u LD_LIBRARY_PATH nix --extra-experimental-features nix-command flakes develop source .venv-psi/bin/activate GIT_LFS_SKIP_SMUDGE1 uv sync --all-groups --index-strategy unsafe-best-match --active cp .env.sample .env # 填入 HF_TOKEN / WANDB_API_KEY / PSI_HOMEuv sync会把psi和simple都装成可编辑包之后即可直接import simple。验证安装python -c import simple; print(simple.__version__)⚠️ 不要手动把third_party/SIMPLE/src加进PYTHONPATH仓库级uv sync已经处理好了。三、数据生成两种方式来造训练数据SIMPLE 提供两种数据生成方式产出的都是 LeRobot 格式数据集方式特点适用场景运动规划CuRobo MP全自动、可批量任务以MP结尾如G1WholebodyXMoveAndPickMP-v0遥操作Teleop更拟人、上限更高任务以Teleop结尾如G1WholebodyXMovePickTeleop-v0 快速验证数据生成仅生成 1 条 episodeDR 级别 0python -m simple.cli.datagen \ simple/G1WholebodyXMoveAndPickMP-v0 \ --sim-mode mujoco_isaac \ --headless \ --data-format lerobot \ --save-dir $PWD/third_party/SIMPLE/data/datagen \ --num-episodes 1 \ --dr-level 0常用参数--scene-uid选择场景实例、--target-object指定目标物体、--eval只生成评测环境配置。不想自己生成数据官方已放出 6 个整机任务含G1WholebodyBendPick、G1WholebodyXMovePick等的预采仿真数据与simple-eval评测集直接下载解压到data/simple/data/evals即可跳过本步。四、微调 Psi0一条命令开训数据就位后用官方训练脚本微调以 BendPick 任务为例超参见 scripts/train/psi0/finetune-simple-psi0.shexport taskG1WholebodyBendPick-v0 bash scripts/train/psi0/finetune-simple-psi0.sh $task关键配置一览骨干冻结no-tune-vlm只训 500M 动作专家动作块长 30 步、动作维度 3636-DoF 整身动作RTC实时控制开启max-delay8学习率 1e-4cosine 衰减建议全局 batch size 保持 128设备 batch × GPU 数 × 梯度累积。训练产物run dir位于项目根目录.runs下之后评测时通过--run-dir--ckpt-step定位 checkpoint。显存紧张可加--train.optimizer-foreachfalse换时间省显存。五、启动策略服务连接 SIMPLE 评测客户端Psi0 以 HTTP 服务方式暴露策略推理SIMPLE 评测客户端通过host:port拉取动作块export run_dir.runs 下的训练目录 export ckpt_stepcheckpoint 步数 uv run --active --group psi --group serve serve_psi0 \ --host 0.0.0.0 --port 22085 \ --run-dir$run_dir --ckpt-step$ckpt_step \ --action-exec-horizon24 --rtc服务启动后curl -i http://localhost:22085/health返回正常即代表就绪。️ 由于 Isaac Sim 资源开销大官方推荐把 VLA 服务部署在远程 GPU 服务器本地机器只跑仿真ssh -L 22085:localhost:22085 useryour-server # 端口转发六、核心环节3 级域随机化评测怎么跑 SIMPLE 为每个任务都提供了三档域随机化domain randomization评测集级别含义用途level-0基础场景验证策略基本正确性level-1中等随机化检验一定鲁棒性level-2强随机化压力测试泛化上限先下载对应评测集并解压到data/evals/simple-eval/$task/$dr然后按任务来源选对入口任务以Teleop结尾遥操作数据训练→ 入口eval_decoupled_wbc.py agentpsi0_decoupled_wbc任务以MP结尾运动规划数据训练→ 入口eval.py agentpsi0export taskG1WholebodyXMovePickTeleop-v0 export drlevel-0 export entryeval_decoupled_wbc.py export agentpsi0_decoupled_wbc python src/simple/cli/$entry \ simple/$task $agent $dr \ --hostlocalhost --port22085 \ --sim-modemujoco_isaac \ --no-headless \ --data-formatlerobot \ --data-dirdata/evals/simple-eval/$task/$dr想三档全跑循环for dr in level-0 level-1 level-2; do ... done即可各基线H-RDT、EgoVLA、π0.5、ACT、Diffusion Policy的同样流程分别写在 examples/quick_start/hrdt.md、examples/quick_start/egovla.md、baselines/pi05/README.md 等文档中。懒人方案一条命令起服务 跑评测仓库提供了开箱即用的 examples/simple/simple_eval.py自动挑选空闲端口、拉起serve_psi0_simple服务、等待就绪后运行EvalRunner结束后打印success_rate与日志路径source .venv-psi/bin/activate python examples/simple/simple_eval.py \ --run-dir /path/to/.runs/finetune/xxx \ --ckpt-step 40000 \ --env-id simple/G1WholebodyBendPick-v0 \ --data-dir $DATA_HOME/G1WholebodyBendPick-v0-psi0 \ --num-episodes 10 \ --save-video策略 rollout 视频与结果日志统一输出在third_party/SIMPLE/data/evals/psi0评测完成即交卷✅。七、常见问题与调优技巧单条 episode 要 6~10 分钟正常现象——SIMPLE 在 Isaac Sim 中使用同步渲染 API渲染本身耗时属预期行为评测集路径必须指向simple-eval中对应任务的该 DR 级别目录--data-dir与dr参数要一致评测通过标准--success-criteria默认 0.9即目标物达到 90% 位置/姿态容差记为成功--max-episode-steps默认 360 步多 worker 加速加--num-workers可并行评测多条 episodelerobot 加载报stack(): ... not Column说明环境里的lerobot版本与 SIMPLE 不一致执行uv sync --group psi --active重新同步即可见 README.md 的 Troubleshootings。八、关键资料速查资料路径环境搭建总指南examples/quick_start/psi.mdSIMPLE 库/CLI 用法examples/quick_start/simple.md一键评测脚本examples/simple/simple_eval.pySIMPLE 评测说明Docker/nixexamples/simple/README.mdPsi0 微调脚本scripts/train/psi0/finetune-simple-psi0.sh离线开环评测 notebookexamples/simple/openloop_eval.py基线模型评测文档baselines/README.md模型架构与检查点清单README.md 至此你就完整掌握了Psi0 在 SIMPLE 仿真器中的基准测试全流程环境 → 数据生成 → 微调 → 部署 → 三级域随机化评测。接下来不妨挑一个MP任务先跑 level-0 验证链路再逐级加压看看你的模型能扛到 level-几。【免费下载链接】Psi0[RSS26] Welcome to Psi-Zero, a Humanoid VLA towards Universal Humanoid Intelligence.项目地址: https://gitcode.com/gh_mirrors/ps/Psi0创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考