26年9月来自京东集团研究院的论文“WLA³: WORLD LATENT ACTION MODELING FOR SEMANTICS, DYNAMICS, AND KINEMATICS”。这篇论文 WLA³ 的核心价值是将异构数据中的“状态变化”转化为统一监督同时用于视觉语言理解、动力学建模和机器人控制。它提供有价值的系统设计和初步实机证据但尚未充分证明学到跨具身、可干预的通用动作空间。如图 1 所示 WLA3 概览。WLAM 从异构的世界状态转换中学习紧凑的局部潜动作及片段级segment-level转换特征。这些表征支持基于潜动作条件的动力学学习、针对 VLM 的直接 SLA 监督以及潜动作与机器人动作的联合生成。一、方法要点一个共享表征服务三个层次作者要解决的问题是人类视频很多但缺少可靠的机器人动作标签不同机器人又有不同控制接口难以直接混合训练。其基本思路是不强求所有数据使用相同动作坐标而是先学习“这段交互使世界发生了什么变化”。WLAM从状态转移提取潜动作。输入前后两个时刻的多视角图像以及可用的机器人本体状态先得到 1024 维转移特征 g再通过变分瓶颈压缩成 32 维潜动作 z。解码器结合初始状态与动作 z重建终点图像和状态。监督不仅包含像素还包含感知、光流、语义、深度和几何特征。因此其表征能力也来自多个预训练视觉模型提供的监督。两项关键约束是跨模态随机丢弃只给部分视角或状态仍要求重建所有已记录目标避免模型依赖某一种输入。重叠窗口一致性时间上重叠的两段转移其潜在动作方向应接近。Dynamics用潜在动作训练世界模型 LAC-WM。世界模型根据当前观察、语言和潜在动作序列预测未来视觉特征使用 Flow Matching 训练。需要注意策略使用的是冻结世界模型提供的特征。本文并未展示部署时通过世界模型搜索、比较候选动作的规划过程。 因而更准确地说这是把动力学学习得到的特征注入策略。Semantics用 SLA 直接监督视觉-语言模型。将连续 30 步的 1024 维转移特征取均值构成片段级目标。视觉语言模型根据当前图像和指令预测这个目标。这样视觉语言模型除了接收动作损失间接传来的梯度还直接学习“该指令对应怎样的一段物理变化”。不过这个“语义”主要是转移特征的语义并非显式语言推理监督。Kinematics用 LARA 联合预测潜动作和真实控制。每一步同时预测 32 维潜动作 32 维机器人动作接口一次生成 30 步人类视频只监督潜在动作分支机器人及适用的 UMI 数据监督两个分支不同机器人的原生控制保留各自含义通过补零和掩码统一维度。后训练阶段移除 SLA 监督保留双动作分支部署时只执行有效的机器人动作坐标。如图 2 所示世界潜动作建模WLAM将相机变换以及若可用时的具身状态变换联合编码为紧凑的潜动作进而重构终点观测。跨模态转换丢弃Cross-modal transition dropout机制促进跨视角与跨具身状态的物理变换共享表征的形成。为确保重叠一致性两个长度为 h 的变换窗口以 δ 步为间隔启动其中 0 δ h从而产生 h − δ 步的重叠。二、创新在哪里证据有多强创新重点在于共享转移表征的组织与使用方式而不是某个全新的基础学习算法。最有说服力的结果是内部消融72.1% → 加世界模型76.3% → 加LARA 79.8% → 加SLA 81.9%。相对于内部基线完整方案提升 9.8 个百分点相对于外部 π₀.₅ 的66.2%提升15.7个百分点。评估架构贡献时前者更有参考价值。另一个值得重视的发现是去掉跨模态丢弃后潜动作分类准确率从67.89%下降到60.46%。这提示多模态信息能否在输入缺失时迁移到单视角路径可能比简单增加输入更关键。如图 3 所示LAC-WM 预训练与通用策略模型的中期训练过程。在 LAC-WM 预训练阶段冻结的 WLAM 从世界状态转移中提取潜动作并结合当前观测与指令对 LAC-WM 进行条件化。在通用策略模型的中期训练阶段经池化处理的 WLAM 特征构成 SLA 目标用于 VLM 的直接监督同时局部潜动作用于监督 LARA。动作专家模块结合 VLM 特征与冻结的 LAC-WM 特征联合预测潜动作与机器人动作。火焰与雪花符号分别标识可训练模块与冻结模块。如图 4 所示 84,100小时训练语料库概览。左侧按数据类别和数据集划分的构成。中间来自真实机器人、UMI、仿真及人类视频数据的代表性样本。右侧物体、动作及子任务的统计数据。底部代表性的机器人形态。如图 5 所示具有代表性的真实场景评估设置。从左至右依次为标准配置Standard改变物体摆放位置及相对空间关系的“空间泛化”设置Spatial改变环境光照条件的“光照泛化”设置Illumination以及采用未见过的桌布纹理的“背景泛化”设置Background。三、主要问题结论还缺哪些环节“状态转移编码”不等于“可控的动作表征”。前后图像变化可能来自机器人动作也可能来自相机运动、外部扰动或物体自发运动。重建这些变化并不能自动分辨哪些变化由主体控制。同样不同动作可能产生相似终点相同动作在不同接触条件下也可能产生不同结果。因而本文的 z 更稳妥的解释是包含动作信息的转移编码其可辨识性与因果含义仍需验证。图8的跨场景生成仅有四组定性例子而且各方法使用自己的解码器无法将画质差异完全归因于潜在动作质量。跨具身对齐有所改善但远未解决。表6中WLAM域内平均分类准确率为 48.38%跨人类—机器人平均只有 20.98%。虽然优于比较方法但域间落差仍很大。对于12类任务均匀随机猜测的参考值约为8.33%20.98%说明存在可迁移信号却不足以支持“已建立统一动作语义空间”的强结论。此外最终机器人动作仍是各具身原生坐标。接口维数统一并不意味着控制语义已经统一。两个时序设计存在潜信息损失。重叠窗口不必具有相同动作方向。 抓取、接触、释放和运动反向附近即使窗口高度重叠也可能对应不同控制阶段。一致性约束可能抹平关键变化。SLA均值池化缺少显式顺序表达。 它不能可靠区分包含相似局部变化、但执行顺序不同的任务。当前观察和指令可能对应多个合理未来用均方误差预测单一SLA目标存在将不同未来平均化的风险。这些是方法层面的风险本文没有通过专门实验确认或排除。平均收益掩盖明显的任务负迁移。图6中从“LARA”到“SLA”Book由 88.6%降至66.5%Stapler由 100%降至83.0%同时其他任务的改善使总体平均分上升。这说明SLA并非稳定增益。可能涉及多任务梯度冲突、监督权重或统计波动但当前报告无法区分。相比平均提升2.1个百分点这些单任务退化更值得追查。实验范围与统计报告不足。实机只覆盖一个平台、六个主要以抓取和放置为主的任务。位置、光照、背景变化有价值但不足以覆盖新技能、新机器人、接触丰富操作和长程任务。正文及附录未充分报告试验次数、随机种子、置信区间等细节因此难以判断小幅收益的稳定性。累积消融也不能独立识别各模块贡献及其交互作用。数据规模、迁移与复现结论需要更谨慎。84.1K小时是整体数据池规模不同阶段使用的数据不同不能理解为全部数据都参与了最终策略训练。5K、10K、20K小时结果支持“该范围内更多中训练数据有益”尚不足以建立普遍的规模规律还需厘清训练计算量和数据混合比例。人类补充实验只在Eraser任务进行且人类示范数量未充分说明。40%→60%是积极信号但不能据此计算机器人数据替代率。模型配置、训练超参数、数据处理、推理延迟等细节披露不足影响复现和部署成本判断。四、下一步工作建议按“验证机制—修复弱点—扩展能力”推进如果只选一个后续研究方向建议聚焦“具有接触事件感知和可干预一致性的跨具身潜动作学习”。这个方向直接针对本文最核心的未解问题让共享编码更明确地表达主体可控制的变化。先用受控实验排除相机和背景干扰再检验同一潜在动作在不同机器人上能否产生一致的对象运动或接触效果最后验证它是否真正减少新任务所需的机器人示范量。这样的证据链比单纯继续扩大数据量更能支撑方法上的进一步创新。