我第一次在命令行里跑通一个VLA模型的推理时第一反应不是“哇好厉害”而是“这玩意怎么这么像LLM”。输入一段自然语言指令传入一张摄像头画面模型吐出一串动作位姿机械臂就开始动。整个过程不需要写状态机不需要标定任务栈也不需要人肉设计奖励函数。直到我尝试把一段比较长的指令喂进去服务直接提示 invalid prompt被安全策略拦下——那一刻我才真正意识到VLA的调用方式既像ChatGPT又完全不是ChatGPT那回事。这篇内容适合三类人想入行具身智能、正在对着“具身智能学习路线”找方向的学生已经在做机器人控制、想搞清楚VLAVision-Language-Action到底怎么把视觉语言模型接进动作空间的工程师以及准备“具身智能面试”、需要把VLA原理讲透的求职者。我会从范式转变讲到架构拆解从Diffusion Model的动作头讲到Prompt的任务接口设计再带你在LIBERO上完整跑一遍测试最后聊几个面试高频问题的回答思路。1. 为什么VLA会站在具身智能的十字路口1.1 从“手写规则”到“喂数据”机器人控制的三次转向传统机器人控制的核心是“建模求解”建立运动学模型、动力学模型然后用工控机去解MPC或LQR。这套方法的优点是可控性强安全边界清晰缺点是任务泛化能力极差——换一个物体、换一个背景光照可能就要重新调参数甚至重新建模。我做过工业机械臂项目深刻明白“一个螺丝拧一年”这句话不是玩笑很多时候不是控制器不行而是你根本没法把“拧螺丝”这件事的所有边缘情况写成规则。第二次转向是端到端模仿学习。用神经网络直接从像素映射到动作典型如DAgger、BC等算法。这在仿真环境里效果还可以但到了真实世界数据量不够、状态分布偏移严重稍微偏离训练分布就崩。而且当时的网络结构基本都是CNNMLP根本吃不下“语言指令”这种强语义输入任务只能用one-hot类别编码等于给每个任务单独训一个模型。第三次转向就是大模型入场。2022年底到2023年RT-1、RT-2陆续出现Google先把语言条件引入机器人策略再直接把视觉语言模型VLM当成策略网络用。这时候“具身智能agent”才真正有了解释——它不再是“感知-规划-控制”三段式拼装而是把语义理解直接折叠进动作生成里。1.2 VLA到底解决了什么把语义压缩进动作空间VLA的关键词是 Vision-Language-Action但请记住它不是“视觉语言动作”三个模块的简单拼接而是把视觉观察和语言指令共同编码成条件然后在一个网络里直接生成动作。这意味着三件事任务描述从“0号任务”变成了自然语言你可以用任意人类可读的句子指定任务多任务共享一套参数不需要为每个任务单独维护策略语言模型的语义理解能力可以直接迁移到控制比如“把红色的杯子放在盘子里”模型不需要你提前告诉它哪个是红色、哪个是杯子。我个人的理解是VLA真正的贡献不是“能用一个模型做很多任务”而是把控制问题重新形式化为“条件生成问题”。这个视角的转变才是后面所有Diffusion、Flow Matching等生成式控制方法能够移植过来的根本原因。1.3 一个容易被忽略的前提VLA能吃到的数据长什么样谈VLA绕不开数据。它的训练数据通常长这样一段第三人称或腕部相机录制的机器人操作视频加上对应的语言指令再加上每一帧的动作状态通常是7维3维位置、3维姿态、1维夹爪开合。这个数据格式决定了VLA的输入输出边界输入是图像序列加文本输出是动作序列。看起来和VLM训练数据差不多但微妙之处在于——动作序列是连续的高频信号通常10Hz到50Hz而语言指令是稀疏的、离散的。怎么把这两者对起来就是VLA架构设计的核心矛盾之一。所以你在读VLA综述时会发现所有模型都在回答同一个问题动作到底应该以什么形式“长”在语言模型上这个问题没有唯一答案这就是为什么市面上有离散动作token派、连续回归派、Diffusion派、Flow Matching派。下面逐一拆。2. VLA架构逐层拆解视觉编码器、语言主干与动作头2.1 视觉编码器不只是“看图”而是要把观察变成TokenVLA的输入侧基本沿用VLM视觉语言模型的做法。图像先经过视觉编码器变成视觉token再和文本token拼接后一起送入语言模型。视觉编码器常见选择有CLIP系列OpenVLA用的SigLIPDINOv2等自监督视觉特征ViT直接微调。选哪个不是随意的。CLIP特征天然对齐了语言语义适合需要理解“物体的语义属性”比如颜色、类别的任务DINOv2特征更强调几何结构和物体一致性适合需要精细操作的场景。实际工程里很多人会同时抽CLIP和DINOv2的特征然后拼接这也是很多VLA模型会标注“使用两种视觉骨干”的原因。一个值得注意的细节是视觉token的数量直接决定显存占用和推理时延。以OpenVLA为例SigLIP会把224x224的图像切成256个patch token序列长度一下就上去了。所以在落地时很多人会做视觉token降采样或直接减少输入帧数牺牲一点点成功率换实时性。2.2 语言主干VLM承担任务理解LLM不一定够主干网络一般有两种思路直接用预训练VLM微调比如RT-2、OpenVLA用的是PaLM-E或Llama-2作为语言底座先通过Projector把视觉特征对齐到语言特征空间再和文本一起过LLM比如类LLaVA结构。这里有一个容易踩的认知误区不是随便拿一个LLM就能做VLA。语言模型必须理解“空间关系”和“指令意图”但很多纯文本LLM对空间位置并不敏感。所以在VLA训练里语言模型部分的参数往往需要解冻和微调而不是像做RAG那样冻结。我自己实测下来冻结语言主干去做VLA指令跟随准确率会明显偏低尤其在对空间关系的理解上差得非常多。也正因为如此很多VLA论文会强调“使用7B量级以上的模型”因为太小的语言模型根本装不下足够复杂的语义-动作映射这也是VLA模型普遍比较大的原因之一。当然这不等于说小模型没戏后面在效率优化部分我会再提。2.3 动作头VLA和VLM的分水岭普通VLM输出的是文本tokenVLA如果要控制机器人就必须多一个“动作输出口”这就是动作头Action Head。动作头基本决定了模型的输出形式和控制风格也是本文后续两章的核心主题。常见的动作头设计有几类离散动作token把动作每个维度离散成若干个bin当成文本token一样生成典型是RT-2连续回归头直接回归动作向量简单粗暴典型是Octo早期版本Diffusion/Flow matching头用生成模型去噪出动作序列典型是π0、GR00T N1混合专家动作头不同任务类型走不同动作专家π0给灵巧手和移动基座设计了不同专家也属于这种。判断一个VLA模型是否适合你的场景主要看动作头的设计如果你只需要6自由度协作臂抓取离散token或连续回归完全够用如果需要高频、平滑、多峰的动作分布比如双手操作、柔性物体操作Diffusion类动作头明显更可靠。3. 生成式控制的两条路线自回归动作Token与Diffusion Policy3.1 为什么朴素回归做不好机器人控制很多人第一次接触VLA时会问既然视觉和语言都能编码那直接接一个全连接层回归动作不就行了吗理论上可以但实践效果很差核心原因是动作分布不是单峰的。给你举一个例子“把盘子推到桌子中央”。人类的操作轨迹可能是从左边推、从右边推、先抬一点再推——多种方式都算成功动作分布天然是多峰的。如果用均方误差去回归模型学到的是这些轨迹的平均值结果往往是一条“什么都不像”的中间轨迹可能撞到障碍物或者动作软绵绵地原地磨蹭。这就是所谓“回归到均值”问题。生成式控制就是绕开“直接回归”的路线改用生成模型去采样动作让它能保留多峰分布。再直白一点传统控制是在解一个函数 yf(x)生成式控制是在建模一个条件分布 p(action | observation, instruction)再从中采样。3.2 RT-2式自回归把动作当成语言一样生成RT-2是这条路线最有代表性的模型。它把动作每个维度的数值离散为256个bin然后作为一个特殊token追加到输出序列里动作生成就被转化成和文本生成一样的next token prediction问题。这么做的好处非常明显整个框架极其简单不需要额外设计输出头VLM的训练和推理管线直接复用语言模型说token的本能直接变成说动作。缺点同样明显一是离散化必然带来精度损失7自由度动作要离散成256个bin坐标精度肯定不如连续值二是自回归生成是逐token解码的动作序列一长推理时延线性增长机械臂控制器通常要求10Hz以上的刷新率自回归很吃力三是误差累积动作token是一个一个蹦出来的前面token错一点后面就会越来越偏。不过这不妨碍RT-2成为教科书级工作。没有它后续所有“VLA就是把动作当成token”的思路都不会出现。3.3 Diffusion Policy从图像生成迁移到动作生成Diffusion Model大家不陌生Stable Diffusion画图就是这套东西。它的核心逻辑是先定义“加噪”和“去噪”两个过程训练时往动作序列里逐步加高斯噪声直到完全变成噪声推理时从纯噪声出发在视觉-语言条件的引导下逐步去噪还原出动作序列。为什么Diffusion适合动作生成因为它本身就是为“多峰分布”设计的。生成图像时它能画出同一只猫的无数种姿势生成动作时它自然也能生成同一指令下的多种合理轨迹。另外Diffusion去噪过程是在整个动作序列上迭代修整的不是像自回归那样一个token接一个token地硬憋因此出来的动作天然更平滑、更连贯。具体到实现层面Diffusion Policy通常用一个U-Net或Transformer作为去噪网络输入是“带噪动作当前时间步t的embedding视觉语言条件”输出是噪声估计。训练用的损失函数就是简单的MSE预测噪声和真实噪声的差。代码层面核心训练循环大概长这样# 伪代码理解为主 def train_step(batch): obs batch[obs] # 视觉观测 lang batch[lang] # 语言指令 action batch[action] # 真实动作序列shape(horizon, action_dim) # 随机采样时间步 t torch.randint(0, num_timesteps, (action.shape[0],)) # 对动作加噪 noise torch.randn_like(action) noisy_action q_sample(action, t, noise) # 前向加噪 # 条件编码 cond encode(obs, lang) # 用网络预测噪声 pred_noise denoiser(noisy_action, t, cond) # MSE损失 loss F.mse_loss(pred_noise, noise) loss.backward()推理时用DDIM等采样器一般1020步就能出比较稳定的动作序列。从真实部署角度我建议先试20步效果稳定后再往10步压不要一上来就追求低步数动作输出抖动会很严重。3.4 Flow Matching 与 π0Diffusion的“快进版”Diffusion虽好但迭代步数多、推理成本高这在机器人实时控制里很致命。Physical Intelligence在π0里用了Flow Matching替代传统Diffusion思路可以理解为“让噪声以直线路径流向数据”Diffusion的去噪路径是曲线需要很多步去修正Flow Matching学习的是一个速度场让样本沿着直线从噪声分布流到数据分布自然步数更少。实际效果就是π0能用410步就完成动作生成精度和稳定性还比很多几十步的Diffusion更好。这也是为什么我看到越来越多论文和项目把动作头从DDPM改成Flow Matching说它是“Diffusion的快进版”虽然不完全严谨但抓住了核心差异。π0还有一个工程细节很值得学它给不同类型的动作移动基座、机械臂、灵巧手分配了不同的动作专家各自用Flow Matching生成然后由一个统一的Transformer调度。这类“专家混合”设计让同一个模型可以输出异构动作比如底盘用二维速度、夹爪用开合角度、机械臂用七维位姿互不干扰。这比硬把所有动作塞进同一个向量要合理得多。4. Prompt在VLA里不只是提示词任务接口的工程学问4.1 指令措辞如何影响动作分布大语言模型时代大家习惯了“prompt engineering”觉得多试几次措辞总能调对。但VLA里的Prompt承担的是任务接口不是角色设定——它直接决定模型去哪个动作分布里采样。我做一个真实对比给你看。同一段操作视频用“put the bowl on the plate”训练模型学到的是“拿起碗、放到盘子上”换成“move the bowl to the plate”模型学到的可能是“推动碗直到它到达盘子”。语义几乎一样但动作模式差很多。所以在VLA里prompt不是随便写写就行它必须和训练数据里标注指令的方式保持一致。这也是为什么我们在实际项目中会严格规定指令模板不允许用户自由发挥。对新手我建议参考Romo、RT-2这类开源数据集里的指令写法先写主谓宾结构再加空间关系或目标状态。比如“pick up the red mug on the table and place it in the tray”这样的指令模型理解起来远比“handle the mug”容易。4.2 推理时的模板一致性比想象中更重要很多VLA模型在训练时会把指令套进一个固定的模板比如“[INST] {instruction} [/INST]”或者“Task: {instruction} Action:”。如果你在推理时换了模板比如多加了一个“please”或者把指令放在不同位置效果可能会莫名其妙地掉点。原因在于语言模型对指令位置的注意力分配是训练出来的。训练时指令总在序列开头推理时突然放到中间模型对任务语义的感知就会变弱。我自己就踩过这个坑原本在LIBERO上成功率能到80%为了“更自然”地在指令后面加了一句“please do it”成功率直接掉到60%出头。排查了整整两天最后发现就是模板不一致。所以在VLA落地上我强烈建议尽量复用模型自带的指令模板不要自创如果需要多语言或自定义格式先做一批数据做微调不要直接硬套指令长度控制好很多VLA模型对token数量有上限超出后表现为输出动作异常而非报错特别迷惑人。4.3 部署时常见的Prompt翻车现场除了模板问题部署时还会踩到两类和Prompt相关的坑。第一类是安全过滤器误伤。在一些云端推理服务里输入的文本会经过一层安全策略检查如果你的指令里含有某些词服务会直接拒绝报 invalid prompt 之类的错误。对于机器人控制这种场景指令经常包含“拿刀”“切”等动作词很容易被误杀。解决的办法不是绕过过滤器而是改写指令用更安全中性的表述比如“pick up the cutter”比“cut the fruit”更容易通过同时也不影响任务本身的语义。第二类是长指令截断。VLA模型的输入序列往往包含多帧图像留给文本的空间本来就有限。如果指令写得太长后面的内容会被截断尤其是关键的目标物体往往写在句尾一截就没了。我的做法是重要信息前置。把核心任务动词和目标物体放最前面修饰性描述往后放这样即使被截断模型还能拿到主干信息。5. 在LIBERO上把VLA跑起来环境准备与调参心得5.1 LIBERO到底在测什么LIBERO是机器人操作领域目前最常用的VLA基准之一。它不是单一任务集而是一组精心设计的任务套件核心是测试模型在不同维度上的泛化能力LIBERO-Spatial测试空间关系理解能力比如“把碗放在盘子左边/右边”LIBERO-Object测试物体属性理解能力比如“把红色的物体放进碗里”LIBERO-Goal测试长程任务规划能力任务步骤更多目标状态更复杂LIBERO-100一个包含100个任务的综合性大套件测试多任务学习能力。LIBERO用的是仿真的桌面机械臂平台基于MuJoCo物理引擎每个任务都能给出确定性的成功判定。对于研究者和初学者来说LIBERO最大的价值是让你在一个可控环境里比较不同VLA模型不需要买真实机械臂就能复现论文结果。5.2 从零跑通一次评估的完整流程我以OpenVLA在LIBERO上的测试为例给你梳理一遍完整流程。第一步准备环境。推荐用Anaconda创建独立环境Python版本3.9或3.10避免系统Python环境被污染。conda create -n libero python3.9 conda activate libero pip install libero如果你是在命令行终端里执行注意不要用Anaconda Prompt自带的base环境直接装依赖冲突的概率非常大。第二步安装依赖。LIBERO依赖robosuite、MuJoCo等仿真套件其中robosuite建议使用LIBERO官方fork的版本直接装官方版本可能出现API不兼容。pip install robosuite pip install mujoco这里我特别想提醒一个常见问题很多人装完之后运行脚本报错找不到OpenCV相关模块或者提示 libGL.so.1 缺失。这不是环境没装好而是系统缺图形库sudo apt-get update sudo apt-get install libgl1 libglib2.0-0装完再跑一般就能过。macOS上类似问题可能表现为cv2导入失败需要确认conda环境里有opencv-python且和python版本匹配。第三步下载数据和模型权重。LIBERO数据集中包含人类遥操作的演示数据评测时需要加载对应的checkpoint。如果网络访问国外模型库比较慢可以配置镜像源比如设置 HF_ENDPOINT 环境变量指向国内镜像能省非常多时间。第四步跑评估脚本。以OpenVLA为例它的评估命令大致是python experiments/robot/libero/run_libero_eval.py \ --model_family openvla \ --pretrained_checkpoint openvla/openvla-7b \ --task_suite libero_spatial \ --num_steps_wait 5 \ --embedding_cache跑起来之后MuJoCo窗口会弹出你能看到机械臂根据指令执行任务的全过程。最终终端会输出成功率比如“Success rate: 76/100”。5.3 实测中反复踩到的几个坑我在多个环境里跑过LIBERO评测下面这些坑基本每次都能遇到显存溢出OOM。7B模型跑推理即使batch size为1显存占用也经常接近10GB。如果你的显卡只有8GB显存建议先打开半精度推理或把图像分辨率降低。不要一上来就追求大模型先用小模型把流程跑通更重要。动作频率和控制频率不匹配。LIBERO的仿真控制频率一般比模型输出频率高。模型的推理输出是10Hz的话仿真里可能需要做动作插值。没有插值的话机械臂会一卡一卡地动成功率直接下滑。解决方法是观察每一步的等待时间和执行时长必要时在底层循环里添加零阶保持或线性插值。评测随机种子影响结果。LIBERO的任务初始化会引入随机性同一个模型用不同seed跑成功率可能有510个百分点的波动。所以论文里报告的数值基本都是跑多个seed取平均你自己测的时候也别用单次结果下结论至少跑3个seed取平均。关于成功率还有一个容易忽略的细节任务必须运行到终止条件才能判断成功或失败部分模型在任务完成后会继续乱动把原本成功的状态弄得一塌糊涂。开源模型里如果没有做终止检测评测时你会看到明明已经完成了任务但因为机械臂没有停止最后被判失败。处理办法是在评测脚本里加入提前终止逻辑判断目标条件达成后立刻停止仿真。6. 学习路线与面试高频问题从入门到能聊透VLA6.1 学习路线从Transformer到VLA复现很多人在知乎或社媒上问“具身智能VLA怎么学”我的建议非常明确不要一上来就读VLA最新论文你会被一堆技术名词淹没。按这条路线走会稳很多第一步打底。把Transformer和Diffusion Model吃透至少要知道自注意力是怎么算的、DDPM的前向加噪和反向去噪在做什么、文本条件是怎么注入的。这个阶段用李沐的Transformer论文精讲和DDPM原文配代码就够。第二步看VLM。VLA的语言和视觉编码部分是从VLM搬过来的你需要理解CLIP的对齐方式、LLaVA的结构。至少自己跑一遍LLaVA的推理知道视觉token是怎么进入语言模型的。第三步读VLA论文。严格按照时间线读RT-1 - RT-2 - Octo - OpenVLA - π0。不要跳着读每一步的演进逻辑是递进的。读的时候带着“动作头到底怎么设计的”这个问题比通篇泛读有用一百倍。第四步动手复现。打开LIBERO先拿一个现成模型跑通评测然后把Diffusion动作头替换成离散token动作头对比差距。改一遍动作头你对VLA的理解会超过不动手的人好几倍。6.2 面试中关于VLA的高频问题与回答思路结合我看到的面试题和大家被问懵的案例整理几道高频题和参考思路“VLA和VLM有什么区别” 核心答法VLM输出语言tokenVLA输出动作VLA在VLM基础上增加动作头训练数据从图文对变成“图像指令动作”三元组VLA的目标不是生成描述而是生成可执行控制信号。“为什么用Diffusion Policy而不是MLP直接回归动作” 核心答法动作分布是多峰的回归会退化为平均动作Diffusion建模条件分布可以采样多种合理轨迹Diffusion的迭代去噪过程天然平滑适合控制信号。“离散动作token和连续动作Diffusion哪个好” 核心答法离散token简单、与LLM兼容但有量化误差和推理延迟连续Diffusion精度高、平滑性好但需要额外设计采样器工业部署上我倾向continous flow matching研究对比实验就都做。“VLA训练数据从哪来” 核心答法三类来源——人类遥操作数据、仿真数据自动生成、互联网视频中提取动作信息。现实落地中仿真数据占大头因为遥控采集成本高、覆盖率低。“一个具体项目给你一个机械臂抓取任务你怎么部署VLA” 核心答法先确认场景是否有充足数据再选择合适的动作头然后设计固定指令模板接着在仿真里评测最后迁移到真机加安全限制如动作限幅、急停。写在最后的一点个人体会把VLA从论文变成能跑起来的系统这个过程最大的收获不是“我会调模型了”而是建立了一种新的问题视角控制不一定非要解优化问题也可以用生成模型“画出”动作序列。Diffusion Policy、Flow Matching这些方法看似花哨本质都是在回答同一个问题——如何让机器人的行为分布更像人类演示的数据分布。我自己在LIBERO上跑通第一个VLA模型时最强烈的感受是这套东西的可解释性比传统管线差很多出错了你很难说是视觉认错了、语言理解错了还是动作生成错了。所以如果你打算在真实机器人上用VLA一定记得给系统加安全垫层把动作限幅、碰撞检测、急停这些都保留下来让神经网络做决策让传统控制兜底。真要做这块别怕踩坑。环境装不上、指令模板不一致、动作头调不收敛这些我都经历过而且是反复经历。能把一个开源的VLA模型在本地从零跑到出结果你对具身智能的理解就已经超过大多数人。再把动作头换一遍你就可以去面任何一家招VLA工程师的团队了。