1. 为什么具身智能绕不开VLA模型1.1 一个场景让我彻底转向VLA先说我最近在项目里踩出来的真实感受。有段时间我在做机械臂的桌面整理任务要求是把红色杯子放到蓝色盘子里。用传统方式的话整套流程拆下来非常繁琐先用目标检测模型识别杯子再用深度估计或者点云分割拿到杯子位置然后手写一个抓取策略抓起来之后还要判断放下的目标点最后还得处理路径规划、避障、力控……每个环节单独看都不复杂但串起来之后任何一个模块的误差都会向下传递最终结果就是成功率上不去尤其在光照变化、物体位置偏移、杯子形状略有不标准的时候整个系统脆得一塌糊涂。后来我把思路换成VLA模型Vision-Language-Action视觉-语言-动作模型事情变得简单很多。我不再需要手动拆出感知-规划-控制的中间表示而是直接把摄像头图像和语言指令一起喂给模型让模型端到端输出机械臂的动作。拿把红色杯子放到蓝色盘子上这个例子来说输入是图像加文本指令输出是末端执行器的一系列位姿或者关节角度。模型自己学会理解红色杯子和蓝色盘子在图像里对应哪里、怎么把杯子抓起来、移动到什么位置放下。这一步的转化本质上把具身智能从搭积木式流水线变成了一个统一的模型搞定一切这也是我推荐每一位入门具身智能的朋友一定要把VLA模型当成学习路线核心站点的原因。1.2 从任务拆解看VLA到底解决了什么问题我习惯把一个具体任务拆开看这样更容易理解VLA模型的价值。假设你要做一个抓取任务桌面上有不同颜色的积木指令是把红色积木抓起来放到盒子里。传统方案要处理四个子问题感知问题红色积木在图像中的像素位置是什么它的姿态是什么语义理解问题红色积木这个语言描述怎么和图像里的目标对应上规划问题末端执行器要先移动到哪个点、以什么姿态接近、抓取之后经过什么路径移动到盒子控制问题每一步要给机械臂发送什么关节角度或者速度指令传统做法的每一个子问题都有专门的模型或算法去解决但这种模块化架构有一个致命弱点误差在模块间传递。感知模型框错了一个像素规划模块就会算出一个错误轨迹控制模块再精确也执行不出来。而且模块之间接口设计往往要花费一半以上的开发时间维护成本极高。VLA模型把这个问题重新定义成一个序列生成任务。模型接受图像和语言指令作为输入直接生成动作序列。它不需要中间显式的物体检测框、也不需要手工设计抓取点而是通过大量数据学会图像特征、语言语义和动作输出之间的对齐关系。这让整个系统的一致性更好也因为端到端训练误差被统一优化不再逐级累积。从研究路线来看VLA模型是具身智能从机器人的手脚走向机器人的大脑的关键一步是当前具身智能agent落地最被看好的技术方向之一。1.3 VLA模型不是随机出现的而是顺着技术脉络走出来的很多刚开始接触具身智能的朋友会问VLA模型是不是突然冒出来的其实不是。大概梳理一下脉络就会很清楚。最早的机器人控制是经典控制论靠数学建模和PID这类控制器后来加入视觉伺服成了视觉控制再后来深度学习带来了端到端的图像到动作策略比如早期的行车游戏模仿学习紧接着大语言模型证明了文本到文本的生成能力视觉语言模型VLM又证明了大模型可以看图说话。自然的发展就是把这两条线合并如果模型既能看图又能理解语言那为什么不让它直接说话的方式变成输出动作呢这就有了VLA。像RT-2来自Google、OpenVLA、以及后来的π0π-zero这类模型都是在这个逻辑下出现的代表性工作。理解了这条技术脉络再去看VLA论文很多设计动机就非常顺理成章。2. 拆开VLA模型三个关键组件与它们各自的门道2.1 视觉编码器机器人的眼睛不只是看得见VLA模型的输入之一是摄像头图像但图像本身是像素矩阵模型不能直接处理。视觉编码器的作用就是把高维像素图像压缩成有语义含义的向量序列。实际操作中ViTVision Transformer是目前最普遍的选择。它的思路是把图像切成一个个小patch比如16x16像素一块像处理文本token那样处理这些patch。每一个patch经过若干层Transformer编码之后带上全局语义信息。我之前用一个ViT-B/16做实验输入是224x224的RGB图像切成196个patch输出是每个patch对应的特征向量后续再喂给语言模型部分。这里有一个容易被忽略的点训练VLA时视觉编码器通常使用预训练权重初始化而且很多工作会冻结视觉骨干网络只训练后面的语言模型和动作头。原因很实际——视觉特征提取是一个足够通用的能力在ImageNet级别或者更大规模数据上学到的特征已经能覆盖大多数机器人场景的基本视觉需求完全重新训练不仅贵而且数据量根本不够。不过冻结视觉编码器也有代价。在涉及机械臂近距离精细操作时比如插线、拧螺丝通用视觉特征可能对微小形变不敏感。我的经验是如果你的任务集中在高精度操作可以考虑在VLA微调阶段让视觉编码器以极低学习率参与训练往往能带来几个百分点的成功率提升。2.2 语言模型理解指令和上下文语义的大脑VLA模型的语言部分基本就直接继承了大语言模型和视觉语言模型的能力。它负责两件事一是理解自然语言指令二是把语言语义与视觉特征对齐。在RT-2的设计中语言模型部分的前身就是PaLM-E这类多模态模型。模型输入的文本指令被tokenizer转换成token序列然后与视觉token拼接在一起统一输入Transformer进行因果建模。模型预测的是token序列中的下一个token只不过在动作部分预测的目标换成了动作token。我自己调试VLA时踩过一个大坑语言指令的语义粒度会直接影响输出质量。早期我用抓杯子这种过于简短模糊的指令训练模型经常把杯子和旁边的瓶子混淆后来改成抓住桌面上红色的陶瓷杯子虽然指令变长了但成功率高了不少。原因在于语言描述提供了更多视觉锚点帮助视觉编码器聚焦到正确目标上。这不难理解——你让一个人干活只说得笼统他也容易做错。所以在实际项目里我不建议把语言指令简单化。任务描述越具体、越能描述目标的属性和空间关系VLA模型的成功率就越高。如果项目条件允许使用大模型来自动生成多样化的指令描述也是一种有效提升泛化能力的做法。2.3 动作解码器从Token到真实关节角度的最后一公里前面说了VLA把输出也当成token生成。但机器人最终需要的是实打实的动作指令比如关节角度、末端位姿或者夹爪开合量。把离散的动作token还原成连续动作序列就是动作解码器要做的事。目前主流方案里不同模型有不同做法。RT-2直接预测离散的动作token本质上就是把机械臂动作空间离散化比如把末端位姿的每个维度划分成若干区间模型输出的是区间编号推理时再映射回连续值。OpenVLA则采用了一种离散连续混合的方式它对动作的离散token进行预测然后在后续网络中回归出精确的连续值。我个人的建议是入门阶段不要过度关注动作解码器的细节差异先理解核心思想——动作被表示成了模型能够生成的语言每一个动作片段action chunk对应一段token序列。真正上手后你再会发现比起模型结构差异更影响落地的其实是动作的表示方式和频率设定。比如机械臂控制频率通常需要几十赫兹而VLA模型推理一次可能需要几百毫秒怎么平衡刷新频率和生成长度是一个非常重要的工程问题。我常用的思路是预测一段长度为10到20步的动作块action chunk让机械臂顺序执行执行完再重新生成下一段这样能有效缓解推理延迟对控制实时性的影响。3. 数据是VLA的命脉质量要求、采集方式与传感器融合3.1 VLA对数据质量的要求比传统模仿学习苛刻得多VLA模型是数据饥渴型选手它的数据需求量和质量要求都远高于传统机器人学习方法。这在具身智能领域已经是一个共识模型设计决定了上限但数据决定了下限。先说什么样的数据才算合格。VLA训练样本的基本格式是三元组当前观测图像、自然语言指令、对应的机器人动作。看起来简单实际操作中坑很多。最典型的坑是观测与动作不同步。我一开始采集数据时控制频率是20Hz图像采集频率也是20Hz但两台机器分别走不同的线程没有做时间戳对齐结果训练出来的模型动作乱跳。后来我用了共享内存加硬件同步信号确保每一次图像采样和控制指令产生都对应同一个时间戳才把这个问题解决。数据集质量的第二个要求是动作的可复现性。同一个任务、同一条轨迹如果两次演示差别过大模型就很难学到稳定的策略。我的做法是设置固定的夹具和物体摆放区域演示时尽量保持抓取姿态一致减少演示员主观操作差异。当然完全一致不现实但保证任务层面的关键动作模式一致已经能让训练效果好很多。第三个要求是覆盖度。如果你希望VLA模型能应对物体位置随机摆放那么训练数据里就要有足够多随机位置的样本。我踩过一次亏前期采集数据时图省事所有物体都放在差不多的位置模型在训练集上表现很好一到真实测试物体位置稍微偏一点就彻底失败。后来我重新采集数据按均匀分布随机摆放物体位置成功率才上来。数据覆盖度决定了泛化能力的边界这个代价省不得。3.2 一个完整的VLA数据集样本应该怎么构建结合最近的实践我总结了一套构建VLA训练样本的操作流程基本可以直接照着做设计任务模板。画出任务族比如把X物体放到Y位置、拿起Z器具等每个任务族准备若干种物体和位置组合。采集图像观测。使用固定在支架上的RGB相机也可以是腕部相机。图像分辨率建议不低于224x224实际中我用的是640x480采集频率20Hz存储为jpg序列。同步记录动作。机械臂末端位姿x, y, z, rx, ry, rz或关节位置夹爪开合状态。每次记录都需要带时间戳。标注指令文本。可以用人工标注也可以借助LLM批量生成比如把红色杯子从左边的位置移动到盘子中央。指令要多样避免每个样本都是同一句话。数据清洗。检查图像是否模糊、动作轨迹是否中断、指令与任务是否匹配。删除不合格样本。统一数据格式。把图像、指令、动作整理成一个统一格式的数据集文件常用的是HDF5或JSONL后续训练代码直接读取。这个流程里第4步容易低估。很多人觉得指令随便写写就行其实指令的多样性直接影响语义泛化。同一个动作至少要配3到5种不同的语言表达模型才有机会学会语言与动作的真正关联而不只是机械记忆某个句子。3.3 传感器数据怎么融入VLA以六维力/力矩传感器为例只看RGB图像很多任务做不了高质量操作。特别是力控相关的任务比如插拔连接器、打磨表面、装配零件光靠视觉根本判断不了物体之间是否已经紧密接触、接触力是否过大。这时候就需要六维力/力矩传感器上场。六维力/力矩传感器安装在机械臂末端能同时测量三维力分量Fx, Fy, Fz和三维力矩分量Mx, My, Mz。它相当于给机器人加了一个触觉神经让机器人知道自己施加的力有多大、来自哪个方向。在VLA框架里力传感数据的融入主要有两种思路输入融合把六维力读数作为额外的低维向量与视觉特征拼接后一起输入模型。模型在预测动作时能看到当前接触力状态从而学会根据反馈调整动作。多模态观测把力读数随时间序列组成一个力曲线与图像序列对齐作为另一种模态的观测输入。这种方法信息更丰富但实现复杂度也更高。我用过第一种思路做过一个简单的插拔实验。训练时模型输入包括当前图像和六维力传感器读数6个浮点数输出是末端微调动作。加入力反馈之后插拔任务的成功率从纯视觉方案的58%提升到了86%提升非常明显。需要注意一个细节力传感器数据必须经过滤波和平滑原始读数噪声很大直接喂给模型会让训练不稳定。我用的是一阶低通滤波截止频率大约10Hz实测稳定好用。另外力传感器的安装位置和方向标定很重要读取出的值需要换算到工具坐标系或基础坐标系否则方向偏差会导致动作过冲甚至损坏工件。很多入门者觉得VLA模型就只是看图说话出动作不太关注传感器融合。但从我实际项目经验来看没有力反馈的VLA只能在非接触或弱接触任务上工作真正走进工业场景六维力/力矩传感器几乎是标配。这个方向非常值得花时间去研究。4. 实操VLA模型的训练与推理到底怎么跑通4.1 数据预处理喂给模型前必须做的几件事数据采集回来之后不能直接丢进模型训练中间还要过好几道预处理。这环节出问题后面的训练全是白费力气。我按处理顺序说一下。图像预处理。原始图像需要resize到模型输入尺寸比如224x224或者336x336然后归一化到0到1区间。还要做随机裁剪、色彩抖动、亮度调整之类的增广让模型对光照变化更鲁棒。如果数据量不大多阶段增广——比如先整体随机旋转再局部遮挡——能显著减少过拟合。指令文本预处理。文本要先经过tokenizer变成token序列。这里要注意指令长度限制大部分模型上下文长度有上限。比如OpenVLA输入指令一般控制在几十个token内超长指令会被截断导致语义缺失。我一般在采集端就限制指令长度不超过50个汉字后续几乎不会出问题。动作预处理。这是最容易忽略的一步。原始动作数据通常包含噪声尤其是人工遥控采集的数据末端位置在小范围内抖动很常见。我建议使用Savitzky-Golay滤波做平滑窗口取11多项式阶取2既能去抖动又不会过度扭曲真实轨迹信息。动作速度变化剧烈的区域要特别检查是否因滤波引入了延迟。最后是把所有模态的数据对齐到同一个时间轴上。前面提过时间戳对齐我再补充一个细节如果某个时间点图像缺失不是简单删掉那一帧就行而要做前向填充或者直接截断那个片段。图像缺失导致序列中断会让训练样本变碎影响模型学到连贯的动作策略。4.2 训练策略先做多任务预训练再做任务微调VLA训练有一个关键策略也是我特别想推荐给入门者的不要拿到自己的一小批数据就直接训练先尽力找公开的预训练权重。为什么这么做因为机器人数据太贵了。公开的VLA模型权重比如OpenVLA已经在80万条机器人演示数据上做过预训练覆盖了大量任务类型这可比你自己采集几万条数据要丰富得多。你只需要在预训练权重基础上用自己采集的几百到几千条任务数据做微调就能适配到你的机械臂和场景上。具体训练策略我分两步走第一步冻结视觉编码器和语言模型大部分层只训练动作头和新加的任务token embedding。这个阶段学习率设小一点比如1e-5训练几十个epoch目的是让模型先学会把你的动作空间映射到已有的语义空间里。第二步解冻部分深层参数全模型低学习率微调学习率降到1e-6或更低。这个阶段数据量少非常容易过拟合所以必须配强正则化比如权重衰减加到0.01dropout适当调高。我在自己项目里还用了早停机制监控验证集损失连续5个epoch不下降就停止训练。训练过程中的Loss收敛曲线我建议重点关注动作预测这一路。因为语言和视觉部分通常在预训练时已经收敛良好只有动作头是真学出来的。如果动作头Loss降不下去先检查数据处理是否正确再看学习率是否过高或过低这两类问题占了训练失败的绝大多数原因。4.3 推理流程从指令到机械臂动作的完整链路模型训练好之后它的推理流程是什么样的我用一个实际的1024x768工作场景来说清楚。假设机械臂前面摆放着红色杯子和蓝色盘子系统要执行把红色杯子放到蓝色盘子里。第一步是感知。机械臂上方固定相机拍摄当前场景得到一张彩色图像resize到模型输入尺寸并归一化。同时语言指令把红色杯子放到蓝色盘子里经过tokenizer编码。第二步是推理。VLA模型接收图像token和语言token作为输入自回归地生成动作token序列。这个序列对应一个动作块action chunk包含未来N步的末端位姿或关节角度。实际中N取16或32比较常见我用的N16对应大约0.8秒的执行时间在20Hz控制频率下。第三步是执行。动作token被解码成连续动作值经过平滑处理后下发到机械臂控制接口。机械臂按照顺序执行完这16步动作然后再拍摄新的图像重新推理生成下一个动作块如此循环直到任务完成。这个闭环流程里有几个工程细节非常关键推理延迟控制VLA模型动辄几亿甚至几十亿参数推理延迟是硬伤。入门阶段建议先在单张消费级显卡上跑通流程再用TensorRT或vLLM做加速。我实测下来用TensorRT把模型量化到FP16单次推理可以做到150到300毫秒勉强能支持20Hz的半实时控制循环。执行错误恢复VLA生成的动作不保证每次都正确所以需要加基于成功检测的反馈机制。摄像头判断物体是否已经在目标位置、力传感器判断是否夹到东西这些信号可以中断错误的动作块跳出重来。没有这个机制模型一旦动作出错后面会一路错到底这在真实场景中是很危险的。4.4 落地参考用OpenVLA快速跑通自己的第一个VLA应用入门阶段我不建议从零训练一个大VLA模型时间成本和算力成本都太高。走通一个最小可行的方案用OpenVLA微调是一个好选择。整体流程是这样的准备环境用Python 3.10PyTorch 2.xCUDA 11.8或12.x一张显存至少16GB的GPU。Ubuntu系统最简单Windows下兼容性问题比较多。克隆OpenVLA代码仓库安装依赖。下载OpenVLA的预训练权重7B参数量权重文件大概15GB。把自己采集的数据集转成OpenVLA要求的格式。图像存在一个文件夹指令和动作对应记录在一个JSONL文件里。修改微调配置文件主要是数据路径、训练轮数、学习率这些超参数。运行微调脚本。我实际跑的时候大概2000条数据4卡A100训练了3个小时左右就可以看到loss明显下降。导出微调后的权重然后接入你的机械臂控制库编写推理脚本完成整个闭环。这个流程我前后跑了三遍第一遍纯按官方文档走卡在数据格式转换上第二遍学会看数据可视化结果了才发现采集的数据里有大量时间戳不同步的坏样本第三遍才比较顺。所以如果你跑一遍没成功别怀疑自己把数据质量和格式检查一遍大概率能找到问题。5. 常见问题与避坑指南我踩过的那些坑5.1 模拟器数据能用吗怎么用好很多人问我用Gazebo、MuJoCo这类模拟器采集数据训练VLA效果行不行我的答案是可以但必须做好域随机化和Sim2Real迁移。纯模拟数据训练的VLA模型直接在真实机械臂上部署几乎必翻车因为仿真和真实的视觉纹理、光照、物理特性差距太大。怎么改善我总结了一套相对有效的做法。第一搞域随机化随机改变物体的纹理颜色、光照强度和方向、相机角度和噪声第二引入随机物理参数比如摩擦力、质量、关节阻尼在一定范围内变化第三训练阶段加入真实背景图像作为图像增强模拟出半仿真视觉效果。这些操作不需要改模型结构只是在数据采集和预处理环节下功夫但真实部署时成功率能提升一大截。另外最好是Sim2Real混合训练。采集少量真实数据和大量仿真数据混合在一起训练。哪怕真实数据只占5%到10%也能让模型学到真实视觉的分布特征。这个方法我强烈推荐性价比非常高。5.2 动作空间怎么选笛卡尔空间还是关节空间这是VLA模型设计中被问得最多的问题之一。动作空间的选取直接影响模型的学习难度和执行精度。我看到的情况是大部分研究项目用末端执行器的6D位姿位置加姿态也就是笛卡尔空间动作。这样做的好处是动作语义更直观便于泛化和迁移到不同构型的机械臂上。缺点是在奇异点附近可能产生不可执行或奇异的轨迹需要额外做逆运动学校验和控制。关节空间动作就是把每个关节角度作为输出。好处是直接对应电机控制指令省去逆运动学步骤缺点是可迁移性差换一个不同构型的机械臂模型基本要重新学。而且关节维数高7轴就是7维模型生成难度更大。我个人的建议是如果你的目标是做研究、搞通用性优先考虑笛卡尔空间如果你的目标是部署到特定机械臂、快速上线关节空间可能更省事。但无论选哪个都必须和你的机械臂控制接口一致否则推理和执行的衔接会出问题。有一次我数据集里记录的是笛卡尔位姿推理时却往关节控制接口发数据机械臂完全乱动排查了很久才发现是这个问题。5.3 训练数据不够怎么办低成本扩充数据的几种思路VLA模型对数据的需求量大得惊人但个人研究者或者小团队往往没有条件采集成千上万条真实数据。针对这种情况我分享几个低成本扩充数据的思路。一是让数据增值。比只记录成功演示更有效的是同时记录失败尝试和纠正动作。模型通过观察失败如何发生、如何纠偏能学会更鲁棒的动作策略。这种负样本数据往往不需要额外采集成本但价值很高。二是半自动标注。借助基础的视觉分割工具或现成的视觉检测模型自动标注物体位置再用规则生成部分指令文本。人工只需要做轻量修正能缩短不少数据标注时间。三是借助合成数据生成工具。现在有很多开源工具可以渲染带语义标注的合成图像配合机械臂运动学仿真可以生成大量带动作标签的数据。虽然前面提过Sim2Real的坑但作为预训练数据的补充合成数据的效率还是很可观的。四是利用预训练模型做数据扩展。比如用图像扩散模型生成不同光照、不同背景下的场景图配合原动作重新组成训练样本。这个思路偏实验性质但不少论文验证了有效性值得尝试。5.4 推理速度慢导致机械臂动作卡顿怎么办这个问题在实际部署中几乎必然遇到。VLA模型推理慢机械臂却需要高频控制两者天然矛盾。我有几个实战中验证过的解决思路。第一动作块预测。这个前面提过一次预测多个动作步机械臂按顺序执行不需要实时同步推理。这是最直接有效的缓解手段。第二模型量化与加速推理。用TensorRT将PyTorch模型转换为FP16或INT8的引擎推理速度能提升2到5倍。如果精度要求高可以考虑FP16速度略降但精度影响很小。我自己的7B模型在A100上FP16 TensorRT推理约120ms基本够用。第三异步并行架构。推理在一个线程持续进行机器人控制在另一个线程按固定频率执行两个线程通过共享内存交换最新的动作块。这样即使推理偶尔慢一点机械臂也不会明显卡顿。第四降级到轻量模型。当任务比较简单时用一个几十M参数的小模型做兜底检测到VLA推理超时就用轻量模型顶替一个动作周期。虽然动作质量差一些但至少保证系统处于持续工作状态。5.5 一个容易忽视的坑指令中的空间关系语义最后分享一个偏研究层面的坑也是我最近在啃的方向。VLA模型对空间关系语义的理解非常薄弱。比如把杯子放在盘子旁边和把杯子放在盘子上面对VLA模型来说是两个很接近的指令但对应完全不同的动作策略。模型能不能区分这两种语义取决于训练集中有没有多样化的空间关系描述。如果训练数据里只出现过放在上面模型很可能把放在旁边也执行成放在上面。我在数据集构建时专门增加了空间关系引导的多样性采样确保每个任务都覆盖不同空间关系表达式比如左边、右侧、前方、靠近、远离等同时配合物体位置随机分布这样模型才有机会真正学会空间语义。如果你的项目涉及复杂空间操作建议一定要检查训练数据中空间关系的覆盖度否则部署时会遇到很多出乎意料的失败。说到最后我想把这一周复现VLA模型的整体感受做个总结VLA模型确实是具身智能中最值得花时间啃的一个方向它把视觉、语言、控制一体化既是多模态大模型在机器人领域的应用延伸也是通用机器人落地的核心技术路线。入门者不需要一上来就追求复现最新最强的大模型先把VLA的核心思想、数据构建、训练微调、推理部署这套完整链路跑通一遍再根据自己的任务方向做扩展优化这样基础才最扎实。就我个人的经验来说狠狠卡在数据这一环的时间远比卡在模型结构上的时间多这是VLA项目最反直觉的地方也恰恰是它最有价值的学习内容。