尧图网站建设 
把“未来”和“动作”装进同一个模型——WAM ROADMAP目录01 重新组织模型架构ICLR 2026UD-VLA让未来图像和动作沿着同一条去噪轨迹变清楚FRAPPE未来不一定要长成一张图片ACM MM 2026 OralMMaDA-VLA从预训练开始统一理解、生成和动作CVPR 2026HiF-VLA与其记住过去每一帧不如记住发生了什么运动02 未来应该用什么表征像照片还是必须和行动有关ECCV 2026S-VAM让慢模型教会快模型“一眼看懂未来”Robust-WAM既保留视频生成先验又别被灯光和纹理骗走PSG-JEPA世界模型预测得准不代表它知道机器人在哪里4D-WAM机器人活在动态三维世界而不是一串二维图片里03 把这些能力带向移动操作和测试时决策MobileWAM桌面机械臂加一个底盘并不等于移动操作DreamTrajectory行动之前先问一句“这个动作真的能走成我想的轨迹吗”04 “未来”正在被不断拆解让机器人提前看到未来过去几年里被反复尝试过。大量工作把视频生成和动作预测塞进同一个模型。World Action Model 也因此被寄予厚望。但做得多了就感觉有点不太对劲了比如一段越逼真的视频就越好吗纹理够不够细、光照够不够真对抓取一个杯子其实几乎毫无影响。真正关键的是物体怎么运动、机械臂什么姿态、动作后末端落在哪。这些往往在视觉上并不起眼。于是到了近一年以来 WAM 的研究重心开始从能不能预测未来转向什么样的未来对行动真正有用。为跳出泛泛的趋势讨论本文将以香港科技大学广州近期的10篇研究作为“观察窗口”进行梳理以探讨这一转向在学术前沿的具体面貌。说明本文由香港科技大学广州李昊昂助理教授课题组成员提供研究素材。总体而言他们是沿着三条路线展开的第一条路线重新组织模型架构让未来预测和动作生成结合得更紧第二条路线重新审视未来应该用什么表征第三条路线进一步把这些能力带向移动操作和测试时决策。01 重新组织模型架构ICLR 2026UD-VLA让未来图像和动作沿着同一条去噪轨迹变清楚早期把世界模型引入 VLA一个相对直接的办法是让模型同时预测未来图像和机器人动作。但“同时输出”并不意味着两者真的发生了充分交互。很多统一 VLA 仍然把视觉生成和动作生成组织成两个相对独立的过程甚至需要额外的生成器或动作专家串联起来。这样一来未来图像只是一个中间产品而非持续参与决策的变量。UD-VLA则是尝试把这两件事真正揉进了同一个生成过程。它将语言、图像和动作统一离散化为token放入同一条联合去噪扩散路径JD3P中。推理时未来图像token和动作token从高噪声状态同步恢复关键在于每一轮视觉变得清晰时动作token都能重新读取并修正而不是等整张未来图生成完再做决定。模型内部的Hybrid Attention进一步确保视觉可以指导动作动作不反向泄露给视觉——消融实验中这一设计将CALVIN平均完成长度从双向注意力的4.32提升至4.64而取消未来视觉生成时则降至4.21。这种联合去噪还带来一个意外好处扩散式并行预测不需要像自回归模型一样一个 token 接一个 token 往外吐。UD-VLA真正值得关注的不是又多了一个扩散VLA而是它第一次让生成未来与决定动作被组织为一个反复相互修正的过程。▲UD-VLA 将语言、当前视觉、未来视觉与机器人动作放进统一离散 token 空间并通过 JD3P 让未来图像和动作在同一条去噪轨迹中逐步细化。FRAPPE未来不一定要长成一张图片如果说 UD-VLA 在解决“未来和动作怎么一起生成”FRAPPE 则往前追问了一步机器人真的有必要把未来完整画出来吗像素级预测有个天然困境为了重建一张图模型的大部分容量花在了纹理、光影和背景上而这些细节往往与下一步怎么动无关。于是有研究者开始直接放弃显式生成图像转向直接预测视觉特征。但新的问题随之而来CLIP、DINO 等不同视觉模型的表征各有所长选哪一类就会把哪一类的归纳偏置带进策略。FRAPPE 的解决办法有点像给机器人请了几位观察世界方式不同的老师。可以简单理解为不押注任何一种特征而是都学。它基于 RDT在 Mid-Training 阶段先用多视觉模型蒸馏得到的 Theia 表征做全参数适配让模型学会预测未来观测的隐空间表示而非像素。随后在 Post-Training 阶段将网络扩展为多个并行专家每个专家拥有独立的 Prefix 和 LoRA分别对齐不同视觉基础模型的表征最后由轻量 router 汇总各专家的动作特征。推理时所有视觉教师均可移除。这项设计真正有意思的地方是世界模型从预测唯一正确的未来图片转向了学习多种对未来可能有用的描述。它隐含的判断是机器人不一定需要把未来生成出来只需要拥有足够丰富的未来表征。▲FRAPPE 先在 Mid-Training 阶段学习未来表征再通过多个 Prefix/LoRA 专家分别对齐不同视觉基础模型让世界建模监督从单一像素或单一特征空间扩展为多种未来表示。ACM MM 2026 OralMMaDA-VLA从预训练开始统一理解、生成和动作UD-VLA 把视觉和动作放入统一离散扩散过程之后MMaDA-VLA 则把“统一”向前推到了预训练阶段。很多 VLA 的统一仍然带有明显的拼装痕迹。例如先用一个自回归 VLM 获得视觉语言能力再增加动作头或者先生成未来图像再使用额外策略网络把视觉未来转换成动作。MMaDA-VLA 希望从模型出生时就不再区分这些任务。它建立在原生离散扩散模型之上把语言、图像以及连续机器人控制都映射到共享的离散 token 空间再利用单一 backbone通过 masked token denoising 同时学习多模态理解、未来视觉生成和动作生成。其中一个很关键的变化是未来 goal observation 和 action chunk 并不是严格按照“先图像、再动作”的顺序生成。两者都可以从 mask 状态开始并在多轮去噪中并行恢复。这样未来目标图像不断约束动作而动作也不是一次性定死而是在迭代过程中逐渐收敛。这项工作代表的方向是把世界建模从一个额外功能进一步变成 VLA 自身的生成范式模型不是“先学会看和说再加一个会行动的头”而是一开始就在同一种表示和同一种生成机制里学习理解世界、想象未来和产生动作。▲MMaDA-VLA 从预训练阶段开始将语言、视觉和连续动作统一离散化并通过同一个扩散骨干并行恢复未来目标图像与动作 token。CVPR 2026HiF-VLA与其记住过去每一帧不如记住发生了什么运动前面三项工作主要讨论未来和动作怎么耦合但机器人还有另一个绕不开的问题未来预测本身依赖过去。只看当前单帧模型很容易产生时序短视例如一个杯子现在在桌面左边但它是静止还是正在被推向右侧单帧看不出来。解决方式看起来很简单把过去多帧RGB全塞进VLA。但视觉token会迅速膨胀延迟和显存都扛不住。HiF-VLA的思路是不记住过去长什么样只记录过去发生了什么运动。它将历史RGB压缩为运动表征再编码成Hindsight tokens。当前观测和语言提供InsightForesight queries预测未来运动另一分支预测动作。模型内部的 Joint Expert 保留两条流一条处理运动一条处理动作。通过cross-stream attention交换信息历史运动信息则通过AdaLN对两条分支进行调制。简单说模型不需要回放一长串录像只拿着一份压缩过的运动历史推演接下来东西怎么动、机器人该怎么动。这种压缩在长历史输入下尤其明显。HiF-VLA在多视角LIBERO-Long上达到96.4%成功率相比直接堆叠历史帧推理延迟减少58.3%。从这一点看HiF-VLA 的重点并不是单纯“加入光流”。它代表的是一种更根本的取舍如果历史最终是为了帮助预测未来就不需要保存过去的全部像素只需要保留真正描述变化的信息。▲HiF-VLA 不再直接堆叠大量历史 RGB而是把过去压缩为运动表征并利用 Hindsight、Insight 与 Foresight 联合建模历史动态、当前观测和未来运动。UD-VLA让视觉未来和动作一起去噪FRAPPE用多个视觉老师定义未来MMaDA-VLA从预训练开始把理解、生成和动作放进统一扩散框架HiF-VLA则进一步压缩过去并显式预测运动。它们都在缩短“想象未来”和“决定动作”之间的距离。02 未来应该用什么表征像照片还是必须和行动有关ECCV 2026S-VAM让慢模型教会快模型“一眼看懂未来”世界模型用于机器人控制时一直存在一个很现实的速度和质量矛盾。完整视频扩散质量高但多轮去噪计算代价太大一步diffusion速度快但早期特征噪声强几何和语义信息纠缠在一起。结果是——看得清就来不及动来得及动又未必看得清。S-VAM的思路是把两种方案揉在一起。它先让视频扩散模型完整生成多步未来从中分别提取几何和语义两类表征作为teacher target再训练一个轻量decoupler让一步diffusion的早期噪声特征直接映射到这两类稳定的foresight特征上。换句话说S-VAM 没有让机器人每次执行动作前都花时间“做完整的未来梦”而是先用慢速多步生成教会模型一个好未来最值得保留下来的几何和语义结构是什么。正式部署时只需一次前向即可拿到这份压缩后的未来蓝图。效率上S-VAM整体控制频率可保持在约25Hz满足实时控制需求。这项工作的核心不是蒸馏本身而是一种新的未来观机器人未必需要未来的每一个像素它可能只需要一张稳定的几何和语义蓝图。▲S-VAM 用模型自身的多步未来生成作为教师将一步扩散中噪声较大的特征解耦为几何与语义 foresight在避免完整视频生成开销的同时保留对动作有用的未来信息。Robust-WAM既保留视频生成先验又别被灯光和纹理骗走S-VAM 重新组织了一步 diffusion featureRobust-WAM 面对是则是另一个基础矛盾世界模型究竟应该活在生成空间还是语义空间当前多数 WAM 继承自预训练视频生成模型天然工作在 VAE latent space。好处是继承了大规运动先验但 VAE 以像素重建为目标对颜色、纹理、光照格外敏感。测试环境换一盏灯、背景材质变一下这些视觉波动就可能被误判为重要的状态变化。换成 DINO 这类 semantic latent 固然对视觉扰动更鲁棒但视频生成模型积累的动态先验又无法继承。Robust-WAM 则不做二选一保留 VAE 的生成通路同时在动作流中额外加入语义未来监督。具体而言它在每个未来时间步和视角对应的位置插入 learnable query经 Action DiT 处理后对齐真实未来帧的 DINOv3 语义特征每个 query 复用对应 action token 的时序位置编码让模型知道这是未来第几步。最关键的是DINOv3 和对齐 head 只在训练阶段存在部署时完全删除。这种轻量修改在干净环境下收益不大但 OOD 场景下效果明显。因此Robust-WAM 的答案因此非常明确生成先验和语义鲁棒性没有必要二选一。未来可以继续在生成空间里学习但动作应该锚定到对外观变化不敏感的语义动态。▲图6 | Robust-WAM 希望同时保留 VAE 世界模型继承视频生成预训练的优势以及语义表征对光照、纹理等外观变化更鲁棒的特性。PSG-JEPA世界模型预测得准不代表它知道机器人在哪里如果说前几项工作还在讨论视觉未来应该怎么表示那么 PSG-JEPA 提出了一个更尖锐的问题一个世界模型把未来 latent 预测得非常准确就说明这个 latent 真正理解物理世界了吗答案可能未必。JEPA 类世界模型不生成像素而是在 latent space 中学习“给定当前状态和动作下一个 latent 应该是什么”。这看起来已经绕开了视频生成的大量冗余。但作者发现一个 forward prediction loss 很低的模型其 latent 中依然可能无法可靠读出一些很基础的机器人状态。最典型的例子是末端执行器 yaw。在研究分析中从 forward-only JEPA latent 中恢复这项物理状态的能力很弱。换句话说模型很会猜下一个 latent却未必知道机器人自身的真实物理状态发生了什么。PSG-JEPA 将这个问题进一步转成 physical grounding并增加两种训练监督。第一种是state grounding要求单个 latent 能够回归机器人本体状态第二种是transition grounding给定两个不同时刻的 latent模型需要预测这段时间里多个关节角究竟发生了多少变化。重要的是这些本体状态从来不会作为世界模型输入它们只是训练时用来塑造 latent两个 grounding head 在训练完成后也全部删除。因此部署阶段不会增加额外推理成本。实验中PSG-JEPA 在 LIBERO-Goal 上相较 LeWM 提升 7.6 个百分点相较 DINOv2 提升 5.2 个百分点真实机器人平均成功率则相较 LeWM 提升 19.3 个百分点。世界模型过去习惯以“未来预测误差低不低”判断表征好坏但机器人最终关心的是控制。如果一个 latent 连机器人自身状态都无法稳定识别那么它即使非常容易预测也未必是好的控制表征。因此 PSG-JEPA 给出的判断是Predictable不等于 physical。一个真正服务机器人的世界模型不只需要预测未来还需要让未来中的物理状态可以被识别。▲PSG-JEPA 指出仅依靠未来 latent 预测并不能保证表征真正对应机器人的物理状态因此进一步加入 state 与 transition 两类 grounding 监督。4D-WAM机器人活在动态三维世界而不是一串二维图片里PSG-JEPA 让 latent 对机器人自身物理状态负责4D-WAM 则把视角转向外部世界。传统 WAM 基本沿用视频模型的思路把世界看成连续二维图像。后来一些方法加入 depth 或 3D 特征但很多时候仍然是在每个时间点分别恢复空间结构再让时间沿着帧序列往前走。问题在于机器人实际行动的环境不是“一连串独立的 3D 快照”而是一个三维结构不断随时间变化的四维世界。4D-WAM 因此把 3D trajectory field 作为新的监督信号。它没有要求 WAM 直接生成轨迹场而是在训练过程中用 4D foundation model 提取物体和场景随时间变化的轨迹表示再用它约束 WAM 中间 feature。方法分成两部分Motion Alignment描述相邻时刻之间的局部运动变化Destination Alignment则从起点和最终目标之间的相似度分布出发提供更长程的目标约束。这里还有一个很值得注意的设计。研究发现直接让 WAM feature 对齐 4D foundation model 的绝对 feature 并不理想。原因在于两个模型拥有完全不同的预训练目标它们的表示空间本身并不对应。最终 4D-WAM 对齐的是feature 在时间上的变化而不是 feature 本身。换句话说与其强迫两个模型对“这个物体是什么”达成一致不如让它们首先对“这个东西怎么动”达成一致。如果把这一类路线和前面的工作放在一起看就会发现未来表征正在从“图像”越来越靠近机器人真正生活的物理世界图像告诉模型未来看起来怎样而 trajectory field 更接近告诉它未来的三维世界将怎样运动。▲4D-WAM 使用 3D trajectory field 为 WAM 注入时空监督将逐帧视觉预测进一步推进到对动态三维结构及其长程运动的联合建模。走完这四项工作路线的变化已经非常明显。S-VAM把未来拆成几何与语义Robust-WAM为动作引入外观不敏感的 semantic foresightPSG-JEPA要求 latent 明确承载机器人物理状态4D-WAM则进一步用 trajectory field 描述动态三维世界。世界模型开始不再执着于“把未来完整画出来”而是在寻找一种更直接服务控制的未来工作语言。接下来剩下的问题就是这些未来表征离真正复杂的机器人行动还有多远03 把这些能力带向移动操作和测试时决策MobileWAM桌面机械臂加一个底盘并不等于移动操作当前大部分WAM在桌面操作场景上验证机械臂固定视角稳定动作范围受限。但移动操作不是在桌面下面加个底盘那么简单譬如机器人一旦移动起来相机会随着底盘持续发生 ego-motion同一个任务可能存在大量不同的 base-arm 协同路径移动通常涉及大尺度低频运动抓取和接触却需要小尺度高精度控制。原本相对稳定的视觉和动作分布一下变得复杂得多。MobileWAM 正是针对这一缺口把视频生成模型中的世界动态先验扩展到 mobile manipulation移动操作。它以 Wan 视频扩散 Transformer 作为 World Expert再配置一个更轻量的 Action Expert。两者在每一层通过联合注意力发生交互但注意力是非对称的动作 token 可以读取视觉 token视觉 token 却不会读取动作。这种设计带来一个实用的效果部署时World Expert 可退化成一个 current-frame encoder当前视觉 feature 只需要计算一次并缓存而后面的 action denoising 可以不断复用。此外MobileWAM设计了Chain-of-Foresight让多个中间层串联预测一段future latent chain提供长程未来监督。但最关键的一点发生在部署阶段未来生成和 CoF 全部删掉只保留被这些监督塑造好的当前表征和动作策略。这暗示了一个值得注意的趋势未来不一定要在推理时生成也可以只存在于训练阶段作为监督把动态理解压回当前表征。▲MobileWAM 将大型视频扩散 Transformer 作为 World Expert与轻量 Action Expert 联合建模并通过 Chain-of-Foresight 和 Mobile MoE 处理移动操作中的长程动态与底盘、机械臂协同。DreamTrajectory行动之前先问一句“这个动作真的能走成我想的轨迹吗”MobileWAM 让 WAM 从固定机械臂迈向移动机器人而 DreamTrajectory 又往前走了一步世界模型不仅参与训练还开始直接参与测试时选择动作。移动操作的第一个难点是 whole-body action space 太大。底盘的位置、朝向和机械臂多个关节一起变化直接从图像和语言搜索一整个动作块非常困难。但机器人真正想实现的任务往往可以用一个更低维、更明确的目标描述例如“末端执行器沿着这条轨迹靠近把手然后拉开抽屉”。第二个问题是 open-loop action chunk。VLA 一次预测数步动作之后通常直接连续执行。但真实接触、摩擦、底盘误差都会让动作实际产生的轨迹偏离模型原本的计划。也就是说模型以为自己会走到 A执行之后却可能到了 B。DreamTrajectory 针对两个问题分别加入一层显式结构。首先Action Expert 不只生成 whole-body action同时预测一个 intention-level end-effector trajectory用这条任务空间轨迹引导底盘和机械臂联合动作。其次它再训练一个轻量 trajectory world model输入候选 action chunk预测这个动作真正执行之后会产生什么末端轨迹。因此测试时就可以进行search → predict → score → execute策略先采样多个候选动作世界模型预测这些动作可能造成的结果再比较哪一个结果最接近最初规划的轨迹最后才把对应动作发给机器人。世界模型在这里已经不再只是一个训练辅助而更像真正进入了决策循环的“后果模拟器”。如果说早期世界模型的逻辑是“预测未来所以我可能学会更好的动作。”DreamTrajectory 已经变成“我有几个动作可以做先预测每个动作会发生什么再决定真正执行哪一个。”这可能也是世界模型距离“决策模型”最近的一步。▲DreamTrajectory 先显式生成末端执行器轨迹来引导全身动作再利用轻量轨迹世界模型预测候选动作的实际后果在测试阶段完成搜索、预测、评分与执行。04 “未来”正在被不断拆解从香港科技大学广州李昊昂课题组的近期研究中可以看出一个非常明显的变化世界动作模型正在逐渐摆脱“未来一定要被完整生成出来”的执念。最初引入世界模型一个非常直觉的逻辑是让机器人先想象下一帧甚至未来几秒的图像再用这段视觉未来指导行为。但机器人逐渐进入更复杂的任务之后这种做法暴露出两个问题一方面高质量视频生成本身太慢另一方面像素真实度和动作有效性之间并没有简单的等号。一个对机器人有用的世界模型不需要把所有未来都预测得一样好它需要把和行动真正相关的未来预测对。另一个变化则发生在 world model 和 policy 之间。过去比较直观的系统结构是“世界模型先预测再把预测结果交给策略”。在UD-VLA、MMaDA-VLA里视觉未来和动作已经进入同一个生成过程在MobileWAM中未来甚至只作为训练监督存在部署时 world generation 可以整个被拿掉DreamTrajectory又走向另一个极端让 world model 在测试阶段亲自参与候选动作选择。因此 World Action Model 可能并不是一种固定架构而更像是一种正在快速形成的方法论机器人不应该只根据当前观测回答“下一步做什么”还应该拥有某种能力去表示“接下来可能发生什么”并让这个未来参与行动。至于这个未来究竟是一张图、一组语义 token、几何结构、物理状态、四维轨迹还是一个用来检验动作后果的轻量模型目前仍然没有统一答案。而这或许恰好解释了为什么最近会同时出现如此多不同的 WAM 路线。Ref1. Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process, ICLR 2026.https://github.com/OpenHelix-Team/Unified-Diffusion-VLA2. FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment, 2026.https://github.com/OpenHelix-Team/frappe3. MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation, ACM MM 2026 Oral 2026.https://github.com/yliu-cs/MMaDA-VLA4. HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models, CVPR 2026.https://github.com/OpenHelix-Team/HiF-VLA5. S-VAM: Shortcut Video-Action Model by Self-Distilling Geometric and Semantic Foresighthttps://github.com/Haodong-Yan/S-VAM6. Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models7. Is Forward Prediction Enough? Physical State Grounding for JEPA World Models8. 4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fieldshttps://github.com/lishanyqy/4DWAM9. MobileWAM: Bridging World Action Models to Mobile Manipulation with Chain-of-Foresight10. DreamTrajectory: Trajectory-Guided Action Generation with World Model Alignment for Mobile Manipulation 2026，世界动作模型（WAM）走到哪一步了？
把“未来”和“动作”装进同一个模型——WAM ROADMAP目录01 重新组织模型架构ICLR 2026UD-VLA让未来图像和动作沿着同一条去噪轨迹变清楚FRAPPE未来不一定要长成一张图片ACM MM 2026 OralMMaDA-VLA从预训练开始统一理解、生成和动作CVPR 2026HiF-VLA与其记住过去每一帧不如记住发生了什么运动02 未来应该用什么表征像照片还是必须和行动有关ECCV 2026S-VAM让慢模型教会快模型“一眼看懂未来”Robust-WAM既保留视频生成先验又别被灯光和纹理骗走PSG-JEPA世界模型预测得准不代表它知道机器人在哪里4D-WAM机器人活在动态三维世界而不是一串二维图片里03 把这些能力带向移动操作和测试时决策MobileWAM桌面机械臂加一个底盘并不等于移动操作DreamTrajectory行动之前先问一句“这个动作真的能走成我想的轨迹吗”04 “未来”正在被不断拆解让机器人提前看到未来过去几年里被反复尝试过。大量工作把视频生成和动作预测塞进同一个模型。World Action Model 也因此被寄予厚望。但做得多了就感觉有点不太对劲了比如一段越逼真的视频就越好吗纹理够不够细、光照够不够真对抓取一个杯子其实几乎毫无影响。真正关键的是物体怎么运动、机械臂什么姿态、动作后末端落在哪。这些往往在视觉上并不起眼。于是到了近一年以来 WAM 的研究重心开始从能不能预测未来转向什么样的未来对行动真正有用。为跳出泛泛的趋势讨论本文将以香港科技大学广州近期的10篇研究作为“观察窗口”进行梳理以探讨这一转向在学术前沿的具体面貌。说明本文由香港科技大学广州李昊昂助理教授课题组成员提供研究素材。总体而言他们是沿着三条路线展开的第一条路线重新组织模型架构让未来预测和动作生成结合得更紧第二条路线重新审视未来应该用什么表征第三条路线进一步把这些能力带向移动操作和测试时决策。01 重新组织模型架构ICLR 2026UD-VLA让未来图像和动作沿着同一条去噪轨迹变清楚早期把世界模型引入 VLA一个相对直接的办法是让模型同时预测未来图像和机器人动作。但“同时输出”并不意味着两者真的发生了充分交互。很多统一 VLA 仍然把视觉生成和动作生成组织成两个相对独立的过程甚至需要额外的生成器或动作专家串联起来。这样一来未来图像只是一个中间产品而非持续参与决策的变量。UD-VLA则是尝试把这两件事真正揉进了同一个生成过程。它将语言、图像和动作统一离散化为token放入同一条联合去噪扩散路径JD3P中。推理时未来图像token和动作token从高噪声状态同步恢复关键在于每一轮视觉变得清晰时动作token都能重新读取并修正而不是等整张未来图生成完再做决定。模型内部的Hybrid Attention进一步确保视觉可以指导动作动作不反向泄露给视觉——消融实验中这一设计将CALVIN平均完成长度从双向注意力的4.32提升至4.64而取消未来视觉生成时则降至4.21。这种联合去噪还带来一个意外好处扩散式并行预测不需要像自回归模型一样一个 token 接一个 token 往外吐。UD-VLA真正值得关注的不是又多了一个扩散VLA而是它第一次让生成未来与决定动作被组织为一个反复相互修正的过程。▲UD-VLA 将语言、当前视觉、未来视觉与机器人动作放进统一离散 token 空间并通过 JD3P 让未来图像和动作在同一条去噪轨迹中逐步细化。FRAPPE未来不一定要长成一张图片如果说 UD-VLA 在解决“未来和动作怎么一起生成”FRAPPE 则往前追问了一步机器人真的有必要把未来完整画出来吗像素级预测有个天然困境为了重建一张图模型的大部分容量花在了纹理、光影和背景上而这些细节往往与下一步怎么动无关。于是有研究者开始直接放弃显式生成图像转向直接预测视觉特征。但新的问题随之而来CLIP、DINO 等不同视觉模型的表征各有所长选哪一类就会把哪一类的归纳偏置带进策略。FRAPPE 的解决办法有点像给机器人请了几位观察世界方式不同的老师。可以简单理解为不押注任何一种特征而是都学。它基于 RDT在 Mid-Training 阶段先用多视觉模型蒸馏得到的 Theia 表征做全参数适配让模型学会预测未来观测的隐空间表示而非像素。随后在 Post-Training 阶段将网络扩展为多个并行专家每个专家拥有独立的 Prefix 和 LoRA分别对齐不同视觉基础模型的表征最后由轻量 router 汇总各专家的动作特征。推理时所有视觉教师均可移除。这项设计真正有意思的地方是世界模型从预测唯一正确的未来图片转向了学习多种对未来可能有用的描述。它隐含的判断是机器人不一定需要把未来生成出来只需要拥有足够丰富的未来表征。▲FRAPPE 先在 Mid-Training 阶段学习未来表征再通过多个 Prefix/LoRA 专家分别对齐不同视觉基础模型让世界建模监督从单一像素或单一特征空间扩展为多种未来表示。ACM MM 2026 OralMMaDA-VLA从预训练开始统一理解、生成和动作UD-VLA 把视觉和动作放入统一离散扩散过程之后MMaDA-VLA 则把“统一”向前推到了预训练阶段。很多 VLA 的统一仍然带有明显的拼装痕迹。例如先用一个自回归 VLM 获得视觉语言能力再增加动作头或者先生成未来图像再使用额外策略网络把视觉未来转换成动作。MMaDA-VLA 希望从模型出生时就不再区分这些任务。它建立在原生离散扩散模型之上把语言、图像以及连续机器人控制都映射到共享的离散 token 空间再利用单一 backbone通过 masked token denoising 同时学习多模态理解、未来视觉生成和动作生成。其中一个很关键的变化是未来 goal observation 和 action chunk 并不是严格按照“先图像、再动作”的顺序生成。两者都可以从 mask 状态开始并在多轮去噪中并行恢复。这样未来目标图像不断约束动作而动作也不是一次性定死而是在迭代过程中逐渐收敛。这项工作代表的方向是把世界建模从一个额外功能进一步变成 VLA 自身的生成范式模型不是“先学会看和说再加一个会行动的头”而是一开始就在同一种表示和同一种生成机制里学习理解世界、想象未来和产生动作。▲MMaDA-VLA 从预训练阶段开始将语言、视觉和连续动作统一离散化并通过同一个扩散骨干并行恢复未来目标图像与动作 token。CVPR 2026HiF-VLA与其记住过去每一帧不如记住发生了什么运动前面三项工作主要讨论未来和动作怎么耦合但机器人还有另一个绕不开的问题未来预测本身依赖过去。只看当前单帧模型很容易产生时序短视例如一个杯子现在在桌面左边但它是静止还是正在被推向右侧单帧看不出来。解决方式看起来很简单把过去多帧RGB全塞进VLA。但视觉token会迅速膨胀延迟和显存都扛不住。HiF-VLA的思路是不记住过去长什么样只记录过去发生了什么运动。它将历史RGB压缩为运动表征再编码成Hindsight tokens。当前观测和语言提供InsightForesight queries预测未来运动另一分支预测动作。模型内部的 Joint Expert 保留两条流一条处理运动一条处理动作。通过cross-stream attention交换信息历史运动信息则通过AdaLN对两条分支进行调制。简单说模型不需要回放一长串录像只拿着一份压缩过的运动历史推演接下来东西怎么动、机器人该怎么动。这种压缩在长历史输入下尤其明显。HiF-VLA在多视角LIBERO-Long上达到96.4%成功率相比直接堆叠历史帧推理延迟减少58.3%。从这一点看HiF-VLA 的重点并不是单纯“加入光流”。它代表的是一种更根本的取舍如果历史最终是为了帮助预测未来就不需要保存过去的全部像素只需要保留真正描述变化的信息。▲HiF-VLA 不再直接堆叠大量历史 RGB而是把过去压缩为运动表征并利用 Hindsight、Insight 与 Foresight 联合建模历史动态、当前观测和未来运动。UD-VLA让视觉未来和动作一起去噪FRAPPE用多个视觉老师定义未来MMaDA-VLA从预训练开始把理解、生成和动作放进统一扩散框架HiF-VLA则进一步压缩过去并显式预测运动。它们都在缩短“想象未来”和“决定动作”之间的距离。02 未来应该用什么表征像照片还是必须和行动有关ECCV 2026S-VAM让慢模型教会快模型“一眼看懂未来”世界模型用于机器人控制时一直存在一个很现实的速度和质量矛盾。完整视频扩散质量高但多轮去噪计算代价太大一步diffusion速度快但早期特征噪声强几何和语义信息纠缠在一起。结果是——看得清就来不及动来得及动又未必看得清。S-VAM的思路是把两种方案揉在一起。它先让视频扩散模型完整生成多步未来从中分别提取几何和语义两类表征作为teacher target再训练一个轻量decoupler让一步diffusion的早期噪声特征直接映射到这两类稳定的foresight特征上。换句话说S-VAM 没有让机器人每次执行动作前都花时间“做完整的未来梦”而是先用慢速多步生成教会模型一个好未来最值得保留下来的几何和语义结构是什么。正式部署时只需一次前向即可拿到这份压缩后的未来蓝图。效率上S-VAM整体控制频率可保持在约25Hz满足实时控制需求。这项工作的核心不是蒸馏本身而是一种新的未来观机器人未必需要未来的每一个像素它可能只需要一张稳定的几何和语义蓝图。▲S-VAM 用模型自身的多步未来生成作为教师将一步扩散中噪声较大的特征解耦为几何与语义 foresight在避免完整视频生成开销的同时保留对动作有用的未来信息。Robust-WAM既保留视频生成先验又别被灯光和纹理骗走S-VAM 重新组织了一步 diffusion featureRobust-WAM 面对是则是另一个基础矛盾世界模型究竟应该活在生成空间还是语义空间当前多数 WAM 继承自预训练视频生成模型天然工作在 VAE latent space。好处是继承了大规运动先验但 VAE 以像素重建为目标对颜色、纹理、光照格外敏感。测试环境换一盏灯、背景材质变一下这些视觉波动就可能被误判为重要的状态变化。换成 DINO 这类 semantic latent 固然对视觉扰动更鲁棒但视频生成模型积累的动态先验又无法继承。Robust-WAM 则不做二选一保留 VAE 的生成通路同时在动作流中额外加入语义未来监督。具体而言它在每个未来时间步和视角对应的位置插入 learnable query经 Action DiT 处理后对齐真实未来帧的 DINOv3 语义特征每个 query 复用对应 action token 的时序位置编码让模型知道这是未来第几步。最关键的是DINOv3 和对齐 head 只在训练阶段存在部署时完全删除。这种轻量修改在干净环境下收益不大但 OOD 场景下效果明显。因此Robust-WAM 的答案因此非常明确生成先验和语义鲁棒性没有必要二选一。未来可以继续在生成空间里学习但动作应该锚定到对外观变化不敏感的语义动态。▲图6 | Robust-WAM 希望同时保留 VAE 世界模型继承视频生成预训练的优势以及语义表征对光照、纹理等外观变化更鲁棒的特性。PSG-JEPA世界模型预测得准不代表它知道机器人在哪里如果说前几项工作还在讨论视觉未来应该怎么表示那么 PSG-JEPA 提出了一个更尖锐的问题一个世界模型把未来 latent 预测得非常准确就说明这个 latent 真正理解物理世界了吗答案可能未必。JEPA 类世界模型不生成像素而是在 latent space 中学习“给定当前状态和动作下一个 latent 应该是什么”。这看起来已经绕开了视频生成的大量冗余。但作者发现一个 forward prediction loss 很低的模型其 latent 中依然可能无法可靠读出一些很基础的机器人状态。最典型的例子是末端执行器 yaw。在研究分析中从 forward-only JEPA latent 中恢复这项物理状态的能力很弱。换句话说模型很会猜下一个 latent却未必知道机器人自身的真实物理状态发生了什么。PSG-JEPA 将这个问题进一步转成 physical grounding并增加两种训练监督。第一种是state grounding要求单个 latent 能够回归机器人本体状态第二种是transition grounding给定两个不同时刻的 latent模型需要预测这段时间里多个关节角究竟发生了多少变化。重要的是这些本体状态从来不会作为世界模型输入它们只是训练时用来塑造 latent两个 grounding head 在训练完成后也全部删除。因此部署阶段不会增加额外推理成本。实验中PSG-JEPA 在 LIBERO-Goal 上相较 LeWM 提升 7.6 个百分点相较 DINOv2 提升 5.2 个百分点真实机器人平均成功率则相较 LeWM 提升 19.3 个百分点。世界模型过去习惯以“未来预测误差低不低”判断表征好坏但机器人最终关心的是控制。如果一个 latent 连机器人自身状态都无法稳定识别那么它即使非常容易预测也未必是好的控制表征。因此 PSG-JEPA 给出的判断是Predictable不等于 physical。一个真正服务机器人的世界模型不只需要预测未来还需要让未来中的物理状态可以被识别。▲PSG-JEPA 指出仅依靠未来 latent 预测并不能保证表征真正对应机器人的物理状态因此进一步加入 state 与 transition 两类 grounding 监督。4D-WAM机器人活在动态三维世界而不是一串二维图片里PSG-JEPA 让 latent 对机器人自身物理状态负责4D-WAM 则把视角转向外部世界。传统 WAM 基本沿用视频模型的思路把世界看成连续二维图像。后来一些方法加入 depth 或 3D 特征但很多时候仍然是在每个时间点分别恢复空间结构再让时间沿着帧序列往前走。问题在于机器人实际行动的环境不是“一连串独立的 3D 快照”而是一个三维结构不断随时间变化的四维世界。4D-WAM 因此把 3D trajectory field 作为新的监督信号。它没有要求 WAM 直接生成轨迹场而是在训练过程中用 4D foundation model 提取物体和场景随时间变化的轨迹表示再用它约束 WAM 中间 feature。方法分成两部分Motion Alignment描述相邻时刻之间的局部运动变化Destination Alignment则从起点和最终目标之间的相似度分布出发提供更长程的目标约束。这里还有一个很值得注意的设计。研究发现直接让 WAM feature 对齐 4D foundation model 的绝对 feature 并不理想。原因在于两个模型拥有完全不同的预训练目标它们的表示空间本身并不对应。最终 4D-WAM 对齐的是feature 在时间上的变化而不是 feature 本身。换句话说与其强迫两个模型对“这个物体是什么”达成一致不如让它们首先对“这个东西怎么动”达成一致。如果把这一类路线和前面的工作放在一起看就会发现未来表征正在从“图像”越来越靠近机器人真正生活的物理世界图像告诉模型未来看起来怎样而 trajectory field 更接近告诉它未来的三维世界将怎样运动。▲4D-WAM 使用 3D trajectory field 为 WAM 注入时空监督将逐帧视觉预测进一步推进到对动态三维结构及其长程运动的联合建模。走完这四项工作路线的变化已经非常明显。S-VAM把未来拆成几何与语义Robust-WAM为动作引入外观不敏感的 semantic foresightPSG-JEPA要求 latent 明确承载机器人物理状态4D-WAM则进一步用 trajectory field 描述动态三维世界。世界模型开始不再执着于“把未来完整画出来”而是在寻找一种更直接服务控制的未来工作语言。接下来剩下的问题就是这些未来表征离真正复杂的机器人行动还有多远03 把这些能力带向移动操作和测试时决策MobileWAM桌面机械臂加一个底盘并不等于移动操作当前大部分WAM在桌面操作场景上验证机械臂固定视角稳定动作范围受限。但移动操作不是在桌面下面加个底盘那么简单譬如机器人一旦移动起来相机会随着底盘持续发生 ego-motion同一个任务可能存在大量不同的 base-arm 协同路径移动通常涉及大尺度低频运动抓取和接触却需要小尺度高精度控制。原本相对稳定的视觉和动作分布一下变得复杂得多。MobileWAM 正是针对这一缺口把视频生成模型中的世界动态先验扩展到 mobile manipulation移动操作。它以 Wan 视频扩散 Transformer 作为 World Expert再配置一个更轻量的 Action Expert。两者在每一层通过联合注意力发生交互但注意力是非对称的动作 token 可以读取视觉 token视觉 token 却不会读取动作。这种设计带来一个实用的效果部署时World Expert 可退化成一个 current-frame encoder当前视觉 feature 只需要计算一次并缓存而后面的 action denoising 可以不断复用。此外MobileWAM设计了Chain-of-Foresight让多个中间层串联预测一段future latent chain提供长程未来监督。但最关键的一点发生在部署阶段未来生成和 CoF 全部删掉只保留被这些监督塑造好的当前表征和动作策略。这暗示了一个值得注意的趋势未来不一定要在推理时生成也可以只存在于训练阶段作为监督把动态理解压回当前表征。▲MobileWAM 将大型视频扩散 Transformer 作为 World Expert与轻量 Action Expert 联合建模并通过 Chain-of-Foresight 和 Mobile MoE 处理移动操作中的长程动态与底盘、机械臂协同。DreamTrajectory行动之前先问一句“这个动作真的能走成我想的轨迹吗”MobileWAM 让 WAM 从固定机械臂迈向移动机器人而 DreamTrajectory 又往前走了一步世界模型不仅参与训练还开始直接参与测试时选择动作。移动操作的第一个难点是 whole-body action space 太大。底盘的位置、朝向和机械臂多个关节一起变化直接从图像和语言搜索一整个动作块非常困难。但机器人真正想实现的任务往往可以用一个更低维、更明确的目标描述例如“末端执行器沿着这条轨迹靠近把手然后拉开抽屉”。第二个问题是 open-loop action chunk。VLA 一次预测数步动作之后通常直接连续执行。但真实接触、摩擦、底盘误差都会让动作实际产生的轨迹偏离模型原本的计划。也就是说模型以为自己会走到 A执行之后却可能到了 B。DreamTrajectory 针对两个问题分别加入一层显式结构。首先Action Expert 不只生成 whole-body action同时预测一个 intention-level end-effector trajectory用这条任务空间轨迹引导底盘和机械臂联合动作。其次它再训练一个轻量 trajectory world model输入候选 action chunk预测这个动作真正执行之后会产生什么末端轨迹。因此测试时就可以进行search → predict → score → execute策略先采样多个候选动作世界模型预测这些动作可能造成的结果再比较哪一个结果最接近最初规划的轨迹最后才把对应动作发给机器人。世界模型在这里已经不再只是一个训练辅助而更像真正进入了决策循环的“后果模拟器”。如果说早期世界模型的逻辑是“预测未来所以我可能学会更好的动作。”DreamTrajectory 已经变成“我有几个动作可以做先预测每个动作会发生什么再决定真正执行哪一个。”这可能也是世界模型距离“决策模型”最近的一步。▲DreamTrajectory 先显式生成末端执行器轨迹来引导全身动作再利用轻量轨迹世界模型预测候选动作的实际后果在测试阶段完成搜索、预测、评分与执行。04 “未来”正在被不断拆解从香港科技大学广州李昊昂课题组的近期研究中可以看出一个非常明显的变化世界动作模型正在逐渐摆脱“未来一定要被完整生成出来”的执念。最初引入世界模型一个非常直觉的逻辑是让机器人先想象下一帧甚至未来几秒的图像再用这段视觉未来指导行为。但机器人逐渐进入更复杂的任务之后这种做法暴露出两个问题一方面高质量视频生成本身太慢另一方面像素真实度和动作有效性之间并没有简单的等号。一个对机器人有用的世界模型不需要把所有未来都预测得一样好它需要把和行动真正相关的未来预测对。另一个变化则发生在 world model 和 policy 之间。过去比较直观的系统结构是“世界模型先预测再把预测结果交给策略”。在UD-VLA、MMaDA-VLA里视觉未来和动作已经进入同一个生成过程在MobileWAM中未来甚至只作为训练监督存在部署时 world generation 可以整个被拿掉DreamTrajectory又走向另一个极端让 world model 在测试阶段亲自参与候选动作选择。因此 World Action Model 可能并不是一种固定架构而更像是一种正在快速形成的方法论机器人不应该只根据当前观测回答“下一步做什么”还应该拥有某种能力去表示“接下来可能发生什么”并让这个未来参与行动。至于这个未来究竟是一张图、一组语义 token、几何结构、物理状态、四维轨迹还是一个用来检验动作后果的轻量模型目前仍然没有统一答案。而这或许恰好解释了为什么最近会同时出现如此多不同的 WAM 路线。Ref1. Unified Diffusion VLA: Vision-Language-Action Model via Joint Discrete Denoising Diffusion Process, ICLR 2026.https://github.com/OpenHelix-Team/Unified-Diffusion-VLA2. FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment, 2026.https://github.com/OpenHelix-Team/frappe3. MMaDA-VLA: Large Diffusion Vision-Language-Action Model with Unified Multi-Modal Instruction and Generation, ACM MM 2026 Oral 2026.https://github.com/yliu-cs/MMaDA-VLA4. HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models, CVPR 2026.https://github.com/OpenHelix-Team/HiF-VLA5. S-VAM: Shortcut Video-Action Model by Self-Distilling Geometric and Semantic Foresighthttps://github.com/Haodong-Yan/S-VAM6. Robust-WAM: Bridging Generative Pretraining and Semantic Foresight in World-Action Models7. Is Forward Prediction Enough? Physical State Grounding for JEPA World Models8. 4D-WAM: Infusing Spatiotemporal Awareness into World Action Models through Trajectory Fieldshttps://github.com/lishanyqy/4DWAM9. MobileWAM: Bridging World Action Models to Mobile Manipulation with Chain-of-Foresight10. DreamTrajectory: Trajectory-Guided Action Generation with World Model Alignment for Mobile Manipulation