尧图网站建设 
2026 年 9 月 1 日World Labs 发布 Atlas一个面向空间智能的多模态世界模型。北京时间对应 9 月 2 日。Atlas 的技术看点不是单项画质指标而是尝试在统一架构内完成相机控制生成、稀疏视图重建、时空模拟、显式 3D 输出和机器人 Real-to-Sim。World Labs 将其称为首个能够以“pixel-perfect camera control”生成图像和视频帧并将结果重建为 3D 的多模态世界模型。需要先限定证据边界“首个”来自官方发布当前没有独立第三方验证。李飞飞在 X 上强调Atlas 是一个从头预训练的多模态世界模型。1. Atlas 公开能力概览任务输入输出关键差异相机控制生成文字、一到六张参考图、相机路径新视角图像、最长 1 分钟 1440p 视频相机位姿是原生条件而非纯文本描述空间重建一张到上百张图像及空间信息新视角、深度、点云、3D Gaussian Splatting统一生成先验与几何重建视频重构三到五台普通相机的素材冻结时刻、目标视角画面低成本实现类似“子弹时间”的重构机器人 Real-to-Sim手机视频、场景与机器人轨迹重建环境、机器人视角 RGB 与深度同一模型生成世界和传感器观测图像与全景生成文字或图像提示普通图像、360° 全景图像作为进入空间世界的入口2. 为什么原生相机条件很重要传统视频生成通常用自然语言描述运镜例如“缓慢向左移动”“升高后绕主体旋转”。这种控制方式存在三个问题描述缺少统一的数值语义模型对复杂组合轨迹的执行容易漂移相同提示难以稳定复现同一机位。Atlas 把精确相机几何作为原生输入。参考图像被绑定到三维空间中的相机位姿目标帧同样由指定相机位姿约束。这里的“pixel-perfect”不应理解为每个输出像素绝对准确更准确的工程解释是模型直接接收精确的相机控制而不是从模糊文本中推断轨迹。这种输入设计带来两个直接收益可控性镜头语言从概率性提示升级为结构化条件可评测性可以比较目标轨迹与生成内容中的实际相机运动而不是只做主观画质评价。3. 多模态自回归扩散 TransformerWorld Labs 对 Atlas 的架构定义是 multimodal autoregressive diffusion transformer可拆成四部分。3.1 Multimodal空间数据成为原生模态Atlas 当前可处理文字、图像、相机位姿和 3D 深度图视频被表示成图像序列。每张图和深度图都由相机位姿定位到三维空间从而形成 spatial context。重点不是模态数量而是模态之间存在明确的空间对齐。普通多模态模型知道“一张图里有什么”空间模型还要知道“这张图从哪里拍摄与另一张图是什么几何关系”。3.2 Autoregressive用序列统一任务Atlas 逐个生成多模态序列中的元素每个新元素都以前序内容为条件。从概念上看不同任务都可以转换成“输入序列 输出序列”任务概念序列新视角生成参考图像与位姿 → 目标相机位姿 → 目标图像深度预测图像与位姿 → 对应深度图多视图重建多组图像与位姿 → 新视角/深度/3D 表示长视频生成参考上下文 → 连续目标位姿 → 连续图像帧上表用于解释官方设计思路不代表 World Labs 已公开底层 Token 格式。统一序列接口的价值是减少任务专用架构并让生成和重建共享参数与世界先验。3.3 Diffusion生成高维连续信号Atlas 使用 rectified flow通过逐步去噪生成图像和深度等高维连续数据。扩散路线允许系统通过调整去噪步数在速度和质量之间进行权衡。World Labs 还指出Atlas 可以继承现代图像和视频模型的优化方向包括扩散蒸馏、classifier-free guidance、噪声调度与 VAE 设计。3.4 Transformer承载上下文与扩展性Transformer 负责建模多模态序列中的依赖关系。因为 Atlas 具有自回归特性官方认为它可以借鉴 LLM 服务体系中的 KV Cache、cache-aware routing 和分离式服务等技术。这意味着 Atlas 在系统层面横跨两类优化栈序列模型侧关注上下文缓存、路由、并行与吞吐扩散模型侧关注去噪步数、蒸馏、VAE 和生成质量。一个简化的数据流可以表示为文字 / 图像 / 相机位姿 / 深度 ↓ 带 3D 定位的空间上下文 ↓ 自回归选择下一个多模态元素 ↓ Rectified Flow 生成视觉结果 ↓ 图像 / 视频帧 / 深度 / 点云 / Gaussian Splatting4. 生成和重建为什么能够互相增强传统 3D 重建强调从观测恢复真实几何。输入视角不足时系统通常出现空洞、噪声或不确定区域。生成模型拥有大规模数据中学到的世界先验可以对缺失区域给出合理补全。Atlas 将两者放入统一模型后理论上会形成双向收益生成先验帮助稀疏重建补全隐藏区域深度与相机几何约束帮助视频保持跨视角一致性多视图上下文减少长视频中的场景漂移。但这也引入新的产品风险。补全结果在创意任务里是优势在测绘和数字孪生任务里可能是错误。工程系统至少需要记录哪些区域被真实传感器覆盖哪些区域来自模型推断各区域的重建置信度输入图像、位姿和输出之间的追溯关系。仅提供最终渲染结果不足以支持高可靠场景。5. 为什么要输出显式 3DAtlas 可以输出点云和 3D Gaussian Splatting而不仅是二维视频。点云表达场景的几何采样Gaussian Splatting 用带颜色、尺度、旋转和透明度的三维高斯基元表示场景适合实时神经渲染。显式表示相当于模型和下游系统之间的接口契约视频系统可以使用相机和深度做后期合成机器人系统可以基于深度与几何生成传感器观测游戏与 VFX 管线可以将场景导入实时渲染流程设计工具可以进一步进行浏览、标注和编辑。不过Gaussian Splatting 不是传统游戏 Mesh。碰撞体、导航网格、材质分层、物体实例、拓扑和交互语义仍需额外系统处理。6. 机器人 Real-to-Sim 的工程价值World Labs 展示了用手机视频重建真实环境再模拟机器人沿不同路径移动的流程。Atlas 可以生成机身摄像头对应的 RGB 与深度数据。机器人数据的主要困难不是存储而是采集和覆盖每次失败都可能需要人工恢复场景不同机身、相机和控制策略需要重新适配极端状态难以安全地在硬件上重复真机评测吞吐远低于软件模型评测。Real-to-Sim 将一次真实采集转换为可重复使用的环境再改变物体位置、光照、背景、机器人轨迹和动作。这可以支持训练、回归测试、策略筛选和失败状态挖掘。对具身智能而言世界模型可以成为 VLA 之外的预测层VLA 产生动作世界模型估计动作之后的观测与状态变化。但公开材料还不能证明 Atlas 是完整的物理引擎或长期规划器。视觉一致性不等于摩擦、碰撞、质量和材料形变准确。安全关键部署仍需要真机闭环验证。7. 对视频和游戏研发的影响视频与 VFX相机路径原生化将工作流从“Prompt 抽卡”转向“轨迹设计 条件生成”。潜在场景包括单张概念图生成多机位分镜少量参考图维持长镜头空间一致性普通多机位拍摄后重新选择观看角度低成本完成补拍、预演与虚拟摄影。游戏开发Atlas 的近期价值更可能是快速世界草模、关卡预演和神经渲染而不是直接输出完整可玩关卡。生成结果还需经过资产分层、碰撞、导航、语义标注和逻辑编排。8. 研发团队可以借鉴的设计原则8.1 关键控制量应成为原生输入只要某个变量决定任务成功例如相机位姿、深度、机器人动作或传感器状态就应考虑结构化编码而不是全部依赖自然语言。8.2 统一任务接口但保留显式状态任务可以统一成序列深度、位姿、点云等中间表示仍有价值。端到端不等于不可观察。8.3 将上下文管理视为核心能力Atlas 的一分钟视频并不只靠单次 Prompt而是结合相机运动和空间上下文管理。长序列生成的关键问题包含上下文选择、缓存、历史一致性和误差累积。8.4 为“创作”和“忠实重建”设计不同模式两个场景对幻觉的容忍度完全不同。创作模式可以主动补全忠实模式应优先暴露空洞和不确定性。8.5 建立任务级评测除画质指标外建议至少覆盖相机轨迹遵循误差跨视角几何一致性稀疏输入下的 3D 重建误差长视频中的身份与场景漂移动态预测误差仿真评测与真机表现的相关性未观测区域的校准与不确定性。9. 当前限制Atlas 目前处于早期访问仅向部分合作伙伴开放。World Labs 公布了自有演示与基准结果但没有提供足够信息让外界完整判断实际推理延迟与资源需求每分钟视频或每个 3D 场景的成本长序列和复杂动态场景的失败率重建区域与生成区域的可靠区分物理动态与真实世界的对齐程度第三方模型在统一协议下的复现结果。因此Atlas 更适合被理解为一条清晰且有潜力的技术路线而不是已经完成的通用世界模拟器。总结Atlas 把相机位姿和深度提升为原生模态通过空间上下文连接图像、视频与 3D再利用自回归序列统一多类任务最后由 rectified flow 生成连续视觉信号。它带来的研发启示可以浓缩成一句话当任务需要准确控制空间和动作时不要只把问题写进 Prompt要把决定结果的结构化变量写进模型接口。下一阶段世界模型的竞争不会只看生成画质还会看空间一致性、控制精度、显式表示、长序列稳定性以及能否在机器人和内容生产的真实闭环中创造价值。参考资料World LabsAtlas: A World Model for Spatial IntelligenceWorld LabsBuilding Worlds That Train RobotsWorld LabsA Functional Taxonomy of World Models World Labs Atlas 技术解析：多模态自回归扩散 Transformer 如何统一视频生成、3D 重建与机器人仿真
2026 年 9 月 1 日World Labs 发布 Atlas一个面向空间智能的多模态世界模型。北京时间对应 9 月 2 日。Atlas 的技术看点不是单项画质指标而是尝试在统一架构内完成相机控制生成、稀疏视图重建、时空模拟、显式 3D 输出和机器人 Real-to-Sim。World Labs 将其称为首个能够以“pixel-perfect camera control”生成图像和视频帧并将结果重建为 3D 的多模态世界模型。需要先限定证据边界“首个”来自官方发布当前没有独立第三方验证。李飞飞在 X 上强调Atlas 是一个从头预训练的多模态世界模型。1. Atlas 公开能力概览任务输入输出关键差异相机控制生成文字、一到六张参考图、相机路径新视角图像、最长 1 分钟 1440p 视频相机位姿是原生条件而非纯文本描述空间重建一张到上百张图像及空间信息新视角、深度、点云、3D Gaussian Splatting统一生成先验与几何重建视频重构三到五台普通相机的素材冻结时刻、目标视角画面低成本实现类似“子弹时间”的重构机器人 Real-to-Sim手机视频、场景与机器人轨迹重建环境、机器人视角 RGB 与深度同一模型生成世界和传感器观测图像与全景生成文字或图像提示普通图像、360° 全景图像作为进入空间世界的入口2. 为什么原生相机条件很重要传统视频生成通常用自然语言描述运镜例如“缓慢向左移动”“升高后绕主体旋转”。这种控制方式存在三个问题描述缺少统一的数值语义模型对复杂组合轨迹的执行容易漂移相同提示难以稳定复现同一机位。Atlas 把精确相机几何作为原生输入。参考图像被绑定到三维空间中的相机位姿目标帧同样由指定相机位姿约束。这里的“pixel-perfect”不应理解为每个输出像素绝对准确更准确的工程解释是模型直接接收精确的相机控制而不是从模糊文本中推断轨迹。这种输入设计带来两个直接收益可控性镜头语言从概率性提示升级为结构化条件可评测性可以比较目标轨迹与生成内容中的实际相机运动而不是只做主观画质评价。3. 多模态自回归扩散 TransformerWorld Labs 对 Atlas 的架构定义是 multimodal autoregressive diffusion transformer可拆成四部分。3.1 Multimodal空间数据成为原生模态Atlas 当前可处理文字、图像、相机位姿和 3D 深度图视频被表示成图像序列。每张图和深度图都由相机位姿定位到三维空间从而形成 spatial context。重点不是模态数量而是模态之间存在明确的空间对齐。普通多模态模型知道“一张图里有什么”空间模型还要知道“这张图从哪里拍摄与另一张图是什么几何关系”。3.2 Autoregressive用序列统一任务Atlas 逐个生成多模态序列中的元素每个新元素都以前序内容为条件。从概念上看不同任务都可以转换成“输入序列 输出序列”任务概念序列新视角生成参考图像与位姿 → 目标相机位姿 → 目标图像深度预测图像与位姿 → 对应深度图多视图重建多组图像与位姿 → 新视角/深度/3D 表示长视频生成参考上下文 → 连续目标位姿 → 连续图像帧上表用于解释官方设计思路不代表 World Labs 已公开底层 Token 格式。统一序列接口的价值是减少任务专用架构并让生成和重建共享参数与世界先验。3.3 Diffusion生成高维连续信号Atlas 使用 rectified flow通过逐步去噪生成图像和深度等高维连续数据。扩散路线允许系统通过调整去噪步数在速度和质量之间进行权衡。World Labs 还指出Atlas 可以继承现代图像和视频模型的优化方向包括扩散蒸馏、classifier-free guidance、噪声调度与 VAE 设计。3.4 Transformer承载上下文与扩展性Transformer 负责建模多模态序列中的依赖关系。因为 Atlas 具有自回归特性官方认为它可以借鉴 LLM 服务体系中的 KV Cache、cache-aware routing 和分离式服务等技术。这意味着 Atlas 在系统层面横跨两类优化栈序列模型侧关注上下文缓存、路由、并行与吞吐扩散模型侧关注去噪步数、蒸馏、VAE 和生成质量。一个简化的数据流可以表示为文字 / 图像 / 相机位姿 / 深度 ↓ 带 3D 定位的空间上下文 ↓ 自回归选择下一个多模态元素 ↓ Rectified Flow 生成视觉结果 ↓ 图像 / 视频帧 / 深度 / 点云 / Gaussian Splatting4. 生成和重建为什么能够互相增强传统 3D 重建强调从观测恢复真实几何。输入视角不足时系统通常出现空洞、噪声或不确定区域。生成模型拥有大规模数据中学到的世界先验可以对缺失区域给出合理补全。Atlas 将两者放入统一模型后理论上会形成双向收益生成先验帮助稀疏重建补全隐藏区域深度与相机几何约束帮助视频保持跨视角一致性多视图上下文减少长视频中的场景漂移。但这也引入新的产品风险。补全结果在创意任务里是优势在测绘和数字孪生任务里可能是错误。工程系统至少需要记录哪些区域被真实传感器覆盖哪些区域来自模型推断各区域的重建置信度输入图像、位姿和输出之间的追溯关系。仅提供最终渲染结果不足以支持高可靠场景。5. 为什么要输出显式 3DAtlas 可以输出点云和 3D Gaussian Splatting而不仅是二维视频。点云表达场景的几何采样Gaussian Splatting 用带颜色、尺度、旋转和透明度的三维高斯基元表示场景适合实时神经渲染。显式表示相当于模型和下游系统之间的接口契约视频系统可以使用相机和深度做后期合成机器人系统可以基于深度与几何生成传感器观测游戏与 VFX 管线可以将场景导入实时渲染流程设计工具可以进一步进行浏览、标注和编辑。不过Gaussian Splatting 不是传统游戏 Mesh。碰撞体、导航网格、材质分层、物体实例、拓扑和交互语义仍需额外系统处理。6. 机器人 Real-to-Sim 的工程价值World Labs 展示了用手机视频重建真实环境再模拟机器人沿不同路径移动的流程。Atlas 可以生成机身摄像头对应的 RGB 与深度数据。机器人数据的主要困难不是存储而是采集和覆盖每次失败都可能需要人工恢复场景不同机身、相机和控制策略需要重新适配极端状态难以安全地在硬件上重复真机评测吞吐远低于软件模型评测。Real-to-Sim 将一次真实采集转换为可重复使用的环境再改变物体位置、光照、背景、机器人轨迹和动作。这可以支持训练、回归测试、策略筛选和失败状态挖掘。对具身智能而言世界模型可以成为 VLA 之外的预测层VLA 产生动作世界模型估计动作之后的观测与状态变化。但公开材料还不能证明 Atlas 是完整的物理引擎或长期规划器。视觉一致性不等于摩擦、碰撞、质量和材料形变准确。安全关键部署仍需要真机闭环验证。7. 对视频和游戏研发的影响视频与 VFX相机路径原生化将工作流从“Prompt 抽卡”转向“轨迹设计 条件生成”。潜在场景包括单张概念图生成多机位分镜少量参考图维持长镜头空间一致性普通多机位拍摄后重新选择观看角度低成本完成补拍、预演与虚拟摄影。游戏开发Atlas 的近期价值更可能是快速世界草模、关卡预演和神经渲染而不是直接输出完整可玩关卡。生成结果还需经过资产分层、碰撞、导航、语义标注和逻辑编排。8. 研发团队可以借鉴的设计原则8.1 关键控制量应成为原生输入只要某个变量决定任务成功例如相机位姿、深度、机器人动作或传感器状态就应考虑结构化编码而不是全部依赖自然语言。8.2 统一任务接口但保留显式状态任务可以统一成序列深度、位姿、点云等中间表示仍有价值。端到端不等于不可观察。8.3 将上下文管理视为核心能力Atlas 的一分钟视频并不只靠单次 Prompt而是结合相机运动和空间上下文管理。长序列生成的关键问题包含上下文选择、缓存、历史一致性和误差累积。8.4 为“创作”和“忠实重建”设计不同模式两个场景对幻觉的容忍度完全不同。创作模式可以主动补全忠实模式应优先暴露空洞和不确定性。8.5 建立任务级评测除画质指标外建议至少覆盖相机轨迹遵循误差跨视角几何一致性稀疏输入下的 3D 重建误差长视频中的身份与场景漂移动态预测误差仿真评测与真机表现的相关性未观测区域的校准与不确定性。9. 当前限制Atlas 目前处于早期访问仅向部分合作伙伴开放。World Labs 公布了自有演示与基准结果但没有提供足够信息让外界完整判断实际推理延迟与资源需求每分钟视频或每个 3D 场景的成本长序列和复杂动态场景的失败率重建区域与生成区域的可靠区分物理动态与真实世界的对齐程度第三方模型在统一协议下的复现结果。因此Atlas 更适合被理解为一条清晰且有潜力的技术路线而不是已经完成的通用世界模拟器。总结Atlas 把相机位姿和深度提升为原生模态通过空间上下文连接图像、视频与 3D再利用自回归序列统一多类任务最后由 rectified flow 生成连续视觉信号。它带来的研发启示可以浓缩成一句话当任务需要准确控制空间和动作时不要只把问题写进 Prompt要把决定结果的结构化变量写进模型接口。下一阶段世界模型的竞争不会只看生成画质还会看空间一致性、控制精度、显式表示、长序列稳定性以及能否在机器人和内容生产的真实闭环中创造价值。参考资料World LabsAtlas: A World Model for Spatial IntelligenceWorld LabsBuilding Worlds That Train RobotsWorld LabsA Functional Taxonomy of World Models