如果你最近也在做视频生成、世界模型或者 3D 空间理解相关的调研大概率会看到一个名字SCoPE。很多开发者第一次见到这个关键词时会误以为它和代码里的scope作用域有关甚至搜出“was not declared in this scope”的 C 报错或者小程序隐私协议里“api scope is not declared”的配置问题。其实SCoPE 是腾讯近期开源的一个视频世界模型它要解决的核心问题用一句话概括就是视频世界模型不应该被困在二维像素网格里而是可以用射线空间重写位置关系。这篇文章我会从视频世界模型的背景讲起分析“像素网格”为什么会在空间位置关系上形成天然瓶颈再解释射线空间的核心思想并结合一份概念验证代码帮助你理解两者的差异。最后给出复现、评估和工程落地时容易踩的坑与排查清单。如果你是做视频生成、多模态模型、自动驾驶仿真、具身智能落地的开发者这篇文章会有参考价值。1. 背景视频世界模型为什么最近这么火1.1 从视频生成到世界模型最近一年视频生成模型的能力提升非常明显。从早期的文本生成短视频到现在可以根据一段真实视频预测未来帧、可控相机视角、甚至生成物理上相对合理的运动过程模型的学习对象已经从“静态图像分布”转向“动态场景演化”。世界模型的概念也因此在 AI 社区重新热起来。简单理解世界模型不是只会“画”出下一帧图像而是要在内部隐式地学习一套关于空间、时间、物体运动和因果关系的表达。它需要做到的事情包括理解物体之间的相对位置知道遮挡关系如何随视角变化预测一段连续运动后场景应该变成什么样在缺少物理引擎的情况下尽量保持生成结果的时空一致性。Sora 等视频生成模型之所以引起轰动不完全是视频质量本身而是它们展现出了一种“涌现”出来的空间感。比如镜头平移时前后景物的遮挡关系基本稳定物体保持一段时间不消失。这种能力让人们开始相信视频模型有潜力成为一个用视觉信号训练出来的、可编程的“世界模拟器”。1.2 当前视频生成模型的真实瓶颈尽管视频生成模型进步很快但如果深挖它的内部机制会发现目前主流方案的空间理解仍然建立在“像素网格”之上。视频帧本质上是一张二维图像模型通常通过 ViTVision Transformer或者 3D VAE 把图像切成 patch再变换成 token。token 与 token 之间的位置关系来自一个二维网格坐标h, w或三维时空坐标t, h, w。模型的注意力机制就在这套网格上进行聚合。问题在于真实世界的空间关系并不是二维网格关系。举一个简单的例子相机朝正前方拍摄画面里有一辆汽车和一棵树。像素网格上汽车出现在画面左侧树出现在画面右侧。但真实世界中汽车可能距离相机 5 米树距离相机 30 米当相机向右平移 1 米后汽车可能移动到画面中央树可能因为视差变化而移动到画面右侧更远处。这个过程中二维像素坐标发生了明显变化但真实的三维位置关系并没有变。像素网格很难区分“坐标变化是因为相机运动”还是“坐标变化是因为物体本身在动”。如果模型只在像素网格上学习位置关系它就会在相机位姿发生变化时犯错误比如物体粘连、穿模、比例失调、遮挡关系混乱。也就是说视频世界模型真正缺的不是更多视频数据而是对空间位置关系的更合理表示。1.3 SCoPE 是什么顺带澄清 scope 误区SCoPE 就是沿着这个思路提出的开源工作。它尝试用一个更贴近几何本质的表示方式去替换或者补充像素网格中的位置编码这个表示方式被称作“射线空间”。在正式拆解之前先说清楚一个容易混淆的点scope编程中的作用域比如 C 报错 “was not declared in this scope”或者小程序隐私接口里的 “api scope is not declared in the privacy agreement”都和 SCoPE 没有任何关系。SCoPE这里指的是腾讯开源的视频世界模型项目名称重点在“视频”“世界模型”“射线空间”这几个词上。下面我们先把“像素网格的困境”讲透再来看射线空间为什么能补齐短板。2. 像素网格把视频世界模型“困住”的元凶2.1 像素网格的表示方式像素网格是最常见的视觉表示。一张H×W的图像就是H×W个像素点每个像素点有 RGB 颜色值。在模型内部位置信息通常通过位置编码注入绝对位置编码直接用(x, y)归一化后的坐标相对位置编码关注 token 之间的(dx, dy)或(dt, dh, dw)可学习位置编码把坐标映射成可学习向量。这些编码的底层逻辑是一致的把二维平面上的坐标关系当作模型理解空间位置的第一依据。这种表示的优点是简单、稳定、和传感器输出直接对应。每一帧视频天然就是像素网格不需要任何额外的传感器信息就能喂给模型。2.2 像素网格下的位置关系为什么不可靠像素网格表达位置关系有三个天然短板。第一没有深度信息。像素坐标是三维世界点在相机成像平面上的投影。透视投影会把深度信息压缩掉远景和近景物体可能在像素上“重叠”在一起。如果模型只知道像素坐标就无法判断谁在前、谁在后。第二坐标与相机位姿耦合。同一个三维点相机在不同位姿下会投影到不同的像素位置。模型如果想学习稳定的空间关系必须把相机内参、外参一起“隐式地学会”。这非常困难尤其是在训练数据相机轨迹十分多样的情况下。第三尺度信息丢失。一个物体是“变大”了还是“靠近”了像素网格上无法区分。这使得模型在生成视频时容易出现物体比例忽大忽小、大小跳变的情况。2.3 视频生成里最常见的“空间翻车”现象如果你使用过视频生成模型下面这些问题应该不陌生镜头围绕场景旋转时前后两个物体会出现“粘连”好像被磁铁吸住物体在移动过程中突然改变大小但实际物理世界不应该发生这种变化遮挡关系不稳定一个物体绕到另一个物体后面时模型可能让它“穿过去”而不是被遮挡相机快速移动时画面背景出现“流动扭曲”原本静止的建筑形状被拉长。这些现象本质上都说明模型的内部表示里缺少一个稳定的三维几何约束。只靠像素网格模型无法从训练数据中稳定地学到“投影背后的三维位置关系”。3. 射线空间重新定义位置关系的一种思路3.1 射线空间从哪来从 NeRF 说起射线空间Ray Space并不是全新概念。在神经辐射场NeRF中每条像素对应的是一条从相机光心出发、穿过该像素的射线ray。NeRF 在每条射线上采样若干个三维点用这些点的坐标和方向做体积渲染得到像素颜色。也就是说射线空间天然把二维像素和三维几何连接了起来。一条射线由以下信息组成起始点相机光心o方向像素在成像平面上的位置d深度沿射线方向到物体表面的距离t。如果视频世界模型也用类似的方式组织特征那么位置关系就不再是“像素 A 在像素 B 的左边”而是“射线 A 在深度t1处命中物体射线 B 在深度t2处命中物体如果t1 t2则 A 对应物体在 B 对应物体的前面”。这种表达方式对相机位姿更鲁棒。因为射线本身是在三维空间定义的和某一个特定视角的像素坐标解耦了。3.2 射线空间的坐标体系起点、方向、深度可以把一条射线理解成一组连续的三维点[ P(t) o t \cdot d ]其中o是相机中心d是单位方向向量t是深度表示从相机中心出发沿方向走多远。对视频世界模型来说如果模型不止看到二维像素(u, v)还能拿到对应的射线参数(o, d, t)那么它就有机会把“画面上的位置”和“空间中的位置”对应起来。在具体实现中模型不一定要直接处理连续射线参数而是可以把射线方向、深度作为额外的位置特征注入到 token 里。这样 token 和 token 之间不只拥有二维网格位置关系还拥有三维射线方向关系、深度排序关系。3.3 射线空间如何表达“位置关系”我们用两个物体来举例。假设物体 A 在相机右前方 3 米处物体 B 在右前方 6 米处。像素网格上A 和 B 可能都落在画面偏右的位置甚至部分重叠。模型在像素网格里只能知道 A 和 B “处于同一块区域”很难搞清楚它们是前后关系。但换成射线空间覆盖 A 的射线深度约为 3 米覆盖 B 的射线深度约为 6 米模型可以在这组射线上学习“前后遮挡关系”。更进一步如果相机发生平移射线方向发生变化但“A 深度 3 米、B 深度 6 米”这一关系不会改变。这就是射线空间带来的视角不变性。3.4 射线空间 vs 像素网格一张表说清楚维度像素网格射线空间基本单元像素(u, v)射线(o, d, t)是否包含深度否是是否依赖相机位姿强依赖弱依赖几何关系相对稳定表达遮挡关系无法判断只能靠颜色纹理猜测可通过深度排序判断对尺度变化的鲁棒性较差更好深度信息可消解尺度歧义与 3D 重建的兼容性弱强可直接对接 NeRF、3DGS 等表示计算复杂度低相对更高需要额外几何信息需要注意的是射线空间并不是要完全替代像素网格。像素网格仍然负责“看清楚画面内容”而射线空间负责“搞清楚空间关系”。两者更像是互补关系。4. 腾讯开源 SCoPE用射线空间重写位置关系4.1 SCoPE 的定位与技术路线SCoPE 要解决的问题非常具体让视频世界模型具备更准确的空间位置关系理解能力而不是停留在像素级拟合上。从公开信息来看SCoPE 的核心思路是引入射线空间作为位置关系的表达载体。它不是简单地在扩散模型里加一个深度通道而是尝试从更底层的 token 编码层面让模型把“射线”当作理解空间的原子单位。在这一点上SCoPE 和传统 2D 位置编码有本质区别。传统位置编码告诉模型“我是第 i 行第 j 列的 token”SCoPE 的射线空间告诉模型“我从相机中心出发朝某个方向看目标物体在这个方向上的某个深度处”。4.2 核心机制拆解思路层面由于目前项目仍在快速迭代中我不过度展开具体网络结构只从思路层面拆解它可能的关键环节。第一射线参数生成。对输入视频的每一帧根据相机内参、外参计算每个像素对应射线的起点和单位方向向量。如果没有精确相机位姿可以通过单目深度估计 相机标定估计的方法得到近似射线。第二几何感知的位置编码。把射线的方向向量和采样深度信息编码成和像素 token 同维度的特征向量和图像 patch embedding 相加或拼接。这一步的目标是让 Transformer 在自注意力计算时能感知 token 之间的三维空间关系而不仅是二维网格关系。第三深度与遮挡推理。在视频连续帧中模型通过射线空间的深度信息推理物体的前后顺序并在生成新帧时保持遮挡关系一致。这样生成的视频物体移动时不会“穿模”镜头旋转时也不会把前后物体粘在一起。第四渲染与像素解码。最终生成阶段模型还是要输出二维视频帧。它可以把射线空间特征重新投影回像素网格通过解码器生成图像。也就是说射线空间主要承担模型内部的空间表示输出层仍然兼容标准视频生成流程。4.3 为什么“开源”这件事很重要视频世界模型是一个研究密集、实现门槛高的方向。腾讯把 SCoPE 开源对社区有几个直接价值可以拿到真实实现而不是只看论文里的结构图可以在自己的数据集上微调验证射线空间是否真的比传统像素网格位置编码更有效可以对比不同位置编码方式对视频生成一致性的影响社区可以针对射线空间表示做二次改进比如融合 3DGS3D Gaussian Splatting或更轻量的深度预测模块。如果你准备在自己的项目中引入空间感知能力SCoPE 是一个非常合适的基线。4.4 实际落地价值与应用场景从工程角度看SCoPE 的射线空间表示至少能在以下场景产生价值可控视频生成用户指定相机移动轨迹模型生成视差合理、遮挡稳定的视频具身智能/机器人机器人从视频中学习物体位置关系减少对精确 3D 标注的依赖自动驾驶仿真生成多视角一致的道路场景用于训练感知和决策模型AR/VR 内容创作在缺乏真实 3D 建模的条件下从单段视频生成合理的多视角内容视频编辑与插帧对深度关系和位姿更敏感的任务模型可以维持几何稳定性。这些场景的共同点是模型必须先理解位置关系才能生成符合物理规律的内容。5. 动手尝试理解像素坐标与射线空间的概念代码为了让你更直观地感受“像素网格”和“射线空间”的差异我用 Python 写一个极简概念演示。它不依赖任何深度学习框架只需要 NumPy 和 Matplotlib。5.1 构造一个模拟 3D 场景我们构造三个物体分别在三维空间的不同位置。import numpy as np # 三个物体的三维坐标x, y, zz 表示深度 objects np.array([ [0.0, 0.0, 5.0], # 物体 A画面中央深度 5 米 [-1.0, 0.5, 8.0], # 物体 B左侧稍远深度 8 米 [1.0, -0.5, 12.0], # 物体 C右侧更远深度 12 米 ])这里z越大表示离相机越远。5.2 用针孔相机模型投影到像素网格接下来用一个简化针孔相机把三维点投影到二维像素平面。def project_to_pixel(points, focal1.0): 简单针孔投影把三维点投影到归一化像素平面。 这里忽略了相机内参中的主点偏移聚焦在核心思路上。 pixel np.zeros((points.shape[0], 2)) for i, (x, y, z) in enumerate(points): if z 0: raise ValueError(z 必须大于 0点位于相机后方) pixel[i, 0] focal * x / z pixel[i, 1] focal * y / z return pixel pixels project_to_pixel(objects) print(像素坐标(u, v)) print(pixels)输出大致是像素坐标(u, v) [[ 0. 0. ] [-0.125 0.0625 ] [ 0.08333333 -0.04166667]]从像素坐标看三个点在平面上分开了但我们无法知道它们的深度关系。只靠这组二维坐标模型很难判断“B 在 A 后面多远”。5.3 构造射线空间表示现在我们构造射线每条射线从相机中心o(0,0,0)出发方向指向像素对应的三维点。def build_ray(points): 构造射线起点为相机中心方向归一化为单位向量。 返回起点数组 o, 方向数组 d, 深度数组 t o np.zeros((points.shape[0], 3)) directions points / np.linalg.norm(points, axis1, keepdimsTrue) # 深度取点到相机中心的欧氏距离 t np.linalg.norm(points, axis1) return o, directions, t o, d, t build_ray(objects) print(射线方向 d) print(d) print(射线深度 t) print(t)输出大致是射线方向 d [[0. 0. 1. ] [-0.12309149 0.06154574 0.99049589] [0.08276253 -0.04138127 0.99570671]] 射线深度 t [ 5. 8.07898776 12.04159458]可以看到射线空间显式保留了深度信息。对模型来说方向d描述“朝哪个方向看”深度t描述“看多远”。三个物体的前后关系一目了然。5.4 用深度排序判断遮挡关系如果两个物体投影到相近的像素区域我们可以用深度排序来判断谁遮挡谁。def occlusion_order_by_depth(depth): 按深度从小到大排序返回物体索引。 深度越小越靠近相机应显示在前。 return np.argsort(depth) order occlusion_order_by_depth(t) print(从近到远的物体索引, order)输出从近到远的物体索引 [0 1 2]即物体 A 最近物体 B 次之物体 C 最远。这个信息在纯像素坐标里是隐式的而在射线空间里是显式的。5.5 模拟相机位姿变化对比两种表示的稳定性下面模拟相机向右平移 0.5 米重新投影像素坐标并重新计算射线。# 相机向右平移 0.5 米 camera_offset np.array([0.5, 0.0, 0.0]) relative_objects objects - camera_offset pixels_new project_to_pixel(relative_objects) _, d_new, t_new build_ray(relative_objects) print(新像素坐标(u, v)) print(pixels_new) print(新射线深度 t_new) print(t_new)像素坐标会整体发生偏移但射线方向的整体结构仍然稳定。深度关系基本不变。这说明射线空间是一种比像素网格更具备“几何一致性”的表达。6. 如果你要复现或评估 SCoPE可以怎么做6.1 先准备好视频世界模型评估基准SCoPE 这类模型最终效果不能只看“生成图像美不美”还要看“生成视频是否符合物理直觉和空间逻辑”。建议至少准备四类评估数据多视角一致性测试集同一场景多个相机视角的视频检查跨视角生成的物体位置是否一致遮挡连续性测试集物体绕到另一物体后方再重新出现的视频检查遮挡是否连续尺度稳定性测试集相机移动造成物体远小近大变化检查模型是否保持物体尺度稳定位置关系问答集设计一些“A 是否在 B 前方”“镜头转动后 A 和 B 谁离相机更近”之类的标注量化评估模型的位置关系理解能力。6.2 重点关注哪些指标指标类型推荐指标说明视频质量FVD、FID衡量生成视频帧分布与真实分布的差异多视角一致性重投影误差、视角间深度一致性衡量射线空间表示是否真的稳定物理合理性遮挡保持率、接触保持率物体是否按要求前后遮挡、是否穿模位置关系准确率深度顺序准确率、相对位置准确率针对 SCoPE 核心能力设计运动平滑度轨迹抖动率、加速度异常率衡量时序上的物理合理性如果你在自己的数据上复现 SCoPE建议把“深度顺序准确率”作为一个关键指标。它能直接反映模型是否真正理解了位置关系而不是单纯靠纹理猜。6.3 训练与部署资源提醒视频世界模型的训练成本比普通视频生成模型更高。原因是从射线空间重建回像素空间需要额外的几何计算和空间采样。实际工程中要注意显存建议至少使用多卡并行单卡可以先用低分辨率 少帧数验证逻辑数据射线参数依赖相机位姿或深度估计数据预处理比普通视频生成更重依赖确认项目是基于 PyTorch 还是其他框架按官方仓库安装依赖不要照搬旧环境License开源项目商用前一定要核对 License 和第三方依赖的合规性。6.4 版本与开源信息核对SCoPE 仍属于快速迭代的前沿项目。你在阅读本文或查找资料时注意以官方仓库为准项目正式名称是 SCoPE注意和编程中的 scope 区分开源地址可以在腾讯官方 GitHub 组织中找到复现前先查看 README 中的环境要求和模型权重下载方式如果官方代码有更新优先拉取最新版本避免用旧代码跑新数据。为了不误导读者我这里不编写伪造的 API 调用示例。等你在官方仓库确认接口后再按真实接口做适配。7. 常见问题与排查思路这里整理复现和处理视频世界模型空间一致性时最容易遇到的问题。问题现象常见原因解决思路生成的视频中近距离物体“长到”远处物体上模型只在像素网格上编码位置缺少深度/几何约束引入射线空间深度监督显式建模前后遮挡关系相机旋转后场景明显变形像素网格位置与相机位姿强耦合模型未能解耦几何与视角为每条射线编码起点和方向把视角信息从空间关系中分离物体比例忽大忽小深度信息缺失模型无法区分“变大”和“靠近”增加射线深度通道在生成损失中加入尺度一致性项跨视角生成时物体位置漂移训练数据中相机位姿多样性不足补充多视角视频数据或利用数据增强模拟不同视角复现时显存不足视频世界模型计算量大射线采样加重显存负担使用梯度累积、模型并行、降低分辨率/帧数预训练搜索“SCoPE”看到小程序 scope 报错把模型名和编程关键词 scope 混淆确认项目来源是腾讯开源的视频世界模型 SCoPE射线参数训练时 loss 不稳定深度范围变化大缺少归一化对深度做对数空间归一化或分桶处理单目视频数据没有相机位姿射线参数无法精确计算先用单目深度估计网络生成伪深度再进行模型预训练排查时建议按顺序来先确认数据中的深度/位姿标注是否正常再检查射线参数编码是否进入模型最后看评估指标是否覆盖了空间一致性维度。8. 最佳实践与工程建议8.1 数据层面多视角与深度优先训练视频世界模型数据的“几何信息”比“画面精美度”更重要。优先收集带相机位姿的多视角视频如果条件不允许可以先用单目深度估计模型为视频帧补充稠密深度图。哪怕深度不够精确也能帮助模型建立前后遮挡的粗糙概念。8.2 模型层面几何先验前置不要让模型在最后一层才学习空间关系。更有效的做法是在特征编码阶段就注入射线空间信息让底层特征携带几何意义。这样自注意力在计算 token 关系时天然就会考虑“这个 token 的空间方向是什么深度是多少”。8.3 评估层面分维度独立评估不要只用一个 FVD 指标概括所有能力。建议把空间一致性拆成独立维度多视角一致、遮挡连续、尺度稳定、深度顺序准确。每个维度单独出分数这样你能快速定位模型短板。8.4 工程层面控制射线采样成本射线空间虽然表达能力强但每次采样都会带来额外计算量。工程落地时可以考虑射线稀疏化只在关键位置采样射线不逐像素采样特征缓存静态背景区域复用射线特征动态区域才重新计算混合精度射线参数和几何计算使用 FP16 或 BF16减少显存占用。8.5 落地层面从小场景开始验证如果你想在业务中引入视频世界模型不要一开始就试图生成复杂大场景视频。建议先在小范围、物体数量可控的场景里验证模型的空间一致性表现。例如先让两个物体做前后遮挡运动确认稳定后再逐步增加物体数量和环境复杂度。9. 总结与学习路线这篇文章主要拆解了这几个关键点视频世界模型的核心目标是从视频中学习空间、时间和物理规律纯像素网格表示缺少深度信息难以区分相机运动与物体运动导致位置关系理解不可靠射线空间通过起点、方向、深度三元组表达位置关系天然适合建模遮挡、尺度和多视角一致性腾讯开源的 SCoPE 沿着这个思路尝试用射线空间重写视频世界模型的位置关系表示工程上可以用深度顺序准确率、多视角重投影误差等指标评估模型是否真正理解了空间关系。如果你想继续深入学习建议按下面这条路线走先掌握 NeRF 的基本原理理解射线采样和体积渲染再看 3D Gaussian Splatting了解更轻量的三维表示然后结合视频扩散模型了解世界模型如何生成时序视频最后深入 SCoPE 开源代码研究射线空间位置编码的具体实现。视频世界模型是一个快速发展的方向射线空间可能是其中一条值得持续关注的技术路线。建议你动手跑通一个最小示例哪怕只是我上面给出的概念代码也能帮助你建立直觉二维像素坐标只是空间的投影而射线空间保留了投影之前的位置关系。如果本文对你有帮助可以收藏备用。也欢迎在实际复现后把遇到的问题和结论分享出来一起讨论。