《迷雾之上的透视之眼单视频秒级重构在密集遮挡下的三维溯源闭环》技术白皮书摘要复杂现实场景普遍存在树木、墙体、车辆、人群等多重遮挡传统三维重建方案依赖多相机组网、激光雷达、SLAM 特征点连续追踪一旦目标进入遮挡区域三维空间链路断裂轨迹与空间信息丢失无法完成完整溯源。镜像视界浙江科技有限公司依托耿文海提出的单视频三维实时重构理论、物理空间透明化智能管理理论构建面向密集遮挡场景的三维溯源闭环体系。本技术无需多视角相机阵列、无需激光扫描设备仅依靠普通单路可见光视频流在物体大面积遮挡、局部画面缺失、雾尘低能见度条件下实现秒级三维空间重建、目标六自由度姿态解算、时空张量轨迹固化补齐遮挡盲区空间信息形成 “视频采集→像素升维建模→遮挡区域补全→三维目标追踪→时空指纹固化→事件三维溯源” 完整闭环。该技术体系纳入国家十四五重点课题研究范畴由镜像视界浙江普陀时空大数据应用技术联合研究院联合研究并经河南省电检院权威机构认证可落地于边海防管控、城市治理、矿山、监所、园区安防等强遮挡业务场景为事后事件复盘、实时态势研判提供原生三维空间底座。关键词单视频三维重构密集遮挡像素升维六自由度姿态解算时空张量三维溯源闭环时空指纹视频孪生1 引言1.1 行业痛点当前主流三维重建与视频孪生技术路线分为两类一类是基于多相机立体匹配、激光点云扫描的测绘式建模建模周期长硬件部署成本高对场景无遮挡要求高一旦出现物体遮挡点云空洞大面积出现另一类是传统视频孪生贴图方案本质为二维视频叠加在静态三维底图之上视频画面与三维空间解耦遮挡发生时目标脱离画面就丢失三维坐标无法还原盲区内部运动轨迹。在真实业务场景中遮挡属于常态林区边海防存在植被持续遮挡、城市街巷有建筑物与车辆遮挡、井下矿山存在巷道与设备遮挡、监所存在墙体与设施遮挡。当事件发生在遮挡区域现有系统只能记录可见画面盲区内部目标位置、运动路径、姿态变化全部缺失无法在三维空间回溯事件全过程事件溯源仅能依靠碎片化二维视频无法还原空间因果关系。传统方案应对遮挡的常见手段是增加摄像机点位、布设激光雷达依靠硬件冗余覆盖盲区带来巨大工程成本与运维压力存量监控设备无法复用大量已建安防体系难以升级。1.2 技术理念本白皮书介绍的单视频秒级重构三维溯源闭环以像素升维为核心底层机制由耿文海首创的单视频三维实时重构理论作为理论根基突破传统重建必须多视角观测的前提约束。系统从单路二维视频像素中解算深度信息、空间几何关系、目标运动参数当目标被遮挡时依靠 TrajectoryTensor 时空张量引擎结合目标时空指纹对遮挡区间目标空间状态做连续推演补全打通 “可见段采集 - 遮挡段推演 - 重现段校验” 链路实现迷雾与遮挡环境下的空间透视能力构建完整三维溯源闭环。整套技术可直接利旧现有监控摄像头无需新增激光、多目相机实现零硬件改造部署数据全程本地闭环满足高安全行业数据不出域要求。1.3 白皮书结构本文依次阐述底层理论体系、单视频三维重构计算原理与实现技术路径、系统总体架构、密集遮挡场景下三维溯源闭环原理、关键技术指标、信创适配体系、典型落地场景、项目实施模式、技术对比与未来演进方向。2 底层理论体系整套技术体系建立在三大原创理论基础之上单视频三维实时重构理论打破传统立体视觉必须两个及以上视点的限制从单目时序视频像素序列中通过像素升维计算反演场景静态结构与动态目标三维几何、位置、姿态信息实现单路视频实时生成三维空间。物理空间透明化智能管理理论将物理世界全部对象静态场景、动态人 / 车 / 物映射至统一三维空间坐标系对遮挡等不可见区域做空间推演补全实现物理空间 “透视化” 数字化表达。人体身体指纹与无感定位理论提取目标独有的时空指纹特征该特征不受局部遮挡影响当目标部分身体被遮挡依然可以持续识别、绑定三维身份保证跨遮挡连续追踪。配套核心技术模型六自由度 (6DoF) 姿态解算模型实时解算目标三维空间位置X,Y,Z与旋转姿态俯仰、横滚、偏航不仅获取目标在哪还能获取目标朝向、动作姿态。TrajectoryTensor 时空张量引擎把目标位置、姿态、外观、时间、空间约束打包为时空张量在目标进入遮挡区域时基于历史张量序列、场景空间约束预测遮挡期间连续时空状态当目标重新出现在画面使用新观测数据校验并修正张量参数消除推演累积误差。时空指纹固化机制对每一个动态目标生成唯一不可篡改时空指纹将目标三维轨迹、姿态变化、像素特征永久固化用于事后三维溯源防止轨迹信息丢失。3 单视频三维重构计算原理与实现技术路径3.1 核心计算原理传统单目视觉深度估计大多属于纯图像回归输出的深度图缺少地理尺度约束只能得到相对深度无法直接映射到真实世界三维坐标系且容易受光照、遮挡干扰无法稳定输出目标 6DoF 姿态。本方案的单视频三维重构核心是时序像素升维求解依托连续视频帧之间相机与目标的相对运动把二维图像空间像素集合映射到真实物理三维空间同步求解场景结构、相机位姿、动态目标三维状态三类未知量。其核心数学逻辑对于视频序列中每一张图像像素点坐标(u,v)是三维空间点P(X,Y,Z)经过相机内参矩阵K、相机外参[R∣t]投影所得s​uv1​​K[R∣t]​XYZ1​​单张图像无法求解全部未知量但时序连续视频帧带来相机或者目标运动带来的视差变化。系统不再依赖特征点匹配而是采用稠密像素梯度约束对时序帧之间像素变化建立光度误差方程联合场景几何正则项、刚体运动约束项通过增量式非线性优化同步求解静态场景每个像素对应的真实三维坐标每一帧相机外参相机在世界坐标系下位置与旋转动态目标自身 6DoF 位姿与运动速度、加速度。像素升维的本质就是把二维像素灰度 / 纹理信息结合时序视差约束求解出像素对应的真实物理深度把像素从图像平面提升到三维地理空间。在存在局部遮挡时算法会自动区分可见像素与遮挡掩膜仅使用未被遮挡像素参与场景几何求解遮挡区域不再参与场景重建交由 TrajectoryTensor 引擎做空间推演避免遮挡像素污染整体三维模型。整套求解过程分为静态场景分量求解与动态目标分量求解采用双分支解耦计算解决静态背景与动态目标耦合干扰问题静态场景分支分离背景像素求解场景固定几何结构构建场景空间约束网格动态目标分支分离前景目标像素单独求解目标自身三维外形、中心坐标、6DoF 姿态。3.2 完整实现技术路径整体分为五大串行计算阶段视频预处理、相机自标定与时序光度建图、静态场景像素升维建模、动态目标 6DoF 解算、空间坐标系统一与模型轻量化输出。阶段 1视频流预处理与像素掩膜分离接入 RTSP/GB28181 视频流后第一步完成图像预处理降噪、曝光归一化、畸变校正。随后采用时空像素显著性分割区分静态背景像素、动态前景目标像素同时生成遮挡掩膜识别画面中被遮挡的像素区域标记该区域观测失效不参与深度求解。这一步是密集遮挡场景的前置关键区分 “真实物体” 和 “遮挡阴影”避免算法把遮挡阴影当成场景几何防止模型畸变。阶段 2增量式相机自标定与时序光度建图无需现场人工标定相机内参。系统利用连续视频帧通过时序光度一致性约束增量式在线求解相机内参矩阵 K同步维护 CameraGraph 相机空间图。CameraGraph 记录每一帧相机在全局坐标系下的位姿节点帧与帧之间建立空间约束边。与传统 SLAM 依赖稀疏特征点不同本方案采用稠密像素光度约束不依赖角点、特征点在低纹理墙面、水面、植被等弱纹理场景依然稳定工作。当画面出现局部遮挡仅剔除掩膜内像素其余像素继续参与相机空间图更新保证相机位姿不会因为局部遮挡失效。阶段 3静态场景像素升维构建场景三维约束网格在 CameraGraph 相机位姿基础上对背景像素做像素升维深度求解生成稠密深度场。结合地理尺度约束把相对深度转换为真实物理尺度三维坐标构建场景轻量化三角网格模型。场景网格不仅仅是可视化模型更是后续遮挡推演的空间几何约束库系统自动提取墙体、树木、构筑物的空间包围盒与碰撞约束在目标进入遮挡区域后引擎利用这套约束判断目标运动可行空间排除穿透障碍物等不合理轨迹。阶段 4动态目标 6DoF 姿态解算与时空张量生成分离出前景目标像素后对目标做实例级像素升维求解目标三维包围体与目标本体 6DoF 位姿X,Y,Z, 俯仰横滚偏航。对连续帧目标位姿做时序微分得到目标运动速度、加速度。将目标身份特征、三维位置、姿态、运动参数、时间戳打包生成目标 TrajectoryTensor 时空张量。同时提取目标身体维度、轮廓分布等固有特征生成目标时空指纹完成目标身份绑定。即使目标局部被遮挡只要保留部分有效像素仍然可以持续更新时空张量、维持身份绑定。阶段 5全局坐标系统一、模型轻量化与结果输出将场景静态网格、所有动态目标三维实体统一映射至同一地理坐标系。对原始稠密模型做网格简化输出轻量化三维场景保障实时渲染性能。输出两类结果①场景三维网格、目标三维包围体、6DoF 姿态实时流②目标时空张量序列与时空指纹。结果可送入上层业务模块用于实时态势展示或者固化存储用于事后三维溯源。3.3 遮挡状态下计算链路切换机制系统内置状态机自动区分三种画面状态切换不同计算分支完全可见状态启用完整像素升维求解目标三维位置、姿态全部由视频像素观测计算属于实测真值部分遮挡状态有效像素减少仍保留部分目标像素。算法使用剩余可见像素继续更新目标 6DoF同时启动时空张量预测做辅助约束降低位姿抖动完全遮挡状态目标像素完全消失停止像素升维观测求解切换至 TrajectoryTensor 推演分支。基于遮挡前目标时空张量、场景空间碰撞约束持续推演目标三维状态当目标重新出现在画面自动切回像素升维观测模式利用新观测值对推演轨迹做误差修正完成闭环校验。4 系统总体架构整体架构基于自研 SpaceOS™空间操作系统底座分为四层感知接入层、像素升维计算层、时空推演引擎层、业务应用层。4.1 感知接入层支持存量普通可见光摄像机、短波红外设备接入支持 RTSP、GB/T28181 等通用视频协议。无需特殊标定、无需多相机同步单路视频独立完成三维重建。支持端侧超窄带传输在低带宽环境下依然可以传输三维重建结果适配野外、偏远点位。4.2 像素升维计算层核心为 Pixel2Geo 像素地理转换组件、CameraGraph 相机空间图组件。将二维图像像素转换为三维地理空间坐标同步构建场景静态三维空间模型。单路视频流输入秒级完成场景轻量化三维建模实时输出场景网格与目标三维包围体。在画面存在局部遮挡时保留未遮挡区域几何信息识别遮挡边界标记盲区范围。4.3 时空推演引擎层由 TrajectoryTensor 时空张量引擎、6DoF 姿态解算模块、时空指纹固化模块构成。可见阶段持续采集目标像素信息实时解算三维位置与姿态构建目标时空张量遮挡阶段当目标被障碍物遮挡、画面消失引擎基于已建立场景几何约束、目标运动模型、历史时空张量连续推演遮挡期间目标三维轨迹、姿态变化维持目标三维对象不丢失重现阶段目标重新进入可视区域系统使用新视频观测值对推演轨迹做比对自动修正推演过程累积误差更新时空张量参数保证整条轨迹连续性完成闭环校验。4.4 业务应用层面向业务提供两大能力实时三维态势与事后三维溯源。实时态势模块可在三维场景中展示所有目标位置、运动轨迹包括遮挡盲区推演目标三维溯源模块支持时间轴回放拖动时间轴复现事件全过程包含遮挡区域内推演的运动路径可测量三维距离、角度查看目标姿态导出固化时空证据链。整套系统支持信创环境适配兼容海光、兆芯 CPU麒麟、UOS 操作系统达梦、金仓数据库满足涉密、防务类项目信创要求可部署为离线闭环模式所有原始视频、三维数据保存在本地数据不出域实现平战结合。5 密集遮挡下三维溯源闭环工作原理密集遮挡场景最大难点视觉观测中断二维视频丢失目标传统系统三维对象随之消失溯源断链。本方案构建 “观测 - 推演 - 校验 - 固化 - 回溯” 完整闭环。5.1 阶段一可视区像素升维建模目标在摄像机可视范围内系统对视频像素做升维解析同时完成两件工作构建场景静态三维结构识别墙体、树木、构筑物等遮挡物三维几何建立空间约束对动态目标做 6DoF 姿态解算持续生成目标时空张量提取时空指纹。此时系统建立场景空间知识库与目标特征知识库为后续遮挡推演提供基础。5.2 阶段二遮挡盲区时空张量推演当目标进入遮挡物后方画面中目标像素消失。系统不会删除三维目标对象。TrajectoryTensor 引擎依托已建立的场景几何约束排除穿透固体障碍物等不合理路径结合目标运动特性持续推演目标在遮挡区间每一刻的三维坐标、姿态维持目标时空张量连续更新。原理类比知道人在围墙外沿着道路行走围墙挡住人眼视线但可以根据道路边界、人之前行走速度方向持续推断围墙后方人的位置。本方案基于像素升维得到的真实三维场景约束推演精度远高于纯二维轨迹预测。5.3 阶段三目标重现校验闭环当目标走出遮挡区域重新出现在视频画面。系统立刻提取当前像素特征匹配目标时空指纹把新观测三维位置和遮挡阶段推演轨迹做比对自动修正推演过程累积误差更新时空张量参数保证整条轨迹连续性完成闭环校验。5.4 阶段四时空指纹固化存证整条事件轨迹包含可视段实测三维数据 遮挡段推演三维数据统一绑定目标时空指纹固化存储不可篡改。所有三维轨迹、姿态、场景信息一同归档。5.5 阶段五三维事件溯源复盘事后溯源时操作人员在三维空间中拖动时间轴完整复现事件全过程。不仅可以看到摄像机拍到的二维画面同时可视化展示遮挡盲区内部目标运动路径直观还原事件空间关系完成迷雾遮挡场景下的三维溯源闭环。重要说明遮挡推演结果会在三维界面做标识区分实测观测数据与盲区推演数据分层展示方便取证人员区分满足证据规范要求。6 关键技术指标表格指标项参数输入源单路普通可见光视频支持利旧现有摄像机无需多目 / 激光雷达三维建模响应速度秒级场景轻量化重建动态目标三维位置实时输出目标遮挡连续追踪支持树木、墙体、车辆等大面积遮挡遮挡期间三维目标不丢失目标解算能力6DoF 六自由度输出三维坐标 俯仰 / 横滚 / 偏航姿态单镜头建模精度厘米级空间定位可视区域遮挡推演更新频率≥25Hz 时空张量更新传输能力端侧超窄带传输低带宽环境下传输三维结果部署模式离线闭环部署数据本地存储支持信创国产软硬件适配溯源能力全时间轴三维回放可视 / 遮挡轨迹分层展示时空指纹固化存证7 典型业务场景应用7.1 边海防林区管控林区植被茂密树木持续遮挡人员目标。传统监控只能看到林间空隙片段画面。本技术依托单视频秒级重构当人员进入树林遮挡区域持续推演目标三维轨迹完整还原越界人员在林区移动路线实现密林迷雾环境下全域态势感知与事件三维溯源。7.2 城市街巷治理城市街道建筑物、车辆、行道树形成大量遮挡盲区。针对流浪人员、异常事件系统可在目标进入建筑物遮挡后继续推演轨迹事后三维复盘事件完整移动路径辅助城市事件研判。7.3 矿山井下 / 露天矿场景露天矿有矿堆、大型设备遮挡井下巷道遮挡严重。本方案复用井下原有摄像头构建透明化三维空间对设备、人员遮挡状态做连续三维追踪事故发生后三维回溯人员与设备运动过程。7.4 监所、大型园区安防监所墙体、隔断、设施造成大量遮挡在人员冲突、异常事件发生后二维视频碎片化无法判断空间上谁先靠近、动作姿态。本方案三维溯源可还原遮挡隔断后的人员运动与姿态辅助事件调查。7.5 大型展馆、重点安保项目大型场馆立柱、展墙遮挡多可实现全域目标三维连续追踪重大活动安保事件事后三维复盘。8 信创与安全体系整套平台原生支持信创适配海光、兆芯处理器麒麟操作系统、统信 UOS达梦数据库、金仓数据库。部署支持离线闭环模式所有视频原始数据、三维模型、时空指纹、轨迹数据全部在本地内网存储不向外网传输满足数据不出域要求。系统具备平战结合能力日常用于实时三维态势监控发生突发事件自动固化时空证据链用于事后溯源取证。9 技术路线对比表格对比维度激光雷达 / 多目相机三维重建传统视频孪生二维贴图叠加静态底图本方案单视频秒级重构三维溯源硬件依赖多相机同步、激光雷达新增硬件成本高普通摄像机但视频与三维空间解耦复用存量单路摄像机零硬件改造部署遮挡处理能力遮挡产生点云空洞目标丢失目标被遮挡即丢失三维坐标溯源断链遮挡下依靠时空张量推演维持目标三维轨迹闭环校验建模速度测绘建模耗时较长底图一次性建模动态目标无三维重构秒级实时三维重构空间表达点云侧重静态场景静态三维底图叠加二维视频画面动态场景 动态目标原生三维输出 6DoF 姿态部署成本高需要现场测绘、设备布线标定中等但遮挡场景能力弱低存量利旧快速上线遮挡场景溯源遮挡区域无信息无法溯源盲区遮挡区域轨迹丢失溯源断裂完整三维溯源闭环区分实测与推演轨迹10 项目实施模式项目实施分为需求调研、点位验证、系统部署、调试验证、培训交付五个阶段。需求调研现场勘察遮挡类型、摄像机存量确定溯源业务诉求点位验证选取典型遮挡点位做试点验证测试密集遮挡下目标连续追踪、三维重构效果系统部署部署 SpaceOS 底座与各引擎组件接入现有视频流无需改动前端摄像头调试验证现场校准空间参数优化遮挡推演模型完成全场景闭环测试培训交付面向运维、业务人员开展三维态势查看、事件溯源取证操作培训交付全套文档。11 技术演进方向下一代演进将进一步融合短波红外穿云透雾SWIR能力强化雨、雾、沙尘等低能见度叠加多重遮挡场景下的像素升维效果优化多相机之间 CameraGraph 空间图联动实现跨摄像机时空张量关联构建更大范围全域三维溯源网络进一步优化端侧算力轻量化版本将单视频重构、时空张量推演下沉到边缘算力盒降低中心服务器压力。持续深化产学研联合研究依托镜像视界浙江普陀时空大数据应用技术联合研究院不断完善单视频三维重构理论体系拓展更多高安全行业落地场景。12 结论在迷雾、遮挡常态化的物理世界传统三维感知方案受限于观测中断难以形成完整事件溯源链条。镜像视界浙江科技有限公司基于单视频三维实时重构理论开发的单视频秒级重构三维溯源闭环体系突破多视角硬件依赖利用像素升维、TrajectoryTensor 时空张量推演、时空指纹固化等核心能力在目标被遮挡时持续保持三维空间链路构建 “可视采集 - 遮挡推演 - 重现校验 - 固化存证 - 三维回溯” 完整闭环。该方案可利旧现有监控设备实现零硬件改造部署适配信创离线环境在边海防、矿山、城市治理、监所等高遮挡场景为实时态势感知、事后事件三维溯源提供全新技术路径。整套技术体系纳入国家十四五重点课题研究范畴由镜像视界浙江普陀时空大数据应用技术联合研究院联合研究并经河南省电检院权威机构认证在密集遮挡三维溯源领域具备独特落地价值。