CEIC2026上北京航空航天大学史振威教授带来的《低空三维遥感场景智能感知研究进展》报告是最近低空经济和遥感智能解译交叉领域里值得认真读一遍的方向性内容。简单说这份报告讨论的不是“无人机拍张图再看一眼”的老套路而是把低空平台拍到的多视角影像、激光雷达点云、位置姿态数据一起灌进三维重建和AI感知的流程里最终让机器在一个接近真实世界的三维场景中完成目标检测、语义分割、变化识别和决策支持。这个方向直接决定了低空经济、电网巡检、应急救援、数字孪生这些场景能不能从演示走向规模化落地。这篇文章不打算做报告逐页复述而是把“低空三维遥感场景智能感知”拆成一个可执行的完整技术框架来讲从数据采集与硬件选型到三维重建与场景数字化再到目标检测、语义分割、多模态融合等智能感知算法最后落到典型应用、核心瓶颈和工程落地建议。无论你是做遥感解译的算法工程师还是准备在低空经济赛道选方向的开发者都可以按这条线建立起自己的技术判断。1. 低空三维遥感场景智能感知是什么低空三维遥感场景智能感知可以拆成三个关键词来理解低空平台、三维重建、智能感知。低空平台不限于消费级无人机也包括行业级多旋翼、固定翼无人机以及未来的低空飞行器。它们的共同特点是飞行高度通常在几十米到几千米之间相比卫星和有人机离目标更近拍摄视角更灵活能够从侧面、倾斜角度、贴近地面等多种视角去观测目标。这个“视角优势”决定了低空数据与卫星遥感数据在几何形态和语义分布上完全不同很多卫星影像上难以处理的细粒度问题在低空数据里变成可能。三维重建解决的是“把二维影像变成三维场景”的问题。通过运动恢复结构SfM、多视角立体匹配MVS以及近两年很热的神经辐射场NeRF和 3D Gaussian Splatting 等方法可以把无人机采集的多视角照片变成带真实坐标的密集点云、Mesh 网格和纹理模型。这一步是“数字孪生”的数据底座也是后续感知任务的空间框架。智能感知则是在重建好的三维场景里利用深度学习模型对目标进行检测、分类、分割和属性提取。比如在输电线路场景中识别绝缘子缺陷在农林场景中做单木分割和长势评估在应急场景中识别受灾房屋和道路损毁。它需要把图像特征、几何特征、光谱特征甚至时序特征融合到一起输出工程可用的结构化成果。整条链路的核心价值可以概括为三句话把现实世界变成可计算的几何模型把几何模型变成可理解的语义场景把语义场景变成可执行的空间决策。从学科交叉角度看这个方向融合了摄影测量与遥感、计算机视觉、深度学习、测绘地理信息、机器人感知等多个领域。这也是它“难”的根源——单点技术都已经很成熟但要把它们串成一条稳定可靠、精度达标、成本可控的自动化流水线目前还有大量工程问题没有解决。2. 技术体系全景从数据到决策的四层架构要理解低空三维遥感场景智能感知的研究进展最直观的方式是把整条链路拆成四层数据采集层、三维重建层、智能感知层、行业应用层。下面的表格整理了每一层的核心任务、主要输入输出和关键技术点。层级核心任务主要输入主要输出关键技术点数据采集层获取高质量低空观测数据航线规划、相机/LiDAR 参数、POS 数据多视角影像、点云、光谱数据、定位定姿信息航线设计、重叠率控制、传感器标定、RTK/PPK 处理三维重建层生成几何与纹理完整的三维场景影像集、点云、POS 数据密集点云、Mesh、纹理模型、DOM/DSMSfM、MVS、NeRF、3D Gaussian Splatting、区域网平差智能感知层从三维场景中识别语义对象三维模型、正射影像、点云目标框、分割掩膜、语义标签、变化检测结果目标检测、语义分割、点云分割、多模态融合、小样本学习行业应用层将感知结果转化为业务价值结构化感知结果、业务数据巡检报告、灾害评估图、农林统计报表、孪生场景业务建模、指标计算、可视化、系统集成四层之间存在明确的依赖关系数据采集层决定几何精度和感知的上限三维重建层决定场景能否支撑细粒度识别智能感知层决定人和机器能不能理解场景行业应用层决定这项技术能不能产生实际价值。当前很多项目的痛点并不在单点算法而在于层级之间传递数据时出现误差累积。比如影像重叠率不够会导致重建空洞重建空洞会导致点云密度不足点云密度不足又会导致感知模型无法识别小目标。报告在讨论研究进展时其实一直在围绕“层级之间怎么耦合、误差怎么控制”这条主线展开。3. 数据采集层低空平台与传感器选型低空三维遥感和航天遥感最大的区别之一就是数据采集具有极强的“任务定制”属性。卫星拍摄是固定轨道、固定视角的而无人机可以根据任务需求调整飞行高度、航线、云台角度和传感器组合。这意味着数据采集方案的设计对后续重建和感知质量的影响非常大。3.1 传感器载荷目前低空三维感知常用的传感器有以下几类传感器类型主要用途优点局限性可见光相机三维重建、目标检测、语义分割成本低、分辨率高、纹理信息丰富受光照和天气影响大多光谱/高光谱相机植被分析、地物分类、材质识别光谱信息丰富能区分视觉相近地物数据量大处理复杂度高激光雷达LiDAR高精度几何采集、单木分割、电力线提取不受光照影响直接获得三维坐标设备贵点云数据稀疏时感知困难热红外相机夜间目标检测、设备热故障排查适合温度相关异常检测空间分辨率偏低纹理信息弱在实际工程项目中可见光与激光雷达的组合是最主流的搭配。可见光负责纹理和语义LiDAR 负责几何骨架和遮挡区域的补全。比如在输电线路巡检中LiDAR 点云可以精确恢复导线和杆塔的走向而可见光影像负责识别绝缘子、防震锤等附属设备的缺陷。3.2 定位定姿与航线设计低空三维重建对定位定姿的要求比普通航拍高很多。为了获得具有真实地理坐标的三维模型通常需要 RTK/PPK 模块提供高精度位置信息配合 IMU 提供航向和姿态角度。这样可以在没有大量地面控制点的情况下将重建模型纳入统一的地理坐标系。航线设计方面有两个指标直接影响重建质量航向重叠率和旁向重叠率。常规倾斜摄影任务中航向重叠率通常要求达到 80% 左右旁向重叠率在 60% 到 70% 之间。重叠率偏低会导致特征匹配失败产生模型空洞重叠率过高则会显著增加采集时间和数据量。飞行高度则需要根据目标地面分辨率GSD和相机焦距综合考虑例如在输电线路精细化巡检中往往需要飞得更低、拍得更细这又带来航线复杂度和安全性的问题。3.3 数据组织与存储低空三维感知项目的数据组织方式直接决定后续处理的效率。一套标准化的采集数据目录可以按下述结构组织project/ ├── 01_original_images/ # 原始影像 ├── 02_pos_data/ # POS/GNSS/IMU 数据 ├── 03_calibration/ # 相机标定文件、检校参数 ├── 04_reconstruction/ # 三维重建中间结果 │ ├── sparse_pointcloud/ # 稀疏点云 │ ├── dense_pointcloud/ # 密集点云 │ └── mesh_texture/ # Mesh 与纹理 ├── 05_segmentation/ # 语义分割结果 ├── 06_detection/ # 目标检测结果 └── 07_deliverables/ # 最终交付成果如果未来要基于这些数据训练感知模型建议在采集阶段就同步记录每张影像对应的位置、姿态、飞行高度、天气、光照条件和标注样本的采集批次。这些元数据越完整后续做数据清洗、模型评估和场景泛化分析时就越省力。4. 三维重建与场景数字化从几何到高保真模型三维重建是整个低空三维感知的基础。如果重建出来的场景几何变形、纹理拉花、坐标漂移后面的感知算法再强也很难得到可靠结果。这个方向的研究进展可以看作传统摄影测量方法与新视角合成方法之间的竞争与融合。4.1 经典路线SfM 与 MVS经典的低空三维重建流程大致是先对多视角影像提取特征点进行特征匹配然后用 SfM 方法估计相机位姿和稀疏三维点云接着用 MVS 方法进行密集匹配生成密集点云最后进行 Mesh 重建、纹理映射生成带真实纹理的三维模型。这套流程在商业软件里已经非常成熟很多航测建模软件用的都是这一套技术路线。这套路线的优势是稳定、可控有成熟的精度评估方法缺点是纯几何重建对弱纹理区域不友好。大面积的水面、玻璃幕墙、均匀草地等区域往往匹配不到足够的特征点导致模型出现空洞或扭曲。这也是很多低空项目在场景复杂时会翻车的原因。4.2 新路线NeRF 与 3D Gaussian Splatting最近两年基于神经渲染的三维重建方法发展非常快。NeRF 用神经网络隐式表达三维场景通过体渲染生成新视角图像在弱纹理和复杂反射场景中的表现比传统重建更好。3D Gaussian Splatting 则进一步优化了渲染速度和实时性可以在训练完成后以接近实时的帧率渲染高精度场景。这些方法在低空场景智能感知中的价值不只是“看起来更真实”而是提供了一种新的场景表达方式。传统 Mesh 模型的语义信息需要单独标注和绑定而神经场景表达可以把几何、纹理和语义放在同一个学习框架里建模。从研究进展看把语义分割、目标检测与 NeRF/3DGS 训练耦合在一起是当前一个非常活跃的方向。不过这类方法对显存和算力的要求明显比传统重建高处理大面积场景时还需要分块、合并、LOD 简化等工程处理。实际项目中更稳妥的做法是“传统方法打底新方法补细节”用 SfM/MVS 保证坐标精度和可交付性用 NeRF/3DGS 补足弱纹理区域的细节或构建实时可视化场景。4.3 大场景重建的工程问题低空三维感知面向的往往不是单栋建筑或小范围样地而是输电线路走廊、化工园区、城市片区这类大规模场景。大场景重建的主要工程问题包括数据量巨大、分块边界错位、坐标系统一难、模型精度均匀性不足。通用的处理思路是先做区域网平差把影像和位置姿态统一到同一个坐标框架中再按航带或地理网格分块重建每个块独立处理最后在边界区域做重叠融合和网格简化按 LOD 层级输出不同精细度的模型。整个流程中控制点精度、IMU 漂移、相机畸变参数都会影响最终几何精度验收时不能只看“看起来像不像”还要用检查点评估实际误差。5. 智能感知核心算法目标检测、语义分割与多模态融合三维场景建好之后核心问题就变成了机器能不能知道场景里有什么、在什么位置、处于什么状态。这部分的算法体系可以从目标检测、语义分割、点云感知和多模态融合四个方面来看。5.1 低空场景下的目标检测低空视角的目标检测与通用图像检测有显著区别。首先目标尺度差异极大可能同时出现远处的楼房和近处的电线杆其次视角变化剧烈同一个目标在不同航线上的外观变化很大传统水平框往往无法准确框出旋转目标再次遮挡问题突出比如无人机俯瞰建筑物群时目标可能被树木、构筑物部分遮挡。针对这些问题领域内的研究重点集中在旋转目标检测、多尺度检测、小目标检测和遮挡推理这几个方向。一个典型的低空目标检测流程需要在已有的通用检测框架上加入几何先验和时序信息因为低空数据往往以视频或多帧影像形式出现帧间信息能有效弥补单帧遮挡。5.2 语义分割与实例分割语义分割解决的是“图中每一个像素属于哪类地物”的问题。低空场景下的语义分割类别非常多样包括道路、建筑、植被、车辆、水体、电力设备、光伏板等。传统分割模型在这种高分辨率大场景数据上直接推断内存占用高、上下文信息不足因此通常需要切片推理和全局上下文模块结合。实例分割则更进一步不仅要分出路和建筑还要把每一栋建筑、每一棵树、每一个光伏组件单独分开。这类成果可以直接用于统计数量、计算面积、评估状态。比如在光伏电站巡检中通过实例分割把每一块光伏板单独分离出来再结合热红外信息判断哪一块出现了热斑故障。5.3 点云感知与单木分割点云是低空三维感知中几何信息最丰富的载体。基于点云的深度学习方法以 PointNet 系列和稀疏卷积方法为代表能够直接从无序三维点中提取特征完成点云分类、语义分割和实例分割。在林业遥感中基于机载 LiDAR 的单木分割可以自动获取每棵树的树顶位置、树高、冠幅等参数为森林资源调查提供结构化数据。一个通用的 LiDAR 点云感知流程可以简化为# 伪代码LiDAR 点云分割与单木提取流程 import numpy as np import laspy from sklearn.cluster import DBSCAN # 1. 读取点云 las laspy.read(project.las) points np.vstack([las.x, las.y, las.z]).T # 2. 地面滤波与归一化高度示意 ground_mask classify_ground(points) # 近似用高度阈值替代 non_ground_points points[~ground_mask] normalized_h non_ground_points[:, 2] - local_ground_height(non_ground_points) # 3. 单木分割常用 DBSCAN 或区域生长 clusters DBSCAN(eps1.5, min_samples5).fit(non_ground_points[:, :2]) tree_labels clusters.labels_ # 4. 输出每棵树的树高、冠幅、位置 for label in set(tree_labels): if label -1: continue tree_points non_ground_points[tree_labels label] print({tree_height: tree_points[:, 2].max(), crown_width: estimate_crown(tree_points)})实际工程中地面滤波、单木分割和后处理都比这段示例复杂但整体逻辑是一致的从原始点云到归一化高度再到实例聚类最后输出结构化的林业参数。5.4 多模态融合影像、点云与光谱的统一低空三维感知的最终目标不是单独使用某一种数据而是把影像、点云、光谱和位置信息统一到一个感知框架中。影像的优点是语义丰富点云的优点是几何精确光谱的优点是材质区分能力强位置信息则提供了绝对坐标约束。四者结合能显著提升场景理解的鲁棒性。多模态融合的典型策略包括早期融合在输入层面把不同模态数据对齐后一起送进模型中期融合在特征层面把图像特征和点云特征进行跨模态交互晚期融合对不同模态的预测结果做决策级综合。目前更受关注的是基于 Transformer 的跨模态融合结构它对模态间的强对齐要求相对较低也更适合低空场景中影像和点云配准误差较大的现实情况。6. 低空遥感大模型与少样本泛化问题低空三维遥感的感知模型面临一个很现实的问题标注样本太少。相比于互联网通用图像低空场景数据的获取成本高标注门槛也更高。一个电力缺陷检测模型需要标注数万甚至数十万个缺陷实例这在行业项目里几乎不可能快速完成。因此当前的研究方向明显在向“大模型 小样本微调”靠拢。遥感大模型通过海量无标注遥感影像的自监督预训练学习通用的地物表达再用少量行业标注数据进行微调可以在标注样本减少的情况下保持较好的精度。这类方法已经在光学遥感影像分类、目标检测、分割任务上有了大量验证。但低空场景与卫星遥感场景之间存在明显的领域差异主要体现在视角、尺度、重叠遮挡和地面物体细节上。纯粹用卫星影像预训练的大模型直接迁移到低空三维场景时不一定能发挥出全部能力。更可行的路线有两种一是用低空影像继续做自监督预训练二是在仿真场景中生成大量合成低空数据先在仿真数据上预训练再用真实数据微调。少样本带来的另一个问题是评估可靠性。样本少的时候模型容易过拟合对验证集的精度很高但一旦换一个区域、换一个季节效果就会断崖式下降。因此在低空感知项目里模型评估必须设置跨区域或跨场景的测试集而不能只做随机划分。评测指标也需要和任务目标对齐。目标检测用 mAP分割用 IoU点云分割用 mIoU单木提取用匹配置信度和 F1。每一类指标都只能反映模型的一面实际交付时还应该补充可视化抽查和业务指标核算。7. 典型应用场景与产业价值低空三维遥感场景智能感知不是停留在论文里的方向。从产业落地情况看以下几个场景已经具备相对成熟的业务闭环。应用场景核心需求关键技术可产生的价值电网巡检识别绝缘子缺陷、导线异物、树障隐患目标检测、三维测距、点云分割减少人工登塔巡检风险提升巡检效率应急救援受灾区域快速建模与搜救目标发现快速三维重建、热红外检测、变化检测缩短灾情评估时间辅助救援决策农林调查单木分割、作物长势监测、病虫害识别点云分割、多光谱分析替代人工调查提供精准统计报表光伏/风电运维光伏板热斑、风机叶片损伤检测热红外与可见光融合、实例分割降低高空作业风险提高运维效率城市数字孪生高精度三维底图、语义图层构建倾斜摄影重建、语义分割为规划、治理、运营提供数据底座低空经济保障起降场监测、低空航线障碍物检测、物流安全评估实时目标检测、三维场景感知补齐低空飞行安全运行的数据基础低空经济是当前一个非常重要的落地出口。随着无人机物流、城市空中交通、低空旅游等场景逐步放开低空飞行器对周边环境的实时感知需求会越来越强。过去的感知系统主要服务于“飞机看地面”未来则要解决“飞机在复杂三维城市环境里安全飞行”的问题。这就要求从单车/单机视角扩展到低空路网视角把三维场景感知和飞行决策耦合起来。这也是低空三维遥感场景智能感知从“离线建模”走向“在线感知”的重要动力。8. 关键挑战与发展瓶颈尽管这个方向的研究热度很高工程落地中还有不少问题没有解决。总结下来瓶颈主要集中在数据、算力、精度、泛化和合规五个方面。数据层面低空三维场景感知缺少像 ImageNet 或 COCO 那样大规模、标准化的公开数据集。多源异构数据之间的对齐标注成本极高尤其是指定设备缺陷、特定地物状态这类细粒度标签需要领域专家介入很难依赖众包完成。算力层面三维重建和基于神经渲染的场景重建对算力要求很高大场景处理往往需要多卡并行。而低空平台本身的机载算力有限边缘端的实时感知能力还比较弱。当前系统的典型工作模式仍是“端上采集、云端处理”实时闭环能力不足。精度层面几何精度和语义精度是两套评估体系但实际业务往往要求同时满足。比如电网树障分析既要知道树的位置和高度几何精度也要识别树的种类和生长状态语义精度两类误差会互相影响最终导致业务判断失误。泛化层面低空模型跨区域、跨季节、跨天气的鲁棒性还不够。同一个配电设备在南方雨雾天气和北方雪天拍摄模型表现可能相差很大。这种领域漂移问题在当前深度学习范式下还没有通用解。合规层面低空飞行涉及空域申请、测绘资质、数据安全和隐私保护。无人机采集的影像和点云可能包含敏感地理位置、人员活动、建筑物内部信息处理这些数据时必须严格遵守相关法律法规做到合法授权、最小化采集、加密存储和限制访问。任何商业化或研究项目都应在开始前先完成合规评估而不是在采集完成后再补流程。9. 发展趋势与下一步方向从 CEIC2026 这类学术交流平台的报告内容和技术脉络来看低空三维遥感场景智能感知接下来会向几个方向持续推进。第一个方向是空天地一体化协同感知。低空平台不再单独工作而是与卫星遥感、地面传感器、移动终端组成立体感知网络。卫星负责大范围宏观监测低空平台负责精细观测地面设备负责实时验证。这种体系能把低空数据的精细度和卫星数据的大范围覆盖结合起来形成一套更完整的感知系统。第二个方向是实时重建与在线感知。过去的三维重建是离线的拍完数据回到机房处理几天才能出结果。未来的低空感知需要做到边飞边建、边建边认也就是实时或准实时地完成场景重建和目标识别。这需要算法轻量化、模型压缩和机载高性能计算芯片的共同进步。第三个方向是统一表征与基础模型。把图像、点云、光谱、文本指令统一到一个多模态大模型中让用户通过自然语言或视觉提示直接控制感知任务。这个方向如果走通会大幅降低低空场景应用门槛让非算法背景的行业人员也能使用。第四个方向是物理场景理解与决策闭环。从“识别出电塔”到“判断电塔是否存在危险”再到“决定是否需要派单检修”感知结果必须进入业务决策链路。这意味着感知模型要具备常识推理、因果分析和不确定性估计能力而不仅仅输出目标框和类别标签。10. 给研究与工程人员的落地建议如果你准备在这个方向立项或做产品下面几条建议值得认真考虑。第一先明确交付物再选技术路线。不同业务对数据成果的要求差别很大。做城市三维底图倾斜摄影加传统重建就足够做电力缺陷识别必须叠加高分辨率影像和细粒度目标检测做应急救援则要把快速重建和无人物流调度结合起来。技术方案是为交付物服务的不要为了追求新技术而引入不必要的复杂度。第二把数据规范和管理放在第一位。低空三维感知项目的数据质量直接决定模型上限。建议从第一天就建立统一的采集规范、命名规范、标注规范和质量检查流程。影像分辨率、重叠率、LiDAR 点云密度、标定参数、POS 精度这些信息都要记录在案。否则后期做模型优化和问题回溯时会发现大量数据无法复用。第三模型选型不宜一味追求大模型。低空感知任务通常有明确的场景边界使用轻量级骨干网络加适当的后处理往往比直接部署大规模模型更实用。小样本条件下优先选择基于预训练模型的微调路线而不是从头训练。同时要把传统几何方法和深度学习方法结合使用用几何约束修正深度学习结果的异常输出。第四评测方案要覆盖“跨场景”与“业务指标”。仅仅在测试集上跑 mAP 不够要专门检查模型在未参与训练的区域、不同季节、不同飞行高度上的表现。项目验收时最好安排外部检查点由业务人员参与评估结果是否可用而不仅看算法指标。第五合规与数据安全必须前置。低空飞行要遵守空域管理规定测绘数据的采集、存储和发布要符合测绘地理信息相关法规涉及人员、建筑、交通的数据要格外关注隐私和敏感信息。建议在项目启动前咨询专业法务建立数据分级和权限管理机制避免技术研发完成后因为合规问题无法交付。低空三维遥感场景智能感知正处在一个从实验室走向工程落地的关键阶段。这个方向的魅力在于它同时涉及摄影测量、计算机视觉、深度学习和行业业务需要研究者同时具备算法判断力和系统工程思维。如果你想在这个赛道里找到值得长期投入的方向可以先从一次完整的小范围数据采集和重建感知闭环开始拿一台无人机拍一小块区域跑通重建、分割、检测全流程记录每一个环节的耗时、精度和坑。跑完一遍你对这个领域的技术边界和落地难度就会有切身的判断。建议把这篇内容的框架收藏起来做方案设计时可以逐项对照。