上篇讲了图像预处理的各种技术——去噪、增强、直方图均衡化、形态学操作。这些都是处理2D图像的。但机器人要理解三维世界还需要深度信息。今天就来聊聊获取深度信息的几种主流方案。面试时候被问你用过哪些深度相机很多人只能说出一两个品牌。但面试官真正想听的是你理解这几种深度获取方案的原理差异吗知道它们各自适合什么场景吗能根据需求做出合理的选型吗结构光Structured Light结构光相机的原理很直觉向场景投射已知的图案通常是红外散斑或者条纹图案然后用相机观察这个图案在场景中的变形。通过比较投射图案和接收图案的差异就能计算出深度。具体来说投射器发出的图案是已知的。当图案投射到平坦表面上时相机看到的图案是规则的。但如果场景中有凹凸图案就会发生形变。通过分析形变就能算出每个点的深度。代表产品Intel RealSense D400系列、微软Kinect v1。优点近距离精度高可以达到亚毫米级别分辨率高适合室内近距离应用。缺点有效距离有限通常0.2-3米室外容易受阳光干扰阳光中也包含红外成分多个设备同时使用会互相干扰。适用场景室内服务机器人、机械臂抓取、3D扫描、人脸识别比如iPhone的Face ID就是结构光。飞行时间ToF, Time of FlightToF相机的原理很直接发射红外光脉冲测量光脉冲从发射到返回的时间根据光速计算距离。距离 (光速 × 时间) / 2除以2是因为光走了一个来回。ToF有两种实现方式直接ToFdToF和间接ToFiToF。dToF直接测量光的飞行时间需要高精度的时间测量电路。iToF测量的是发射光和反射光之间的相位差间接推算飞行时间实现起来更容易但精度稍低。代表产品Intel RealSense L500系列、微软Kinect v2、索尼IMX556PLR传感器。优点测距范围广可达10米以上帧率高受环境光影响相对较小多设备干扰问题比结构光轻。缺点近距离精度不如结构光分辨率通常较低多径效应光线经过多次反射后返回会导致深度误差对高反射率物体如镜子测量不准确。适用场景手机摄影对焦辅助、自动驾驶辅助、物流体积测量、室内导航。双目视觉Stereo Vision双目视觉的原理模仿人类视觉两个相机从不同位置观察同一场景通过匹配左右图像中的对应点利用视差计算深度。深度 (基线距离 × 焦距) / 视差基线距离是两个相机之间的距离焦距是相机内参视差是同一个点在左右图像中的水平位置差。双目视觉有两种变体被动双目只用环境光像人眼一样和主动双目额外投射红外图案辅助匹配。主动双目在弱纹理场景白墙、暗光环境表现更好。代表产品Intel RealSense D400系列主动双目模式、ZED系列Stereolabs、MYNT EYE。优点室外性能好不受阳光干扰因为用的是环境光理论上测距范围无限只要有足够的纹理和基线成本相对较低。缺点计算量大需要在左右图像中找对应点弱纹理区域效果差白墙、纯色表面基线距离决定了最近可测距离基线越大最近距离越远需要精确的标定。适用场景自动驾驶、无人机避障、室外机器人、大场景3D重建。深度相机的ROS2集成在机器人项目中深度相机通常通过ROS2驱动接入系统。以Intel RealSense为例ROS2的realsense-ros包提供了完整的接口!-- launch文件示例 -- launch node pkgrealsense2_camera execrealsense2_camera_node param nameenable_depth valuetrue/ param nameenable_color valuetrue/ param namedepth_width value640/ param namedepth_height value480/ param namedepth_fps value30/ param namealign_depth.enable valuetrue/ /node /launch启动后深度相机会发布几个关键的topic/camera/depth/image_rect_raw原始深度图16位单通道/camera/color/image_raw彩色图像/camera/aligned_depth_to_color/image_raw对齐后的深度图。对齐alignment是一个重要的概念。深度相机通常有两个传感器一个红外传感器获取深度一个RGB传感器获取彩色图像。这两个传感器的分辨率、视场角、光心位置都不一样所以深度图和彩色图像之间不是一一对应的。对齐就是把深度图变换到彩色图像的坐标系下让每个像素的深度值和对应的RGB值对齐。对齐后的数据可以直接用来生成带颜色的点云在Rviz2中可视化效果很好。但如果你的算法需要精确的深度值建议用原始深度图而不是对齐后的——对齐过程中的插值会引入深度误差。对于双目方案比如ZED相机ROS2驱动的使用方式类似。ZED提供了zed-ros2-wrapper发布深度图、点云、IMU数据等多种topic。双目的深度图通常比结构光和ToF的噪声更大但胜在室外效果好。三种方案的对比从几个关键维度来对比这三种方案精度方面近距离3米结构光最优中距离3-10米ToF和双目差不多远距离10米双目更有优势加大基线即可。功耗方面结构光和ToF都需要主动发射红外光功耗较高。被动双目只需要两个相机功耗最低。成本方面被动双目最低两个普通相机结构光中等需要投射器ToF最高需要精密的时间测量电路。计算复杂度方面结构光和ToF的深度计算相对简单硬件直接输出深度图双目需要大量的立体匹配计算。鲁棒性方面双目在室外最鲁棒不依赖主动光源ToF次之结构光最差容易受阳光干扰。面试中怎么聊面试官问深度相机不要只说我用过RealSense。要能讲清楚你用的是哪种原理结构光/ToF/双目为什么选这种方案它的优缺点是什么你在项目中遇到了什么问题、怎么解决的。如果面试官追问双目和ToF怎么选你可以从应用场景、距离范围、精度要求、计算资源、成本预算几个维度来分析。这种结构化的回答比单纯说双目更好或ToF更好要有说服力得多。最后面试官如果问你在项目中怎么验证深度数据的质量你可以说用已知距离的参考物比如标定板放在固定距离做精度验证同时检查深度图的空洞率和噪声水平。定期做这种验证确保深度数据在系统运行过程中保持可靠。分享一个我在实际项目中选型深度相机的经历。当时给一台室内服务机器人选深度相机候选有RealSense D435i结构光IMU、Intel L515激光ToF和OAK-D双目AI加速。我们在实际场景里做了对比测试D435i在0.3-3米范围内效果最好空洞率最低但超过3米噪声明显增大。L515在暗光环境下表现好但对高反光表面比如不锈钢桌面效果很差深度图上会出现大面积黑洞。OAK-D的AI加速对目标检测有帮助但深度精度不如D435i。最终我们选了D435i因为我们的场景主要是室内3米范围内的物体识别和避障。选型的时候不能只看参数表一定要在你的实际场景里做对比测试不同场景下三种方案的表现差异很大。下一篇讲RGB-D数据处理——深度图空洞填充、对齐和坐标转换。拿到深度数据之后怎么处理是实际项目中最常遇到的问题。如果这篇文章对你有帮助欢迎点赞、在看、转发三连。 你的支持是我持续更新的最大动力。「机器人软件开发面试·从入门到精通」连载系列上一篇第153篇 图像预处理技术——去噪、增强、直方图均衡化 下一篇预告第155篇 RGB-D数据处理——深度图空洞填充、对齐和坐标转换有任何问题欢迎评论区留言我会尽量回复。
上篇讲了图像预处理的各种技术——去噪、增强、直方图均衡化、形态学操作。这些都是处理2D图像的。但机器人要理解三维世界还需要深度信息。今天就来聊聊获取深度信息的几种主流方案。面试时候被问你用过哪些深度相机很多人只能说出一两个品牌。但面试官真正想听的是你理解这几种深度获取方案的原理差异吗知道它们各自适合什么场景吗能根据需求做出合理的选型吗结构光Structured Light结构光相机的原理很直觉向场景投射已知的图案通常是红外散斑或者条纹图案然后用相机观察这个图案在场景中的变形。通过比较投射图案和接收图案的差异就能计算出深度。具体来说投射器发出的图案是已知的。当图案投射到平坦表面上时相机看到的图案是规则的。但如果场景中有凹凸图案就会发生形变。通过分析形变就能算出每个点的深度。代表产品Intel RealSense D400系列、微软Kinect v1。优点近距离精度高可以达到亚毫米级别分辨率高适合室内近距离应用。缺点有效距离有限通常0.2-3米室外容易受阳光干扰阳光中也包含红外成分多个设备同时使用会互相干扰。适用场景室内服务机器人、机械臂抓取、3D扫描、人脸识别比如iPhone的Face ID就是结构光。飞行时间ToF, Time of FlightToF相机的原理很直接发射红外光脉冲测量光脉冲从发射到返回的时间根据光速计算距离。距离 (光速 × 时间) / 2除以2是因为光走了一个来回。ToF有两种实现方式直接ToFdToF和间接ToFiToF。dToF直接测量光的飞行时间需要高精度的时间测量电路。iToF测量的是发射光和反射光之间的相位差间接推算飞行时间实现起来更容易但精度稍低。代表产品Intel RealSense L500系列、微软Kinect v2、索尼IMX556PLR传感器。优点测距范围广可达10米以上帧率高受环境光影响相对较小多设备干扰问题比结构光轻。缺点近距离精度不如结构光分辨率通常较低多径效应光线经过多次反射后返回会导致深度误差对高反射率物体如镜子测量不准确。适用场景手机摄影对焦辅助、自动驾驶辅助、物流体积测量、室内导航。双目视觉Stereo Vision双目视觉的原理模仿人类视觉两个相机从不同位置观察同一场景通过匹配左右图像中的对应点利用视差计算深度。深度 (基线距离 × 焦距) / 视差基线距离是两个相机之间的距离焦距是相机内参视差是同一个点在左右图像中的水平位置差。双目视觉有两种变体被动双目只用环境光像人眼一样和主动双目额外投射红外图案辅助匹配。主动双目在弱纹理场景白墙、暗光环境表现更好。代表产品Intel RealSense D400系列主动双目模式、ZED系列Stereolabs、MYNT EYE。优点室外性能好不受阳光干扰因为用的是环境光理论上测距范围无限只要有足够的纹理和基线成本相对较低。缺点计算量大需要在左右图像中找对应点弱纹理区域效果差白墙、纯色表面基线距离决定了最近可测距离基线越大最近距离越远需要精确的标定。适用场景自动驾驶、无人机避障、室外机器人、大场景3D重建。深度相机的ROS2集成在机器人项目中深度相机通常通过ROS2驱动接入系统。以Intel RealSense为例ROS2的realsense-ros包提供了完整的接口!-- launch文件示例 -- launch node pkgrealsense2_camera execrealsense2_camera_node param nameenable_depth valuetrue/ param nameenable_color valuetrue/ param namedepth_width value640/ param namedepth_height value480/ param namedepth_fps value30/ param namealign_depth.enable valuetrue/ /node /launch启动后深度相机会发布几个关键的topic/camera/depth/image_rect_raw原始深度图16位单通道/camera/color/image_raw彩色图像/camera/aligned_depth_to_color/image_raw对齐后的深度图。对齐alignment是一个重要的概念。深度相机通常有两个传感器一个红外传感器获取深度一个RGB传感器获取彩色图像。这两个传感器的分辨率、视场角、光心位置都不一样所以深度图和彩色图像之间不是一一对应的。对齐就是把深度图变换到彩色图像的坐标系下让每个像素的深度值和对应的RGB值对齐。对齐后的数据可以直接用来生成带颜色的点云在Rviz2中可视化效果很好。但如果你的算法需要精确的深度值建议用原始深度图而不是对齐后的——对齐过程中的插值会引入深度误差。对于双目方案比如ZED相机ROS2驱动的使用方式类似。ZED提供了zed-ros2-wrapper发布深度图、点云、IMU数据等多种topic。双目的深度图通常比结构光和ToF的噪声更大但胜在室外效果好。三种方案的对比从几个关键维度来对比这三种方案精度方面近距离3米结构光最优中距离3-10米ToF和双目差不多远距离10米双目更有优势加大基线即可。功耗方面结构光和ToF都需要主动发射红外光功耗较高。被动双目只需要两个相机功耗最低。成本方面被动双目最低两个普通相机结构光中等需要投射器ToF最高需要精密的时间测量电路。计算复杂度方面结构光和ToF的深度计算相对简单硬件直接输出深度图双目需要大量的立体匹配计算。鲁棒性方面双目在室外最鲁棒不依赖主动光源ToF次之结构光最差容易受阳光干扰。面试中怎么聊面试官问深度相机不要只说我用过RealSense。要能讲清楚你用的是哪种原理结构光/ToF/双目为什么选这种方案它的优缺点是什么你在项目中遇到了什么问题、怎么解决的。如果面试官追问双目和ToF怎么选你可以从应用场景、距离范围、精度要求、计算资源、成本预算几个维度来分析。这种结构化的回答比单纯说双目更好或ToF更好要有说服力得多。最后面试官如果问你在项目中怎么验证深度数据的质量你可以说用已知距离的参考物比如标定板放在固定距离做精度验证同时检查深度图的空洞率和噪声水平。定期做这种验证确保深度数据在系统运行过程中保持可靠。分享一个我在实际项目中选型深度相机的经历。当时给一台室内服务机器人选深度相机候选有RealSense D435i结构光IMU、Intel L515激光ToF和OAK-D双目AI加速。我们在实际场景里做了对比测试D435i在0.3-3米范围内效果最好空洞率最低但超过3米噪声明显增大。L515在暗光环境下表现好但对高反光表面比如不锈钢桌面效果很差深度图上会出现大面积黑洞。OAK-D的AI加速对目标检测有帮助但深度精度不如D435i。最终我们选了D435i因为我们的场景主要是室内3米范围内的物体识别和避障。选型的时候不能只看参数表一定要在你的实际场景里做对比测试不同场景下三种方案的表现差异很大。下一篇讲RGB-D数据处理——深度图空洞填充、对齐和坐标转换。拿到深度数据之后怎么处理是实际项目中最常遇到的问题。如果这篇文章对你有帮助欢迎点赞、在看、转发三连。 你的支持是我持续更新的最大动力。「机器人软件开发面试·从入门到精通」连载系列上一篇第153篇 图像预处理技术——去噪、增强、直方图均衡化 下一篇预告第155篇 RGB-D数据处理——深度图空洞填充、对齐和坐标转换有任何问题欢迎评论区留言我会尽量回复。
)
