双目相机在SLAM里到底解决了什么问题一句话单目SLAM跑起来看着挺美但整个地图是个没有刻度的橡皮筋——你不知道机器人到底走了1米还是10米也不知道重建出来的桌子是真实大小还是缩放过的模型。双目相机通过两个镜头之间的固定基线把尺度这件事从猜变成了算。这篇内容我打算把双目在SLAM与三维建图里的尺度来源、精度影响因素、以及多传感器融合的落地方法讲透适合正在做视觉SLAM、机器人建图、三维重建的工程师也适合刚啃完《视觉SLAM十四讲》想上手真实系统的朋友。1. 双目为什么能锁住尺度从视差到真实距离的完整推导1.1 单目的尺度漂移到底漂在哪先把问题说清楚。单目SLAM的观测方程里一个三维点投影到图像上丢失的恰恰是深度方向的信息。数学上单目初始化时通常靠假设第一帧的平移为单位1来固定尺度之后所有位姿和地图点都是相对这个假设单位而言的。这就带来两个后果第一重建出来的模型没有绝对物理尺寸第二随着帧数增加尺度会缓慢漂移闭环时如果尺度估计不一致地图就会呼吸——一会儿胀一会儿缩。我在实际项目里见过最典型的场景一台单目机器人跑完一圈回到起点轨迹闭环了但地图整体缩放比真实环境大了约8%。这个8%在短距离演示里看不出来一旦做导航避障障碍物距离判断就会系统性偏差撞墙是迟早的事。1.2 双目视差公式与基线的物理意义双目系统的核心就一个公式Z (f * B) / d其中 Z 是深度f 是焦距像素单位B 是两相机光心之间的基线距离d 是同一个空间点在左右图像上的视差横坐标之差。这个公式的物理含义非常直白基线 B 越大同样的视差 d 对应的深度 Z 越大也就是能测得更远反过来基线固定时视差越大说明物体越近。关键在于B 是一个可以物理测量的常量。你拿卡尺量出两个镜头光心间距是 120mm那这个 120mm 就锚定了整个系统的绝对尺度。SLAM 优化过程中三角化出来的每个地图点深度都带着真实物理单位位姿平移量自然也是米制。这就是双目天然有尺度的根本原因不需要额外的 IMU 或轮速计来救场。1.3 深度精度随距离衰减的定量分析很多人以为双目测距精度是恒定的这是最大的误解。对深度公式求导可以得到深度误差与视差误差的关系ΔZ (Z² / (f * B)) * Δd这个式子说明深度误差随距离的平方增长。举个具体数字假设 f 700 像素B 0.12 米视差测量误差 Δd 0.5 像素。在 Z 1 米处ΔZ ≈ (1² / (700×0.12)) × 0.5 ≈ 6mm到了 Z 5 米处ΔZ ≈ (25 / 84) × 0.5 ≈ 149mm接近 15 厘米。也就是说5 米外的深度精度已经掉到分米级。提示如果你的应用需要 10 米以上的可靠深度要么加大基线但会牺牲近处盲区和体积要么引入其他传感器融合单靠小基线双目是撑不住的。1.4 基线选型的工程权衡基线不是越大越好这里有个真实的取舍表基线范围优势代价典型场景50-80mm体积小、近处盲区小远距离精度差手机、小型无人机100-150mm精度与体积平衡中等服务机器人、AGV200-400mm远距离精度好体积大、近处盲区大自动驾驶、测绘我个人的经验是室内服务机器人选 120mm 左右最舒服1 到 4 米的工作区间精度足够做避障和建图。如果非要兼顾近处精细操作可以考虑双目结构光或者双目ToF的组合用近处主动测距补上双目在极近距离小于 0.3 米的盲区。2. 标定质量决定精度上限双目标定的实操细节2.1 为什么标定是双目系统的地基双目标定要解出的是左右相机的内参、畸变系数以及两者之间的外参旋转 R 和平移 t。这个平移 t 的模长就是基线 B。如果标定出来的 B 和实际物理基线差了几毫米整个系统的尺度就系统性偏了几毫米对应的比例。更麻烦的是外参里的旋转误差它会让极线校正不准导致左右图像匹配时搜索范围变大、误匹配增多。我踩过的一个坑用一张打印的棋盘格在普通 A4 纸上标定纸面不平整标定出来的重投影误差看着只有 0.3 像素很漂亮但实际跑起来深度在 2 米处偏差了将近 5%。后来换成铝基板上的标定板重投影误差反而升到 0.5 像素但实测深度准了很多。这说明重投影误差低不等于标定质量好标定板的平整度和刚性才是关键。2.2 标定流程与关键参数设置标准流程大致是这样准备高精度标定板棋盘格或圆点板都行关键是平整、图案尺寸精确。采集 20 到 40 组不同位姿的图像对覆盖画面各个区域和不同倾斜角度。用 OpenCV 的stereoCalibrate或 Kalibr 工具求解参数。用stereoRectify做极线校正检查校正后的图像行对齐情况。import cv2 import numpy as np # 假设已提取左右图像的角点 object_points, img_points_left, img_points_right ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( object_points, img_points_left, img_points_right, K1, D1, K2, D2, image_size, flagscv2.CALIB_FIX_INTRINSIC, # 若内参已单独标定好可固定 criteria(cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 100, 1e-6) ) # 基线长度 baseline np.linalg.norm(T) print(基线长度(米):, baseline)注意CALIB_FIX_INTRINSIC这个 flag 要不要加取决于你的内参标定是否可靠。如果单目内参标得很准固定它能减少自由度、提升外参稳定性如果内参本身有疑问就放开一起优化。2.3 极线校正后的验收标准校正完必须做验收不能标完就用。验收方法很简单把校正后的左右图像上下拼接找几个明显的特征点看它们在左右图里的纵坐标是否一致。理想情况下同一特征点在左右图的 y 坐标应该完全相同实际允许 1 到 2 像素的残差。如果残差超过 3 像素说明外参有问题得重新标。我一般还会做一个深度验收把标定板放在已知距离比如 1.5 米处用双目算出深度看和卷尺量的差多少。1.5 米处误差控制在 1% 以内算合格超过 2% 就得回头查标定。2.4 温度与振动对长期标定的影响这是文档里很少提但实际很要命的点。相机模组在温度变化时会发生热胀冷缩基线可能变化几十微米机器人运动时的振动也可能让相机相对位置缓慢偏移。我做过一个测试同一套双目模组冷机状态和连续工作 2 小时后的标定参数基线差了约 0.15mm对应到 3 米处的深度误差约 0.4%。所以对于长时间运行的机器人建议定期在线自标定或者至少做一次温度补偿。工程上更省事的做法是把相机模组做成刚性一体件用金属支架而不是塑料件能显著降低这类漂移。3. 双目SLAM的建图精度从特征匹配到深度滤波3.1 特征提取与匹配策略的选择双目SLAM前端的第一步是左右目匹配。常见做法有两种一是先各自提取特征ORB、SIFT 等再做描述子匹配二是用块匹配SGBM、BM算稠密视差图。前者稀疏但快适合做位姿估计后者稠密但慢适合做建图。我的建议是混合用位姿跟踪用稀疏特征保证实时性建图时用稠密视差补深度。ORB 特征在双目里的匹配要注意因为左右目视角不同同一个点的描述子会有差异所以匹配时最好加上极线约束——只在同一行附近搜索能把误匹配率降一大截。3.2 三角化与深度滤波的配合三角化出来的深度点噪声不小尤其是远距离点。直接扔进地图会让地图毛刺很多。工程上一般会做深度滤波常见的有卡方检验根据重投影误差剔除离群点。深度一致性检验同一地图点被多帧观测深度应该收敛发散的就剔除。时域滤波对同一像素的深度做滑动平均抑制闪烁。我用得最多的是三角化 卡方检验 时域中值滤波这套组合。实测下来2 米内的深度抖动能从 ±3cm 压到 ±1cm 以内建出来的点云明显干净。3.3 关键帧选取对地图质量的影响关键帧选得太密地图冗余、优化慢选得太稀约束不足、容易漂。双目的一个优势是深度直接可测所以关键帧可以选得比单目稀一些。我常用的策略是平移超过基线的一定倍数比如 5 倍基线或者旋转超过 10 度就设一个关键帧。这里有个细节双目基线本身提供了视差所以相邻帧之间的深度观测是独立的不像单目那样需要足够的平移才能三角化。这意味着双目SLAM在纯旋转时也能维持一定的建图能力这是它比单目稳的地方。3.4 回环检测与全局一致性回环检测用词袋模型DBoW是标配。双目做回环有个额外好处可以用深度信息验证回环候选。两个位置如果真的是同一个地方那它们观测到的同一物体的深度应该一致。这个几何验证能大幅降低误回环。全局优化时双目的尺度是硬约束所以位姿图优化里不需要额外的尺度节点。但如果融合了 IMU就要小心尺度和速度、零偏的耦合这部分放到下一节讲。4. 多模态融合双目与IMU、激光雷达的协同方法4.1 双目IMU紧耦合为什么更稳双目IMU 是目前机器人上很主流的组合。松耦合是把双目位姿和 IMU 积分分别算完再融合紧耦合是把 IMU 预积分残差和视觉重投影残差放在一个优化问题里一起解。紧耦合的优势在于IMU 能在视觉失效快速运动、纹理缺失时提供短时约束而视觉能持续估计 IMU 的零偏。VINS-Fusion 是这套思路的经典实现。它的状态量里包含位置、速度、姿态、IMU 零偏、以及双目外参。双目提供的尺度让 IMU 的速度和零偏估计更快收敛实测初始化时间能从单目的 2 到 3 秒缩短到 1 秒以内。4.2 双目激光雷达尺度对齐与点云配准激光雷达本身有精确尺度双目也有尺度两者融合的关键是外参标定和时间同步。外参标定常用棋盘格加激光雷达平面特征联合求解。时间同步要做到毫秒级否则运动时点云和图像对不上。融合方式上我比较推荐激光雷达提供几何骨架双目提供纹理和稠密深度的分工。激光雷达点云稀疏但准用来做地图骨架和位姿约束双目稠密深度用来补全纹理区域做三维重建的细节。两者用因子图融合激光雷达的 scan matching 残差和双目的重投影残差一起优化。4.3 融合中的时间同步与外参标定坑时间同步这块硬件触发是最稳的但很多低成本方案只能软同步。软同步要注意相机曝光时刻和 IMU 采样时刻的偏差要标出来否则高速运动时会有系统性误差。我见过一个案例相机和 IMU 时间戳差了 15ms机器人以 1m/s 运动时位置误差就有 1.5cm看着不大但累积到轨迹末端就很可观了。外参标定最容易忽略的是相机和 IMU 之间的旋转。这个旋转如果差 1 度在 10 米距离上就是 17cm 的横向误差。标定方法可以用 Kalibr 的相机-IMU 联合标定需要充分激励各个轴的运动。4.4 融合系统的故障降级策略再好的融合系统也要考虑单传感器失效。我的做法是设计降级策略双目正常时用双目IMU双目失效比如强光、遮挡时切到纯 IMU 航迹推算同时降低建图更新频率IMU 也异常时进入安全停车。这套逻辑要在状态估计器里显式判断不能指望它自己优雅退化。5. 实测中的精度验证与常见问题排查5.1 精度验证的三种实用方法验证双目SLAM精度我常用这三招闭环误差让机器人走一个已知周长的矩形回到起点看轨迹闭合误差。室内 10 米×10 米的矩形好的系统闭环误差能控制在 1% 以内。已知距离比对在地图上量两个已知实际距离的点看重建距离的偏差。与激光雷达对比如果有激光雷达把双目建图和激光建图叠加看重合度。5.2 深度图出现大面积空洞怎么办空洞通常来自三个原因纹理缺失白墙、玻璃、左右目匹配失败、以及遮挡。解决办法纹理缺失区域靠 IMU 或激光补匹配失败可以调 SGBM 的参数比如增大uniquenessRatio、调整speckleWindowSize遮挡区域只能靠多视角。5.3 尺度缓慢漂移的排查链路如果发现尺度在漂按这个顺序查先查标定参数是否随温度变化再查双目外参是否被振动改变然后查时间同步是否有偏差最后查优化里尺度是否被错误地当成自由变量。我遇到过一次原因是融合时把双目深度当成了带尺度的观测同时又让优化器自由估计尺度结果两者打架尺度就漂了。把尺度固定成标定值后就稳了。5.4 强光与低纹理环境的应对室外强光下双目图像容易过曝特征点丢失。硬件上可以加偏振片或自动曝光算法上可以降低特征提取阈值或者切换到直接法光度误差来利用更多像素信息。低纹理环境长走廊、白墙是双目的天敌这时候 IMU 和激光雷达的融合就不是可选项而是必需项了。6. 工程落地中的经验与取舍做双目SLAM这几年我最大的体会是不要追求单一传感器的极致而要把系统设计成互相兜底。双目给了尺度但远距离精度有限IMU 给了高频运动信息但会漂激光雷达给了精确几何但贵且重。真正稳的系统是让每个传感器在自己擅长的区间发力在别人失效时顶上。另一个经验是标定要当成持续的事不是一次性的。机器人跑一段时间就复标一次尤其是换过镜头、摔过、或者经历过大温差之后。我现在的习惯是每次重要任务前花十分钟做一次快速标定验收比重跑一遍完整标定省事但能挡住大部分精度事故。最后说个选型上的取舍如果预算有限又想要尺度双目是性价比很高的选择如果环境纹理极差老老实实上激光雷达如果既要尺度又要稠密重建双目加 IMU 加轻量激光的组合目前最均衡。没有银弹只有匹配场景的方案。