尧图网站建设 
写这篇文章之前我先说说背景。前段时间在做一套双目测距系统项目做到立体匹配那一步突然发现直接在原始图像上跑SGBM不仅慢得让人抓狂而且误匹配多到没法看。排查了一圈问题就出在极线校正身上。后来把Bouguet算法从头到尾捋了一遍代码重写效果立竿见影。这篇就把双目视觉里最关键的极线校正环节彻底讲透从对极几何原理到Bouguet算法的矩阵推导再到OpenCV的完整代码实现一条线走下来你在做三维重建或者双目测距时遇到的绝大多数匹配问题都能在这个环节找到根源。1. 对极几何与立体匹配的痛点为什么非校正不可1.1 从对极几何说起空间点、相机中心和极线的三角关系双目视觉的核心思路其实很简单——用两个相机从不同位置观察同一个空间点然后通过三角测量算出它的三维坐标。但这里有个绕不开的问题左相机图像上的某个像素点到底对应右相机图像上的哪个像素点这个对应关系就是立体匹配的本质。要搞清楚对应关系得先从对极几何入手。假设空间里有个三维点P它分别被左右两个相机拍摄到在左相机成像平面上的投影是p_l在右相机成像平面上的投影是p_r。如果我们把左相机光心O_l、右相机光心O_r和空间点P连起来这三个点必然共面这个平面叫极平面epipolar plane。极平面与左右两个成像平面的交线就是极线epipolar line。关键结论来了左图像上的像素点p_l它在右图像上的匹配点p_r一定在p_l对应的那条极线上反之亦然。这就是对极约束epipolar constraint。这个约束在数学上用基础矩阵FFundamental Matrix对应像素坐标或者本质矩阵EEssential Matrix对应归一化坐标来描述关系式是p_r^T · F · p_l 0也就是说只要知道基础矩阵F就能根据左图像上的一个点计算出右图像上对应的极线方程。匹配搜索从整幅图像的二维范围直接缩小到一条线上计算量骤降误匹配的概率也大幅降低。1.2 极线不水平的后果搜索范围退化和视差图噪声不过对极约束说的是匹配点在那条极线上可如果极线是斜的甚至每条极线的角度都不一样那立体匹配算法就麻烦了。拿SGBM、BM这类基于块匹配的算法来说它们能高效工作的前提是左右图像已经行对齐也就是说左图像第y行的像素只需要到右图像第y行去搜索就行搜索方向纯粹是水平方向。这样算法可以用水平滑动窗口加上动态规划的思想来求最优视差效率非常高。但如果极线不水平事情就麻烦了。假设左图像某个像素对应的极线在右图像里是倾斜的那搜索匹配点就得沿着斜线方向找这会导致两个后果搜索路径不规则SGBM这类算法依赖水平方向的扫描线优化极线倾斜时扫描线沿极线方向走不通算法只能近似处理视差图会出现大量横向条纹和空洞。误匹配率上升为了覆盖倾斜极线匹配窗口不得不开大窗口一大深度边缘就被平滑掉物体轮廓模糊细小结构直接消失。我在第一次跑通双目流程时没有做极线校正就直接丢给SGBM结果输出的视差图几乎没法看——远处墙面全是噪点物体边缘出一圈黑边当时还以为是SGBM参数没调好折腾了两三天回头看才发现是极线校正这步压根没做。1.3 极线校正的目标把对极几何变成平行线几何极线校正Stereo Rectification要做的事情就是对左右两张图像做重投影变换让对应极线变成严格水平的直线而且所有极线相互平行。这样一来左右图像完成行对齐任意一个点在校正后的右图像里的匹配点必然在同一行。立体匹配的搜索从二维退化为纯粹的一维水平搜索SGBM、BM等算法的优势才能发挥出来。视差可以直接定义为同一个点在左右图像中的列坐标之差后续深度恢复就变得非常直接。校正的本质是构造两个新的虚拟相机平面。这两个平面需要满足第一共面第二光轴互相平行第三对应极线水平对齐。Bouguet算法就是解决这个问题的经典方案也是OpenCV中stereoRectify函数背后的默认逻辑。2. Bouguet算法的旋转分解从相机外参到行对齐的数学路径2.1 立体标定拿到R和T校正的输入是什么极线校正并不是无中生有它需要知道左右相机之间的相对位姿关系。这个关系在标定阶段通过stereoCalibrate得到右相机相对于左相机的旋转矩阵R和平移向量T。这里的R和T描述的是右相机在左相机坐标系下的位置和朝向。T的方向尤其关键它决定了基线方向——也就是两个光心连线的方向。Bouguet算法的整个优化目标就是围绕这条基线方向来转动两个相机让它们的主光轴都平行于基线方向严格说是让两个焦平面共面且垂直于基线的方向有待商榷更准确说是让两个像平面行对齐并且同一空间点的投影落在同一水平线上。标定得到的R和T精度直接影响校正效果。R有微小误差校正后极线可能残留几像素的倾斜T方向不准行对齐就会出现系统性偏差。这也是为什么我一直强调立体标定的图像采集质量比后面所有环节都重要。这个坑我在第5部分细讲。2.2 旋转拆半为什么左右各转一半而不是全部转给一个相机Bouguet算法第一个关键步骤是把右相机相对左相机的旋转矩阵R拆成两半左右相机各转一半。从数学上说R可以表示成绕某个轴旋转某个角度的形式罗德里格斯公式。如果R对应的旋转向量是r_vec旋转角度是theta ||r_vec||那么R的一半就是旋转角度theta/2对应的旋转矩阵。在OpenCV里可以用cv2.Rodrigues先把旋转矩阵转成旋转向量然后把向量长度减半再转换回旋转矩阵。具体写成import cv2 import numpy as np # R是从stereoCalibrate得到的右相机相对左相机的旋转矩阵 rvec, _ cv2.Rodrigues(R) half_rvec rvec / 2.0 R_half, _ cv2.Rodrigues(half_rvec) # 左相机转R_half的逆右相机转R_half r_l np.linalg.inv(R_half) # 左相机旋转矩阵 r_r R_half # 右相机旋转矩阵为什么采取这种各打五十大板的策略原因很直观如果只旋转一个相机让它和另一个相机的朝向一致那么校正后的图像虽然极线也平行了但左右图像的整体朝向会偏向其中一个相机公共视野区域会变小造成有效像素的大量浪费。两边的相机各自转一半相当于把两个相机的朝向折中到中间方向既能保证极线平行又可以最大化左右图像的重叠区域。这个思路在实际项目中的意义非常实在。双目相机的基线一旦固定公共视野是双目系统最宝贵的资源被白白裁掉一块太奢侈了。Bouguet用旋转拆半这个简单操作就把视野损失降到了理论最小值。2.3 构造R_rect矩阵让极线严格水平的关键变换光是把两个相机的旋转折中还不够此时两幅图像的极线虽然平行了但不一定水平。要让极线水平需要用一个新的旋转矩阵R_rect把整个坐标系掰正使基线的方向恰好落在新左相机坐标系的X轴上。这个R_rect的构造分三步分别定义三个正交基向量第一步构造x轴方向向量e1。e1应该沿着基线的方向也就是平移向量T的方向归一化e1 T / ||T||这个方向就是校正后左右相机光心的连线方向也就是所有极线平行的方向。第二步构造y轴方向向量e2。e2需要与e1正交同时要落在成像平面内。最简单的做法是将e1与方向z (0, 0, 1)做叉积再归一化e2 [ -T_y, T_x, 0 ] / sqrt(T_x^2 T_y^2)这里T_x、T_y是平移向量T的前两个分量。这个式子的几何意义是取一个垂直于光轴的向量再让它和e1正交。可以理解为把e1掰到和成像平面平行的平面内再找它的垂直方向。第三步构造z轴方向向量e3直接做叉积e3 e1 × e2e1、e2、e3三个向量构成一组正交基R_rect就是把相机坐标系旋转到以e1、e2、e3为坐标轴的那组旋转矩阵e1 T / np.linalg.norm(T) e2 np.array([-T[1], T[0], 0]) / np.sqrt(T[0]**2 T[1]**2) e3 np.cross(e1, e2) R_rect np.vstack([e1, e2, e3])仔细观察这个构造过程会发现它本质上是一种坐标系对齐操作先把基线方向变成世界坐标系的X轴然后让相机的成像平面重新对齐到这个坐标系。这样校正后的图像极线恰好是水平线——这也正是立体匹配算法最舒服的输入。2.4 合成最终旋转矩阵R_l和R_r如何得到有了中间旋转矩阵R_rect和折半旋转r_l、r_r最终左右相机在校正后使用的旋转矩阵就是R_l R_rect r_l R_r R_rect r_r其中r_l是左相机的折半旋转实际上是R_half的逆r_r是右相机的折半旋转。R_rect是全局的坐标系对齐旋转。之后stereoRectify还会根据R_l、R_r以及原始内参计算校正后的投影矩阵P1、P2P1 K1_new R_l [I | -C1] P2 K2_new R_r [I | -C2]在OpenCV的返回值中P1、P2直接给出3x4的投影矩阵形如P [ f 0 cx 0 ] [ 0 f cy 0 ] [ 0 0 1 0 ]注意这里的f、cx、cy是校正后的等效内参和第4列的平移项一起把校正后图像的像素坐标与空间点的三维坐标关联起来。P1和P2的第3行第4列通常一个是0另一个是- f·T_xT_x是基线长度这个差异正好对应视差。2.5 Bouguet算法和Hartley算法的取舍不止一种校正路径聊到这里有必要提一下极线校正的另一个主流思路——Hartley算法。Bouguet算法依赖标定得到的R、T而Hartley算法只需要从图像对应点估计基础矩阵F然后对图像做射影变换即可完成校正。两种算法的核心差异在于对比维度Bouguet算法Hartley算法输入需求需要相机内参和立体标定的R、T只需要一组匹配点估计F矩阵校正效果行对齐精确几何畸变小视野损失可控校正后图像可能存在射影畸变更依赖匹配点质量适用场景标定数据可靠且完整没有标定数据或者相机参数漂移的临时场景我自己的习惯是能标定就一定用Bouguet。Hartley算法看着省事但校正后的图像有时会出现明显的拉伸畸变特别是在图像边缘对于后续的视差计算和深度测量都不友好。Bouguet算法的几何意义清晰、误差可控在工业视觉、机器人导航这些对精度有要求的场景里是更稳妥的选择。3. 完整代码实现从双目标定到行对齐重映射3.1 环境准备OpenCV版本和依赖代码基于OpenCV 4.x和Python 3.8主要用到cv2和numpy。如果跑视差计算还需要可视化的话可以顺手装一个matplotlib但不影响核心功能。pip install opencv-python opencv-contrib-python numpy matplotlib这里的opencv-contrib-python是必要的SGBM等立体匹配算法虽然包含在opencv-python里但一些扩展模块的工具函数在contrib包里更全。为了避免版本踩坑建议直接用4.5.0以上的版本。3.2 第一步棋盘格标定图像的角点提取整个流程的第一步是采集一组左右目同步拍摄的棋盘格图像提取亚像素角点。采集质量直接决定标定精度这一点我在第5部分会展开讲清楚踩坑细节。先定义棋盘格参数和角点提取函数import cv2 import numpy as np import glob import os # 棋盘格内角点数目——注意不是格子数 CHESS_COLS 9 CHESS_ROWS 6 SQUARE_SIZE 25.0 # 棋盘格边长单位mm用于后续三维坐标 # 世界坐标系下的棋盘格角点坐标 objp np.zeros((CHESS_COLS * CHESS_ROWS, 3), np.float32) objp[:, :2] np.mgrid[0:CHESS_COLS, 0:CHESS_ROWS].T.reshape(-1, 2) objp * SQUARE_SIZE # 亚像素角点迭代条件 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) def find_corners(image_path, pattern_size(CHESS_COLS, CHESS_ROWS)): img cv2.imread(image_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: corners_sub cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) return True, corners_sub, img return False, None, img角点提取有两个细节值得注意。第一个是亚像素精化findChessboardCorners返回的角点坐标是像素级精度必须再用cornerSubPix迭代到亚像素级否则标定结果的RMS误差会偏大。窗口大小(11, 11)是经验值太大容易跨越边界太小收敛不稳定。第二个是棋盘格图案一定要用非对称设计或者带白色边框的标定板这样程序才能判断方向否则findChessboardCorners很容易把图案识别反。3.3 第二步单目标定和立体标定的衔接提取完所有标定图的角点之后先做左右各自的单目标定再把结果交给双目标定。left_images sorted(glob.glob(stereo_images/left/*.png)) right_images sorted(glob.glob(stereo_images/right/*.png)) objpoints [] imgpoints_left [] imgpoints_right [] for lpath, rpath in zip(left_images, right_images): okL, cornersL, _ find_corners(lpath) okR, cornersR, _ find_corners(rpath) if okL and okR: objpoints.append(objp) imgpoints_left.append(cornersL) imgpoints_right.append(cornersR) # 用第一对图像获取图像尺寸 sample_img cv2.imread(left_images[0]) h, w sample_img.shape[:2] # 单目标定 retL, K1, D1, rvecsL, tvecsL cv2.calibrateCamera( objpoints, imgpoints_left, (w, h), None, None ) retR, K2, D2, rvecsR, tvecsR cv2.calibrateCamera( objpoints, imgpoints_right, (w, h), None, None ) # 立体标定 retS, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_left, imgpoints_right, K1, D1, K2, D2, (w, h), flagscv2.CALIB_FIX_INTRINSIC ) print(f立体标定重投影误差: {retS:.4f} 像素)stereoCalibrate的flags参数里我用了CALIB_FIX_INTRINSIC也就是固定单目标定得到的内参只优化左右相机的外参R和T。这有几个好处一是减少优化参数数量提高求解稳定性二是不至于因为某一张图的异常点把原本合理的内参拉偏。如果标定板数量充足且图像质量都很高也可以去掉这个flag让算法同时优化内参能拿到更准确的一组参数。立体标定返回的retS是重投影误差单位是像素。这个值在0.1到0.3之间属于良好超过0.5就要提高警惕了后面校正效果大概率会打折扣。3.4 第三步stereoRectify计算校正参数立体标定拿到R、T之后主角终于登场——stereoRectify。# 校正参数计算 R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( K1, D1, K2, D2, (w, h), R, T, flagscv2.CALIB_ZERO_DISPARITY, alpha0.5 )这里两个参数值得专门解释。一个是flags设为CALIB_ZERO_DISPARITY。这个标志会让无穷远处的点在校正后的左右图像中具有相同坐标确切说是视差为0数学上等价于P2的第3行第4列和P1严格对齐。这样校正后的视差不会出现系统性的整体偏移后续深度计算更直观。不加这个flag虽然也可以用但视差图的基线会出现固定偏移调试时很容易让人困惑。另一个是alpha参数取值范围0到1。alpha0时校正后的图像会裁剪掉所有无效区域输出的每张图都是有效像素视野最紧凑但原始图像边缘的部分会被裁掉。alpha1时保留原始图像的所有像素但图像边缘会出现明显黑边无效区域。alpha0.5则是折中。具体设多少取决于你的ROI需求和使用场景。如果在做实时测距视野就是生命用alpha0直接裁干净省掉后续很多麻烦。如果要做可视化展示或者对接其他视觉模块建议alpha保留到0.3到0.5之间保留一些边缘信息以便调试。3.5 第四步initUndistortRectifyMap生成重映射表stereoRectify给出了旋转矩阵R1、R2和投影矩阵P1、P2但还没有真正生成校正后的图像。OpenCV生成校正映射表用initUndistortRectifyMapmap1x, map1y cv2.initUndistortRectifyMap( K1, D1, R1, P1, (w, h), cv2.CV_32FC1 ) map2x, map2y cv2.initUndistortRectifyMap( K2, D2, R2, P2, (w, h), cv2.CV_32FC1 )这一步做的事情是把原始图像的每一个像素通过畸变矫正和旋转投影两步变换映射到校正后图像的像素位置。map1x和map1y就是两张查找表它们的尺寸和原图一样每个像素点存储的是校正后图像的这个坐标应该取原始图像哪个坐标的像素值。这里有个性能上的小坑initUndistortRectifyMap的映射表是浮点型CV_32FC1占用的内存大约是图像尺寸乘以8字节。对于1080p的图像每张映射表大概16MB两个相机加起来约64MB。这在嵌入式平台或者ROS节点里是不可忽视的开销。实际工程中如果相机内参不变映射表完全可以在初始化时算一次、长期复用避免每一帧都重复计算。3.6 第五步remap执行校正并可视化验证映射表生成就绪后remap函数负责执行实际的重采样def rectify_frame(imgL, imgR): rectifiedL cv2.remap(imgL, map1x, map1y, cv2.INTER_LINEAR) rectifiedR cv2.remap(imgR, map2x, map2y, cv2.INTER_LINEAR) return rectifiedL, rectifiedR # 读取一对测试图像 imgL cv2.imread(test/left.png) imgR cv2.imread(test/right.png) rectL, rectR rectify_frame(imgL, imgR) # 可视化左右图水平拼接画等间距水平线 vis np.hstack((rectL, rectR)) h_vis, w_vis vis.shape[:2] for y in range(0, h_vis, 50): cv2.line(vis, (0, y), (w_vis, y), (0, 255, 0), 1) cv2.imwrite(rectify_result.png, vis)在可视化图像上画等距水平线是验证行对齐效果最直观的方法。如果校正成功左图中的棋盘格角点、物体边缘会与右图中对应点在严格相同的水平线上水平线会整齐地穿过左右图像中对应的特征点。如果出现垂直方向的偏移说明校正参数有问题需要回到标定环节排查。remap的插值方式选择上INTER_LINEAR是默认且稳妥的选择。想追求更高图像质量可以用INTER_CUBIC但耗时大约增加1.5到2倍。对于实时视觉系统我通常用INTER_LINEAR视觉差异在普通场景下几乎看不出来。3.7 完整流程串联一步到位的校正函数把上面所有步骤串起来写成一个完整的校正函数def calibrate_and_rectify(left_imgs, right_imgs, pattern_size, square_size, alpha0.5): CHESS_COLS, CHESS_ROWS pattern_size objp np.zeros((CHESS_COLS * CHESS_ROWS, 3), np.float32) objp[:, :2] np.mgrid[0:CHESS_COLS, 0:CHESS_ROWS].T.reshape(-1, 2) objp * square_size criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objpoints, imgpointsL, imgpointsR [], [], [] for lpath, rpath in zip(left_imgs, right_imgs): grayL cv2.cvtColor(cv2.imread(lpath), cv2.COLOR_BGR2GRAY) grayR cv2.cvtColor(cv2.imread(rpath), cv2.COLOR_BGR2GRAY) retL, cornersL cv2.findChessboardCorners(grayL, pattern_size, None) retR, cornersR cv2.findChessboardCorners(grayR, pattern_size, None) if retL and retR: objpoints.append(objp) cornersL cv2.cornerSubPix(grayL, cornersL, (11, 11), (-1, -1), criteria) cornersR cv2.cornerSubPix(grayR, cornersR, (11, 11), (-1, -1), criteria) imgpointsL.append(cornersL) imgpointsR.append(cornersR) h, w grayL.shape retL, K1, D1, _, _ cv2.calibrateCamera(objpoints, imgpointsL, (w, h), None, None) retR, K2, D2, _, _ cv2.calibrateCamera(objpoints, imgpointsR, (w, h), None, None) retS, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpointsL, imgpointsR, K1, D1, K2, D2, (w, h), flagscv2.CALIB_FIX_INTRINSIC ) R1, R2, P1, P2, Q, roi1, roi2 cv2.stereoRectify( K1, D1, K2, D2, (w, h), R, T, flagscv2.CALIB_ZERO_DISPARITY, alphaalpha ) map1x, map1y cv2.initUndistortRectifyMap(K1, D1, R1, P1, (w, h), cv2.CV_32FC1) map2x, map2y cv2.initUndistortRectifyMap(K2, D2, R2, P2, (w, h), cv2.CV_32FC1) def rectify(imgL, imgR): return cv2.remap(imgL, map1x, map1y, cv2.INTER_LINEAR), \ cv2.remap(imgR, map2x, map2y, cv2.INTER_LINEAR) return { K1: K1, D1: D1, K2: K2, D2: D2, R: R, T: T, R1: R1, R2: R2, P1: P1, P2: P2, Q: Q, map1x: map1x, map1y: map1y, map2x: map2x, map2y: map2y, rectify: rectify, retS: retS, roi1: roi1, roi2: roi2, }这个函数返回一个字典里面既包含标定参数也包含可以直接调用的rectify函数。之后处理实时视频流时只需要每帧调用rectify即可不需要重复计算映射表。4. 校正效果的量化验证极线倾角、行对齐与视差精度4.1 重投影误差RMS标定环节的体检报告校正效果好不好第一道检验就是stereoCalibrate返回的重投影误差retS。这个值衡量的是用标定得到的内外参把棋盘格三维角点重新投影到图像平面与检测到的角点坐标之间的平均距离。单位是像素。根据我的实际经验这个值的判断标准大致如下RMS误差像素标定质量后续处理建议小于0.15优秀可直接用于高精度测距0.15 - 0.30良好常规重建和匹配没有压力0.30 - 0.50及格检查标定图像质量可用于粗略匹配大于0.50不合格重新采集标定数据寻找问题根源重投影误差偏大的常见原因有这么几种标定图像过少、角点提取精度不够、标定板弯曲、图像模糊以及一个很隐蔽的原因——棋盘格标定板本身的平整度不够。我踩过一次坑用亚克力板打印的棋盘格厚度不够手持时轻微弯曲标定误差一直在0.6左右徘徊后来换成玻璃基底陶瓷棋盘格才算解决。4.2 极线可视化与量化计算验证行对齐的核心指标画水平线目测只是定性的检查严谨起见还需要量化评估。最直接的方法是在校正后的左右图像中检测同一组特征点比较它们在两幅图像中的y坐标差。用棋盘格角点作为特征点最方便def measure_row_alignment(rectL, rectR, pattern_size(CHESS_COLS, CHESS_ROWS)): grayL cv2.cvtColor(rectL, cv2.COLOR_BGR2GRAY) grayR cv2.cvtColor(rectR, cv2.COLOR_BGR2GRAY) retL, cornersL cv2.findChessboardCorners(grayL, pattern_size, None) retR, cornersR cv2.findChessboardCorners(grayR, pattern_size, None) if not (retL and retR): print(无法在校正图像中检测到完整棋盘格) return None y_diffs [] for i in range(len(cornersL)): yL cornersL[i][0][1] yR cornersR[i][0][1] y_diffs.append(abs(yL - yR)) y_diffs np.array(y_diffs) print(f对应角点y坐标差: 均值{y_diffs.mean():.3f} 像素, f最大{y_diffs.max():.3f} 像素, f标准差{y_diffs.std():.3f} 像素) return y_diffs判断标准上如果同一组角点的平均y坐标差小于0.5像素最大不超过1像素说明校正质量相当好立体匹配可以直接受益。如果平均差在1到3像素之间建议检查标定板采集数量是否充足或者标定图像是否有运动模糊。如果平均差超过3像素问题基本出在标定的R、T不准确上继续调SGBM参数没有太大意义回去重新标定更高效。另外一种更通用的验证方法是极线方程法。用矫正前的相机参数求基础矩阵F然后取左图像任意特征点p_l计算右图像中的极线l F p_l再检查这条极线在右图像中的斜率def check_epipolar_slope(points_l, F): slopes [] for p in points_l: # p必须是齐次坐标 [x, y, 1] line F p # 极线方程: a*x b*y c 0 a, b, c line if abs(b) 1e-8: continue slope -a / b # 斜率 -a/b slopes.append(slope) slopes np.array(slopes) print(f极线斜率: 均值{np.mean(slopes):.6f}, 标准差{np.std(slopes):.6f}) return slopes理想情况下校正后的极线应该接近水平也就是斜率接近0。不过这个方法需要准确的匹配点和F矩阵操作起来步骤多一些。日常项目里用棋盘格角点对比y坐标是最快速可靠的验证手段。4.3 视差图质量评估校正是否真的改善了匹配结果校正做得好不好最终要看视差图说话。用SGBM在行对齐后的图像上计算视差图观察几个关键特征视差连续性同一个平面比如墙面、桌面上视差值应该平滑过渡不应出现大量散乱的噪声点。边缘锐利度物体的轮廓边缘视差变化应该是陡峭的颜色过渡越干脆越好。如果边缘出现几像素宽的渐变带可能是SGBM窗口太大或者校正残差偏大。空洞比例视差图中的无效像素通常显示为黑色或0值占比不能过高。纹理稀疏区域出现空洞是正常的但如果纹理丰富的区域也大量出现空洞多半是行对齐精度不够。我自己常用的快速评估方式是直接统计视差图的无效像素比例再和校正前的结果对比。如果同样的SGBM参数校正后的无效像素比例能下降10到20个百分点说明校正带来的提升非常显著。SGBM计算视差的核心代码如下stereo cv2.StereoSGBM_create( minDisparity0, numDisparities64, blockSize5, P18 * 3 * 5 ** 2, P232 * 3 * 5 ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32 ) disparity stereo.compute(rectL_gray, rectR_gray).astype(np.float32) / 16.0注意SGBM输出的视差是定点数除以16才得到真正的视差值。这里的P1和P2是平滑惩罚系数控制视差图的平滑程度。P2通常设成P1的4倍左右数值太小视差图全是噪点太大则物体边缘被过度平滑。4.4 深度精度验证用Q矩阵把视差转成三维坐标校正的终极目标是恢复深度Q矩阵就是连接视差与三维坐标的桥梁。stereoRectify返回的Q是一个4x4矩阵形式如下Q [ 1 0 0 -c_x ] [ 0 1 0 -c_y ] [ 0 0 0 f ] [ 0 0 -1/T_x (c_x - c_x)/T_x ]给定校正后的像素坐标(x, y)和视差d三维坐标通过下面公式还原def depth_from_disparity(disp, Q, xNone, yNone): if x is not None and y is not None: # 单点重建 point_3d Q np.array([x, y, disp, 1.0]) point_3d / point_3d[3] return point_3d[:3] # 整幅图重建 points_3d cv2.reprojectImageTo3D(disp, Q) return points_3d在使用reprojectImageTo3D时有两点需要特别注意。第一输入的disp必须是真正的浮点视差不是SGBM输出的定点整数所以要先除以16。第二Q矩阵中的c_x、c_y是校正后主点坐标f是校正后的焦距这些值都在P1、P2矩阵的前三列里不需要手动输入OpenCV在stereoRectify里已经根据alpha参数自动算好了。验证深度精度的方法也很简单拿一个已知距离的目标比如距离相机1米远的标定板算一下重建出的三维点的Z坐标和真实距离对比。误差在1%到2%以内对整个系统来说就是健康的。如果误差明显偏大除了校正质量还要检查基线长度T_x的值是否与真实安装尺寸一致。T_x在标定中会从图像数据里估算出来但如果相机的实际物理安装参数和标定数据存在系统性偏差深度精度就会受到影响。5. 实战中的坑标定采集、参数选择与常见问题排查5.1 标定图像采集质量远比数量重要极线校正这件事前面所有数学过程都很漂亮但实际效果却80%取决于标定数据的采集质量。这一块是新手最容易忽略、也最容易踩坑的地方。第一图像数量并不是越多越好。我见过有人一口气拍一两百对图像结果程序跑了很久标定误差还是很大。原因在于图像之间高度相似信息冗余严重。合理的做法是拍20到30对左右关键是要覆盖足够多样的角度左右倾斜、上下俯仰、远近变化、图像四角位置都要兼顾。棋盘格在画面中的位置越分散标定求解的约束越充分。第二棋盘格在画面中的尺寸要合适。标定板占画面面积的比例最好在20%到50%之间如果太小角点提取的亚像素精度会受影响如果太大棋盘格超出画面边缘边缘处的角点提取也会不稳定。我一般先粗调相机位置确保棋盘格完整出现在画面内再微调角度。第三避免运动模糊和光照反射。标定过程中相机或标定板有微小晃动角点坐标就会偏掉重投影误差直接飙升。拍摄时标定板要尽量静止用三脚架固定相机最稳妥。光照方面避免强光源在棋盘格上形成镜面反射否则部分角点会被高光淹没导致检测不到或者定位偏移。第四也是最容易忽略的一点——标定板的不对称性。我之前用纯黑白棋盘格出错问题不在提取而在方向判定。如果棋盘格是严格的中心对称图案程序可能把左右方向搞混导致标定结果前后矛盾。现在市面上常见的标定板都有一个白色边框或者非对称圆点图案就是为了解决这个问题。自己打印标定板时一定要在棋盘格一侧留出明显的不对称白色区域。5.2 stereoCalibrate的flags参数什么时候该用FIX_INTRINSIC在stereoCalibrate的flags参数选择上我见过不少项目组在这里纠结。其实逻辑很简单如果单目标定已经用了充足的高质量图像得到的内参可信度高就加上CALIB_FIX_INTRINSIC只优化外参R、T。这样求解更稳不容易陷入局部极小。如果左右相机内参差异较大或者单目标定的图像数量不够可以让算法同时优化内参。此时把flag留空即可算法会以单目标定结果为初值继续迭代。还有一种折中方案是使用CALIB_USE_INTRINSIC_GUESS。这个flag的含义是以传入的K、D作为初始值进行优化。实际效果通常介于两者之间如果不太确定该选哪个从FIX_INTRINSIC开始是最安全的。另外如果相机硬件支持设置固定焦距建议在标定前把焦距设置成和实际使用一致标定后不要再变焦距。工业相机替换镜头或者改变焦距后内参必须重新标定这个看起来像常识但在项目节奏紧张时特别容易犯。5.3 alpha参数选择与ROI裁剪视野和黑边的权衡alpha是stereoRectify中争议最多、也最容易被忽略的参数。它的本质是控制校正后图像保留原始像素的比例。alpha0时校正后的图像没有黑边所有像素都是有效像素但图像边缘部分会被裁剪。alpha1时原始图像所有像素都会保留在输出中但边缘会出现黑边。alpha0.5是两者之间的折中。应用场景决定参数选择测距类应用需要把所有有效像素都用于计算选alpha0配合validPixROI1和validPixROI2指定的矩形区域直接裁剪到ROI范围。可视化、人机交互类应用保留一点黑边反而有助于人类判断图像是否经过校正选alpha0.3到0.5。需要拼接全景或做后续特征匹配的场景尽可能保留原始信息选alpha1。validPixROI1和validPixROI2是stereoRectify返回的两个矩形区域表示校正后图像中有效像素的最小包围盒。alpha不为0时可以再用这两个ROI二次裁剪去掉大部分黑边保持视野和整洁的平衡。5.4 帧同步问题双目采集的时间一致性这个坑在实时双目系统里几乎必踩。极线校正的前提是左右图像必须拍摄的是同一时刻的场景。如果左相机和右相机的图像存在几毫秒的时间差画面中的运动物体在校正后依然无法正确匹配。硬件上工业相机通常支持外触发模式用硬件信号同时触发左右相机采集时间差可以控制在微秒级。如果是USB摄像头或者普通网络摄像头没有硬件同步能力就必须做软件层面的时间戳对齐。最简单的方案是采集时给每一帧打上系统时间戳匹配最近时间戳的左右帧为一对。如果相机的帧率和曝光时间有差异宁可降低帧率也要保证时间戳对齐精度。在测试阶段我习惯先在静止场景下做标定和校正验证确保几何关系正确再切换到动态场景测试帧同步。这样能有效分离校正不准和时间不同步两类问题排查效率会高很多。5.5 畸变矫正的边界效应图像边缘的拉伸失真Bouguet校正结合畸变矫正后图像边缘往往会出现明显的拉伸变形尤其在使用广角镜头或者鱼眼镜头时更严重。这种变形虽然不影响极线水平这个核心目标但是会让边缘区域的图像看起来弯曲影响视觉效果也会让边缘处的角点提取、特征匹配轻微失真。处理这个问题的经验是在标定阶段就留意畸变系数的大小。如果D1、D2中的k1、k2绝对值很大超过0.3说明镜头畸变严重需要重点关注边缘区域的校正效果。此时可以适当缩小实际使用的图像区域只取畸变较小的中心区域进行计算。在实时项目中这种方法比无脑保留全部图像更好用计算量还更小。另外在不改变镜头参数的前提下重新对焦后也要重新标定。很多人换了对焦环就忘了重新标定导致内参失效。这个细节虽然不起眼但在实际项目交付时常常是深度测量偏差的头号原因。5.6 立体匹配对校正残差的容忍度最后说一个容易被忽视的认知问题。很多人以为极线校正必须做到像素级完美才能跑立体匹配其实不然。SGBM算法对校正残差是有一定容忍度的blockSize窗口越大容错能力越强但深度边缘的精度会下降。根据我的实测平均行对齐误差在0.5像素以内时用blockSize5的SGBM跑出来的视差图质量已经相当不错。即使平均误差到1像素左右把blockSize调到7到9视差图仍然可以接受只是细节会损失一些。所以当你发现视差图边缘变糊时可以先检查行对齐误差而不是急着去调SGBM参数。根源在校正却花大量时间调匹配参数这是我见过最普遍的低效调试方式。反过来也有一种情况就是校正误差已经很小但视差图依然糟糕那就需要考虑SGBM的P1、P2惩罚系数、uniquenessRatio、speckleRange这些参数了。把这两类问题的排查顺序理顺项目的调参效率会提升一大截。6. 基于校正后的深度恢复Q矩阵与三维坐标重建6.1 Q矩阵的结构解析从视差到深度的一步之遥极线校正的价值不只是让匹配更好跑还在于校正后的几何关系极其简单——深度Z可以直接由视差d反推出来。校正后左右相机的光轴平行视觉上可以看作一个理想的平行双目系统此时存在简单关系Z (f * T_x) / d其中f是校正后的等效焦距T_x是基线长度d是视差。这个关系式很多做视觉的人都知道但在代码实现里通常不是直接手写这个公式而是用stereoRectify返回的Q矩阵统一处理。Q矩阵的含义是把齐次坐标下的像素-视差映射成三维坐标[X, Y, Z, W]^T Q * [x, y, disparity, 1]^T最终的三维坐标是(X/W, Y/W, Z/W)。这里的W做归一化非常重要很多新手在这里踩坑——忘了除以W导致深度输出大得离谱。6.2 利用reprojectImageTo3D重建整幅点云OpenCV提供现成的函数reprojectImageTo3D完成整幅图像的深度恢复# 将SGBM输出的定点视差转成浮点视差 disparity disparity_raw.astype(np.float32) / 16.0 # 使用Q矩阵重建三维点云 points_3d cv2.reprojectImageTo3D(disparity, Q, handleMissingValuesTrue) # points_3d的shape和视差图一致每个像素存[x, y, z]坐标 # 无效像素视差为0或者负值对应的z值通常是一个很大的负值handleMissingValuesTrue时OpenCV会把无效像素的坐标设为(0, 0, 0)后续处理时可以方便地过滤掉。如果要导出点云文件PLY格式可以用Open3D或者PCL库把points_3d和彩色图对齐后保存。这里提醒一个坐标方向的坑。reprojectImageTo3D输出的坐标系以左相机光心为原点Z轴指向场景前方深度方向X轴向右Y轴向下。这个坐标系和常见的ROS相机坐标系Z向前、X向右、Y向下基本一致但和OpenGL/OpenCV的像素坐标系Y向下不完全相同。做可视化或者机器人导航时一定要先确认坐标系约定否则点云旋转后看起来面目全非。6.3 深度精度的影响因素拆解基线、焦距与视差量化深度精度并不只是取决于校正质量还和设备的物理参数直接相关。对公式Z f * T_x / d求导可以得到深度误差的近似表达式ΔZ ≈ (Z^2 / (f * T_x)) * Δd这说明了两件事深度误差和距离的平方成正比。目标越远深度误差增长得越快。这不是算法问题是三角测量的物理规律。深度误差和基线长度T_x、焦距f成反比。基线越长、焦距越大同样视差误差下深度精度越高。SGBM的视差输出精度一般是1/16像素即sub-pixel interpolation假设视差误差Δd 0.1像素对于一个基线120mm、焦距700像素的双目系统在2米处的深度误差约为ΔZ ≈ (2000^2 / (700 * 120)) * 0.1 ≈ 4.76mm这个误差量级在近距离测距场景下表现不错。但如果你把目标放到10米开外误差会膨胀到约119mm直接超出很多应用的范围。所以做双目测距之前先搞清楚目标距离范围再选择合适的基线和焦距这个步骤比后面调任何参数都重要。Bouguet算法解决的是极线校正问题它能让立体匹配在给定的硬件条件下充分发挥潜力但物理硬件的极限是无法通过算法突破的。 双目视觉极线校正：Bouguet算法原理与OpenCV实现详解
写这篇文章之前我先说说背景。前段时间在做一套双目测距系统项目做到立体匹配那一步突然发现直接在原始图像上跑SGBM不仅慢得让人抓狂而且误匹配多到没法看。排查了一圈问题就出在极线校正身上。后来把Bouguet算法从头到尾捋了一遍代码重写效果立竿见影。这篇就把双目视觉里最关键的极线校正环节彻底讲透从对极几何原理到Bouguet算法的矩阵推导再到OpenCV的完整代码实现一条线走下来你在做三维重建或者双目测距时遇到的绝大多数匹配问题都能在这个环节找到根源。1. 对极几何与立体匹配的痛点为什么非校正不可1.1 从对极几何说起空间点、相机中心和极线的三角关系双目视觉的核心思路其实很简单——用两个相机从不同位置观察同一个空间点然后通过三角测量算出它的三维坐标。但这里有个绕不开的问题左相机图像上的某个像素点到底对应右相机图像上的哪个像素点这个对应关系就是立体匹配的本质。要搞清楚对应关系得先从对极几何入手。假设空间里有个三维点P它分别被左右两个相机拍摄到在左相机成像平面上的投影是p_l在右相机成像平面上的投影是p_r。如果我们把左相机光心O_l、右相机光心O_r和空间点P连起来这三个点必然共面这个平面叫极平面epipolar plane。极平面与左右两个成像平面的交线就是极线epipolar line。关键结论来了左图像上的像素点p_l它在右图像上的匹配点p_r一定在p_l对应的那条极线上反之亦然。这就是对极约束epipolar constraint。这个约束在数学上用基础矩阵FFundamental Matrix对应像素坐标或者本质矩阵EEssential Matrix对应归一化坐标来描述关系式是p_r^T · F · p_l 0也就是说只要知道基础矩阵F就能根据左图像上的一个点计算出右图像上对应的极线方程。匹配搜索从整幅图像的二维范围直接缩小到一条线上计算量骤降误匹配的概率也大幅降低。1.2 极线不水平的后果搜索范围退化和视差图噪声不过对极约束说的是匹配点在那条极线上可如果极线是斜的甚至每条极线的角度都不一样那立体匹配算法就麻烦了。拿SGBM、BM这类基于块匹配的算法来说它们能高效工作的前提是左右图像已经行对齐也就是说左图像第y行的像素只需要到右图像第y行去搜索就行搜索方向纯粹是水平方向。这样算法可以用水平滑动窗口加上动态规划的思想来求最优视差效率非常高。但如果极线不水平事情就麻烦了。假设左图像某个像素对应的极线在右图像里是倾斜的那搜索匹配点就得沿着斜线方向找这会导致两个后果搜索路径不规则SGBM这类算法依赖水平方向的扫描线优化极线倾斜时扫描线沿极线方向走不通算法只能近似处理视差图会出现大量横向条纹和空洞。误匹配率上升为了覆盖倾斜极线匹配窗口不得不开大窗口一大深度边缘就被平滑掉物体轮廓模糊细小结构直接消失。我在第一次跑通双目流程时没有做极线校正就直接丢给SGBM结果输出的视差图几乎没法看——远处墙面全是噪点物体边缘出一圈黑边当时还以为是SGBM参数没调好折腾了两三天回头看才发现是极线校正这步压根没做。1.3 极线校正的目标把对极几何变成平行线几何极线校正Stereo Rectification要做的事情就是对左右两张图像做重投影变换让对应极线变成严格水平的直线而且所有极线相互平行。这样一来左右图像完成行对齐任意一个点在校正后的右图像里的匹配点必然在同一行。立体匹配的搜索从二维退化为纯粹的一维水平搜索SGBM、BM等算法的优势才能发挥出来。视差可以直接定义为同一个点在左右图像中的列坐标之差后续深度恢复就变得非常直接。校正的本质是构造两个新的虚拟相机平面。这两个平面需要满足第一共面第二光轴互相平行第三对应极线水平对齐。Bouguet算法就是解决这个问题的经典方案也是OpenCV中stereoRectify函数背后的默认逻辑。2. Bouguet算法的旋转分解从相机外参到行对齐的数学路径2.1 立体标定拿到R和T校正的输入是什么极线校正并不是无中生有它需要知道左右相机之间的相对位姿关系。这个关系在标定阶段通过stereoCalibrate得到右相机相对于左相机的旋转矩阵R和平移向量T。这里的R和T描述的是右相机在左相机坐标系下的位置和朝向。T的方向尤其关键它决定了基线方向——也就是两个光心连线的方向。Bouguet算法的整个优化目标就是围绕这条基线方向来转动两个相机让它们的主光轴都平行于基线方向严格说是让两个焦平面共面且垂直于基线的方向有待商榷更准确说是让两个像平面行对齐并且同一空间点的投影落在同一水平线上。标定得到的R和T精度直接影响校正效果。R有微小误差校正后极线可能残留几像素的倾斜T方向不准行对齐就会出现系统性偏差。这也是为什么我一直强调立体标定的图像采集质量比后面所有环节都重要。这个坑我在第5部分细讲。2.2 旋转拆半为什么左右各转一半而不是全部转给一个相机Bouguet算法第一个关键步骤是把右相机相对左相机的旋转矩阵R拆成两半左右相机各转一半。从数学上说R可以表示成绕某个轴旋转某个角度的形式罗德里格斯公式。如果R对应的旋转向量是r_vec旋转角度是theta ||r_vec||那么R的一半就是旋转角度theta/2对应的旋转矩阵。在OpenCV里可以用cv2.Rodrigues先把旋转矩阵转成旋转向量然后把向量长度减半再转换回旋转矩阵。具体写成import cv2 import numpy as np # R是从stereoCalibrate得到的右相机相对左相机的旋转矩阵 rvec, _ cv2.Rodrigues(R) half_rvec rvec / 2.0 R_half, _ cv2.Rodrigues(half_rvec) # 左相机转R_half的逆右相机转R_half r_l np.linalg.inv(R_half) # 左相机旋转矩阵 r_r R_half # 右相机旋转矩阵为什么采取这种各打五十大板的策略原因很直观如果只旋转一个相机让它和另一个相机的朝向一致那么校正后的图像虽然极线也平行了但左右图像的整体朝向会偏向其中一个相机公共视野区域会变小造成有效像素的大量浪费。两边的相机各自转一半相当于把两个相机的朝向折中到中间方向既能保证极线平行又可以最大化左右图像的重叠区域。这个思路在实际项目中的意义非常实在。双目相机的基线一旦固定公共视野是双目系统最宝贵的资源被白白裁掉一块太奢侈了。Bouguet用旋转拆半这个简单操作就把视野损失降到了理论最小值。2.3 构造R_rect矩阵让极线严格水平的关键变换光是把两个相机的旋转折中还不够此时两幅图像的极线虽然平行了但不一定水平。要让极线水平需要用一个新的旋转矩阵R_rect把整个坐标系掰正使基线的方向恰好落在新左相机坐标系的X轴上。这个R_rect的构造分三步分别定义三个正交基向量第一步构造x轴方向向量e1。e1应该沿着基线的方向也就是平移向量T的方向归一化e1 T / ||T||这个方向就是校正后左右相机光心的连线方向也就是所有极线平行的方向。第二步构造y轴方向向量e2。e2需要与e1正交同时要落在成像平面内。最简单的做法是将e1与方向z (0, 0, 1)做叉积再归一化e2 [ -T_y, T_x, 0 ] / sqrt(T_x^2 T_y^2)这里T_x、T_y是平移向量T的前两个分量。这个式子的几何意义是取一个垂直于光轴的向量再让它和e1正交。可以理解为把e1掰到和成像平面平行的平面内再找它的垂直方向。第三步构造z轴方向向量e3直接做叉积e3 e1 × e2e1、e2、e3三个向量构成一组正交基R_rect就是把相机坐标系旋转到以e1、e2、e3为坐标轴的那组旋转矩阵e1 T / np.linalg.norm(T) e2 np.array([-T[1], T[0], 0]) / np.sqrt(T[0]**2 T[1]**2) e3 np.cross(e1, e2) R_rect np.vstack([e1, e2, e3])仔细观察这个构造过程会发现它本质上是一种坐标系对齐操作先把基线方向变成世界坐标系的X轴然后让相机的成像平面重新对齐到这个坐标系。这样校正后的图像极线恰好是水平线——这也正是立体匹配算法最舒服的输入。2.4 合成最终旋转矩阵R_l和R_r如何得到有了中间旋转矩阵R_rect和折半旋转r_l、r_r最终左右相机在校正后使用的旋转矩阵就是R_l R_rect r_l R_r R_rect r_r其中r_l是左相机的折半旋转实际上是R_half的逆r_r是右相机的折半旋转。R_rect是全局的坐标系对齐旋转。之后stereoRectify还会根据R_l、R_r以及原始内参计算校正后的投影矩阵P1、P2P1 K1_new R_l [I | -C1] P2 K2_new R_r [I | -C2]在OpenCV的返回值中P1、P2直接给出3x4的投影矩阵形如P [ f 0 cx 0 ] [ 0 f cy 0 ] [ 0 0 1 0 ]注意这里的f、cx、cy是校正后的等效内参和第4列的平移项一起把校正后图像的像素坐标与空间点的三维坐标关联起来。P1和P2的第3行第4列通常一个是0另一个是- f·T_xT_x是基线长度这个差异正好对应视差。2.5 Bouguet算法和Hartley算法的取舍不止一种校正路径聊到这里有必要提一下极线校正的另一个主流思路——Hartley算法。Bouguet算法依赖标定得到的R、T而Hartley算法只需要从图像对应点估计基础矩阵F然后对图像做射影变换即可完成校正。两种算法的核心差异在于对比维度Bouguet算法Hartley算法输入需求需要相机内参和立体标定的R、T只需要一组匹配点估计F矩阵校正效果行对齐精确几何畸变小视野损失可控校正后图像可能存在射影畸变更依赖匹配点质量适用场景标定数据可靠且完整没有标定数据或者相机参数漂移的临时场景我自己的习惯是能标定就一定用Bouguet。Hartley算法看着省事但校正后的图像有时会出现明显的拉伸畸变特别是在图像边缘对于后续的视差计算和深度测量都不友好。Bouguet算法的几何意义清晰、误差可控在工业视觉、机器人导航这些对精度有要求的场景里是更稳妥的选择。3. 完整代码实现从双目标定到行对齐重映射3.1 环境准备OpenCV版本和依赖代码基于OpenCV 4.x和Python 3.8主要用到cv2和numpy。如果跑视差计算还需要可视化的话可以顺手装一个matplotlib但不影响核心功能。pip install opencv-python opencv-contrib-python numpy matplotlib这里的opencv-contrib-python是必要的SGBM等立体匹配算法虽然包含在opencv-python里但一些扩展模块的工具函数在contrib包里更全。为了避免版本踩坑建议直接用4.5.0以上的版本。3.2 第一步棋盘格标定图像的角点提取整个流程的第一步是采集一组左右目同步拍摄的棋盘格图像提取亚像素角点。采集质量直接决定标定精度这一点我在第5部分会展开讲清楚踩坑细节。先定义棋盘格参数和角点提取函数import cv2 import numpy as np import glob import os # 棋盘格内角点数目——注意不是格子数 CHESS_COLS 9 CHESS_ROWS 6 SQUARE_SIZE 25.0 # 棋盘格边长单位mm用于后续三维坐标 # 世界坐标系下的棋盘格角点坐标 objp np.zeros((CHESS_COLS * CHESS_ROWS, 3), np.float32) objp[:, :2] np.mgrid[0:CHESS_COLS, 0:CHESS_ROWS].T.reshape(-1, 2) objp * SQUARE_SIZE # 亚像素角点迭代条件 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) def find_corners(image_path, pattern_size(CHESS_COLS, CHESS_ROWS)): img cv2.imread(image_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: corners_sub cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) return True, corners_sub, img return False, None, img角点提取有两个细节值得注意。第一个是亚像素精化findChessboardCorners返回的角点坐标是像素级精度必须再用cornerSubPix迭代到亚像素级否则标定结果的RMS误差会偏大。窗口大小(11, 11)是经验值太大容易跨越边界太小收敛不稳定。第二个是棋盘格图案一定要用非对称设计或者带白色边框的标定板这样程序才能判断方向否则findChessboardCorners很容易把图案识别反。3.3 第二步单目标定和立体标定的衔接提取完所有标定图的角点之后先做左右各自的单目标定再把结果交给双目标定。left_images sorted(glob.glob(stereo_images/left/*.png)) right_images sorted(glob.glob(stereo_images/right/*.png)) objpoints [] imgpoints_left [] imgpoints_right [] for lpath, rpath in zip(left_images, right_images): okL, cornersL, _ find_corners(lpath) okR, cornersR, _ find_corners(rpath) if okL and okR: objpoints.append(objp) imgpoints_left.append(cornersL) imgpoints_right.append(cornersR) # 用第一对图像获取图像尺寸 sample_img cv2.imread(left_images[0]) h, w sample_img.shape[:2] # 单目标定 retL, K1, D1, rvecsL, tvecsL cv2.calibrateCamera( objpoints, imgpoints_left, (w, h), None, None ) retR, K2, D2, rvecsR, tvecsR cv2.calibrateCamera( objpoints, imgpoints_right, (w, h), None, None ) # 立体标定 retS, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_left, imgpoints_right, K1, D1, K2, D2, (w, h), flagscv2.CALIB_FIX_INTRINSIC ) print(f立体标定重投影误差: {retS:.4f} 像素)stereoCalibrate的flags参数里我用了CALIB_FIX_INTRINSIC也就是固定单目标定得到的内参只优化左右相机的外参R和T。这有几个好处一是减少优化参数数量提高求解稳定性二是不至于因为某一张图的异常点把原本合理的内参拉偏。如果标定板数量充足且图像质量都很高也可以去掉这个flag让算法同时优化内参能拿到更准确的一组参数。立体标定返回的retS是重投影误差单位是像素。这个值在0.1到0.3之间属于良好超过0.5就要提高警惕了后面校正效果大概率会打折扣。3.4 第三步stereoRectify计算校正参数立体标定拿到R、T之后主角终于登场——stereoRectify。# 校正参数计算 R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( K1, D1, K2, D2, (w, h), R, T, flagscv2.CALIB_ZERO_DISPARITY, alpha0.5 )这里两个参数值得专门解释。一个是flags设为CALIB_ZERO_DISPARITY。这个标志会让无穷远处的点在校正后的左右图像中具有相同坐标确切说是视差为0数学上等价于P2的第3行第4列和P1严格对齐。这样校正后的视差不会出现系统性的整体偏移后续深度计算更直观。不加这个flag虽然也可以用但视差图的基线会出现固定偏移调试时很容易让人困惑。另一个是alpha参数取值范围0到1。alpha0时校正后的图像会裁剪掉所有无效区域输出的每张图都是有效像素视野最紧凑但原始图像边缘的部分会被裁掉。alpha1时保留原始图像的所有像素但图像边缘会出现明显黑边无效区域。alpha0.5则是折中。具体设多少取决于你的ROI需求和使用场景。如果在做实时测距视野就是生命用alpha0直接裁干净省掉后续很多麻烦。如果要做可视化展示或者对接其他视觉模块建议alpha保留到0.3到0.5之间保留一些边缘信息以便调试。3.5 第四步initUndistortRectifyMap生成重映射表stereoRectify给出了旋转矩阵R1、R2和投影矩阵P1、P2但还没有真正生成校正后的图像。OpenCV生成校正映射表用initUndistortRectifyMapmap1x, map1y cv2.initUndistortRectifyMap( K1, D1, R1, P1, (w, h), cv2.CV_32FC1 ) map2x, map2y cv2.initUndistortRectifyMap( K2, D2, R2, P2, (w, h), cv2.CV_32FC1 )这一步做的事情是把原始图像的每一个像素通过畸变矫正和旋转投影两步变换映射到校正后图像的像素位置。map1x和map1y就是两张查找表它们的尺寸和原图一样每个像素点存储的是校正后图像的这个坐标应该取原始图像哪个坐标的像素值。这里有个性能上的小坑initUndistortRectifyMap的映射表是浮点型CV_32FC1占用的内存大约是图像尺寸乘以8字节。对于1080p的图像每张映射表大概16MB两个相机加起来约64MB。这在嵌入式平台或者ROS节点里是不可忽视的开销。实际工程中如果相机内参不变映射表完全可以在初始化时算一次、长期复用避免每一帧都重复计算。3.6 第五步remap执行校正并可视化验证映射表生成就绪后remap函数负责执行实际的重采样def rectify_frame(imgL, imgR): rectifiedL cv2.remap(imgL, map1x, map1y, cv2.INTER_LINEAR) rectifiedR cv2.remap(imgR, map2x, map2y, cv2.INTER_LINEAR) return rectifiedL, rectifiedR # 读取一对测试图像 imgL cv2.imread(test/left.png) imgR cv2.imread(test/right.png) rectL, rectR rectify_frame(imgL, imgR) # 可视化左右图水平拼接画等间距水平线 vis np.hstack((rectL, rectR)) h_vis, w_vis vis.shape[:2] for y in range(0, h_vis, 50): cv2.line(vis, (0, y), (w_vis, y), (0, 255, 0), 1) cv2.imwrite(rectify_result.png, vis)在可视化图像上画等距水平线是验证行对齐效果最直观的方法。如果校正成功左图中的棋盘格角点、物体边缘会与右图中对应点在严格相同的水平线上水平线会整齐地穿过左右图像中对应的特征点。如果出现垂直方向的偏移说明校正参数有问题需要回到标定环节排查。remap的插值方式选择上INTER_LINEAR是默认且稳妥的选择。想追求更高图像质量可以用INTER_CUBIC但耗时大约增加1.5到2倍。对于实时视觉系统我通常用INTER_LINEAR视觉差异在普通场景下几乎看不出来。3.7 完整流程串联一步到位的校正函数把上面所有步骤串起来写成一个完整的校正函数def calibrate_and_rectify(left_imgs, right_imgs, pattern_size, square_size, alpha0.5): CHESS_COLS, CHESS_ROWS pattern_size objp np.zeros((CHESS_COLS * CHESS_ROWS, 3), np.float32) objp[:, :2] np.mgrid[0:CHESS_COLS, 0:CHESS_ROWS].T.reshape(-1, 2) objp * square_size criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objpoints, imgpointsL, imgpointsR [], [], [] for lpath, rpath in zip(left_imgs, right_imgs): grayL cv2.cvtColor(cv2.imread(lpath), cv2.COLOR_BGR2GRAY) grayR cv2.cvtColor(cv2.imread(rpath), cv2.COLOR_BGR2GRAY) retL, cornersL cv2.findChessboardCorners(grayL, pattern_size, None) retR, cornersR cv2.findChessboardCorners(grayR, pattern_size, None) if retL and retR: objpoints.append(objp) cornersL cv2.cornerSubPix(grayL, cornersL, (11, 11), (-1, -1), criteria) cornersR cv2.cornerSubPix(grayR, cornersR, (11, 11), (-1, -1), criteria) imgpointsL.append(cornersL) imgpointsR.append(cornersR) h, w grayL.shape retL, K1, D1, _, _ cv2.calibrateCamera(objpoints, imgpointsL, (w, h), None, None) retR, K2, D2, _, _ cv2.calibrateCamera(objpoints, imgpointsR, (w, h), None, None) retS, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpointsL, imgpointsR, K1, D1, K2, D2, (w, h), flagscv2.CALIB_FIX_INTRINSIC ) R1, R2, P1, P2, Q, roi1, roi2 cv2.stereoRectify( K1, D1, K2, D2, (w, h), R, T, flagscv2.CALIB_ZERO_DISPARITY, alphaalpha ) map1x, map1y cv2.initUndistortRectifyMap(K1, D1, R1, P1, (w, h), cv2.CV_32FC1) map2x, map2y cv2.initUndistortRectifyMap(K2, D2, R2, P2, (w, h), cv2.CV_32FC1) def rectify(imgL, imgR): return cv2.remap(imgL, map1x, map1y, cv2.INTER_LINEAR), \ cv2.remap(imgR, map2x, map2y, cv2.INTER_LINEAR) return { K1: K1, D1: D1, K2: K2, D2: D2, R: R, T: T, R1: R1, R2: R2, P1: P1, P2: P2, Q: Q, map1x: map1x, map1y: map1y, map2x: map2x, map2y: map2y, rectify: rectify, retS: retS, roi1: roi1, roi2: roi2, }这个函数返回一个字典里面既包含标定参数也包含可以直接调用的rectify函数。之后处理实时视频流时只需要每帧调用rectify即可不需要重复计算映射表。4. 校正效果的量化验证极线倾角、行对齐与视差精度4.1 重投影误差RMS标定环节的体检报告校正效果好不好第一道检验就是stereoCalibrate返回的重投影误差retS。这个值衡量的是用标定得到的内外参把棋盘格三维角点重新投影到图像平面与检测到的角点坐标之间的平均距离。单位是像素。根据我的实际经验这个值的判断标准大致如下RMS误差像素标定质量后续处理建议小于0.15优秀可直接用于高精度测距0.15 - 0.30良好常规重建和匹配没有压力0.30 - 0.50及格检查标定图像质量可用于粗略匹配大于0.50不合格重新采集标定数据寻找问题根源重投影误差偏大的常见原因有这么几种标定图像过少、角点提取精度不够、标定板弯曲、图像模糊以及一个很隐蔽的原因——棋盘格标定板本身的平整度不够。我踩过一次坑用亚克力板打印的棋盘格厚度不够手持时轻微弯曲标定误差一直在0.6左右徘徊后来换成玻璃基底陶瓷棋盘格才算解决。4.2 极线可视化与量化计算验证行对齐的核心指标画水平线目测只是定性的检查严谨起见还需要量化评估。最直接的方法是在校正后的左右图像中检测同一组特征点比较它们在两幅图像中的y坐标差。用棋盘格角点作为特征点最方便def measure_row_alignment(rectL, rectR, pattern_size(CHESS_COLS, CHESS_ROWS)): grayL cv2.cvtColor(rectL, cv2.COLOR_BGR2GRAY) grayR cv2.cvtColor(rectR, cv2.COLOR_BGR2GRAY) retL, cornersL cv2.findChessboardCorners(grayL, pattern_size, None) retR, cornersR cv2.findChessboardCorners(grayR, pattern_size, None) if not (retL and retR): print(无法在校正图像中检测到完整棋盘格) return None y_diffs [] for i in range(len(cornersL)): yL cornersL[i][0][1] yR cornersR[i][0][1] y_diffs.append(abs(yL - yR)) y_diffs np.array(y_diffs) print(f对应角点y坐标差: 均值{y_diffs.mean():.3f} 像素, f最大{y_diffs.max():.3f} 像素, f标准差{y_diffs.std():.3f} 像素) return y_diffs判断标准上如果同一组角点的平均y坐标差小于0.5像素最大不超过1像素说明校正质量相当好立体匹配可以直接受益。如果平均差在1到3像素之间建议检查标定板采集数量是否充足或者标定图像是否有运动模糊。如果平均差超过3像素问题基本出在标定的R、T不准确上继续调SGBM参数没有太大意义回去重新标定更高效。另外一种更通用的验证方法是极线方程法。用矫正前的相机参数求基础矩阵F然后取左图像任意特征点p_l计算右图像中的极线l F p_l再检查这条极线在右图像中的斜率def check_epipolar_slope(points_l, F): slopes [] for p in points_l: # p必须是齐次坐标 [x, y, 1] line F p # 极线方程: a*x b*y c 0 a, b, c line if abs(b) 1e-8: continue slope -a / b # 斜率 -a/b slopes.append(slope) slopes np.array(slopes) print(f极线斜率: 均值{np.mean(slopes):.6f}, 标准差{np.std(slopes):.6f}) return slopes理想情况下校正后的极线应该接近水平也就是斜率接近0。不过这个方法需要准确的匹配点和F矩阵操作起来步骤多一些。日常项目里用棋盘格角点对比y坐标是最快速可靠的验证手段。4.3 视差图质量评估校正是否真的改善了匹配结果校正做得好不好最终要看视差图说话。用SGBM在行对齐后的图像上计算视差图观察几个关键特征视差连续性同一个平面比如墙面、桌面上视差值应该平滑过渡不应出现大量散乱的噪声点。边缘锐利度物体的轮廓边缘视差变化应该是陡峭的颜色过渡越干脆越好。如果边缘出现几像素宽的渐变带可能是SGBM窗口太大或者校正残差偏大。空洞比例视差图中的无效像素通常显示为黑色或0值占比不能过高。纹理稀疏区域出现空洞是正常的但如果纹理丰富的区域也大量出现空洞多半是行对齐精度不够。我自己常用的快速评估方式是直接统计视差图的无效像素比例再和校正前的结果对比。如果同样的SGBM参数校正后的无效像素比例能下降10到20个百分点说明校正带来的提升非常显著。SGBM计算视差的核心代码如下stereo cv2.StereoSGBM_create( minDisparity0, numDisparities64, blockSize5, P18 * 3 * 5 ** 2, P232 * 3 * 5 ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32 ) disparity stereo.compute(rectL_gray, rectR_gray).astype(np.float32) / 16.0注意SGBM输出的视差是定点数除以16才得到真正的视差值。这里的P1和P2是平滑惩罚系数控制视差图的平滑程度。P2通常设成P1的4倍左右数值太小视差图全是噪点太大则物体边缘被过度平滑。4.4 深度精度验证用Q矩阵把视差转成三维坐标校正的终极目标是恢复深度Q矩阵就是连接视差与三维坐标的桥梁。stereoRectify返回的Q是一个4x4矩阵形式如下Q [ 1 0 0 -c_x ] [ 0 1 0 -c_y ] [ 0 0 0 f ] [ 0 0 -1/T_x (c_x - c_x)/T_x ]给定校正后的像素坐标(x, y)和视差d三维坐标通过下面公式还原def depth_from_disparity(disp, Q, xNone, yNone): if x is not None and y is not None: # 单点重建 point_3d Q np.array([x, y, disp, 1.0]) point_3d / point_3d[3] return point_3d[:3] # 整幅图重建 points_3d cv2.reprojectImageTo3D(disp, Q) return points_3d在使用reprojectImageTo3D时有两点需要特别注意。第一输入的disp必须是真正的浮点视差不是SGBM输出的定点整数所以要先除以16。第二Q矩阵中的c_x、c_y是校正后主点坐标f是校正后的焦距这些值都在P1、P2矩阵的前三列里不需要手动输入OpenCV在stereoRectify里已经根据alpha参数自动算好了。验证深度精度的方法也很简单拿一个已知距离的目标比如距离相机1米远的标定板算一下重建出的三维点的Z坐标和真实距离对比。误差在1%到2%以内对整个系统来说就是健康的。如果误差明显偏大除了校正质量还要检查基线长度T_x的值是否与真实安装尺寸一致。T_x在标定中会从图像数据里估算出来但如果相机的实际物理安装参数和标定数据存在系统性偏差深度精度就会受到影响。5. 实战中的坑标定采集、参数选择与常见问题排查5.1 标定图像采集质量远比数量重要极线校正这件事前面所有数学过程都很漂亮但实际效果却80%取决于标定数据的采集质量。这一块是新手最容易忽略、也最容易踩坑的地方。第一图像数量并不是越多越好。我见过有人一口气拍一两百对图像结果程序跑了很久标定误差还是很大。原因在于图像之间高度相似信息冗余严重。合理的做法是拍20到30对左右关键是要覆盖足够多样的角度左右倾斜、上下俯仰、远近变化、图像四角位置都要兼顾。棋盘格在画面中的位置越分散标定求解的约束越充分。第二棋盘格在画面中的尺寸要合适。标定板占画面面积的比例最好在20%到50%之间如果太小角点提取的亚像素精度会受影响如果太大棋盘格超出画面边缘边缘处的角点提取也会不稳定。我一般先粗调相机位置确保棋盘格完整出现在画面内再微调角度。第三避免运动模糊和光照反射。标定过程中相机或标定板有微小晃动角点坐标就会偏掉重投影误差直接飙升。拍摄时标定板要尽量静止用三脚架固定相机最稳妥。光照方面避免强光源在棋盘格上形成镜面反射否则部分角点会被高光淹没导致检测不到或者定位偏移。第四也是最容易忽略的一点——标定板的不对称性。我之前用纯黑白棋盘格出错问题不在提取而在方向判定。如果棋盘格是严格的中心对称图案程序可能把左右方向搞混导致标定结果前后矛盾。现在市面上常见的标定板都有一个白色边框或者非对称圆点图案就是为了解决这个问题。自己打印标定板时一定要在棋盘格一侧留出明显的不对称白色区域。5.2 stereoCalibrate的flags参数什么时候该用FIX_INTRINSIC在stereoCalibrate的flags参数选择上我见过不少项目组在这里纠结。其实逻辑很简单如果单目标定已经用了充足的高质量图像得到的内参可信度高就加上CALIB_FIX_INTRINSIC只优化外参R、T。这样求解更稳不容易陷入局部极小。如果左右相机内参差异较大或者单目标定的图像数量不够可以让算法同时优化内参。此时把flag留空即可算法会以单目标定结果为初值继续迭代。还有一种折中方案是使用CALIB_USE_INTRINSIC_GUESS。这个flag的含义是以传入的K、D作为初始值进行优化。实际效果通常介于两者之间如果不太确定该选哪个从FIX_INTRINSIC开始是最安全的。另外如果相机硬件支持设置固定焦距建议在标定前把焦距设置成和实际使用一致标定后不要再变焦距。工业相机替换镜头或者改变焦距后内参必须重新标定这个看起来像常识但在项目节奏紧张时特别容易犯。5.3 alpha参数选择与ROI裁剪视野和黑边的权衡alpha是stereoRectify中争议最多、也最容易被忽略的参数。它的本质是控制校正后图像保留原始像素的比例。alpha0时校正后的图像没有黑边所有像素都是有效像素但图像边缘部分会被裁剪。alpha1时原始图像所有像素都会保留在输出中但边缘会出现黑边。alpha0.5是两者之间的折中。应用场景决定参数选择测距类应用需要把所有有效像素都用于计算选alpha0配合validPixROI1和validPixROI2指定的矩形区域直接裁剪到ROI范围。可视化、人机交互类应用保留一点黑边反而有助于人类判断图像是否经过校正选alpha0.3到0.5。需要拼接全景或做后续特征匹配的场景尽可能保留原始信息选alpha1。validPixROI1和validPixROI2是stereoRectify返回的两个矩形区域表示校正后图像中有效像素的最小包围盒。alpha不为0时可以再用这两个ROI二次裁剪去掉大部分黑边保持视野和整洁的平衡。5.4 帧同步问题双目采集的时间一致性这个坑在实时双目系统里几乎必踩。极线校正的前提是左右图像必须拍摄的是同一时刻的场景。如果左相机和右相机的图像存在几毫秒的时间差画面中的运动物体在校正后依然无法正确匹配。硬件上工业相机通常支持外触发模式用硬件信号同时触发左右相机采集时间差可以控制在微秒级。如果是USB摄像头或者普通网络摄像头没有硬件同步能力就必须做软件层面的时间戳对齐。最简单的方案是采集时给每一帧打上系统时间戳匹配最近时间戳的左右帧为一对。如果相机的帧率和曝光时间有差异宁可降低帧率也要保证时间戳对齐精度。在测试阶段我习惯先在静止场景下做标定和校正验证确保几何关系正确再切换到动态场景测试帧同步。这样能有效分离校正不准和时间不同步两类问题排查效率会高很多。5.5 畸变矫正的边界效应图像边缘的拉伸失真Bouguet校正结合畸变矫正后图像边缘往往会出现明显的拉伸变形尤其在使用广角镜头或者鱼眼镜头时更严重。这种变形虽然不影响极线水平这个核心目标但是会让边缘区域的图像看起来弯曲影响视觉效果也会让边缘处的角点提取、特征匹配轻微失真。处理这个问题的经验是在标定阶段就留意畸变系数的大小。如果D1、D2中的k1、k2绝对值很大超过0.3说明镜头畸变严重需要重点关注边缘区域的校正效果。此时可以适当缩小实际使用的图像区域只取畸变较小的中心区域进行计算。在实时项目中这种方法比无脑保留全部图像更好用计算量还更小。另外在不改变镜头参数的前提下重新对焦后也要重新标定。很多人换了对焦环就忘了重新标定导致内参失效。这个细节虽然不起眼但在实际项目交付时常常是深度测量偏差的头号原因。5.6 立体匹配对校正残差的容忍度最后说一个容易被忽视的认知问题。很多人以为极线校正必须做到像素级完美才能跑立体匹配其实不然。SGBM算法对校正残差是有一定容忍度的blockSize窗口越大容错能力越强但深度边缘的精度会下降。根据我的实测平均行对齐误差在0.5像素以内时用blockSize5的SGBM跑出来的视差图质量已经相当不错。即使平均误差到1像素左右把blockSize调到7到9视差图仍然可以接受只是细节会损失一些。所以当你发现视差图边缘变糊时可以先检查行对齐误差而不是急着去调SGBM参数。根源在校正却花大量时间调匹配参数这是我见过最普遍的低效调试方式。反过来也有一种情况就是校正误差已经很小但视差图依然糟糕那就需要考虑SGBM的P1、P2惩罚系数、uniquenessRatio、speckleRange这些参数了。把这两类问题的排查顺序理顺项目的调参效率会提升一大截。6. 基于校正后的深度恢复Q矩阵与三维坐标重建6.1 Q矩阵的结构解析从视差到深度的一步之遥极线校正的价值不只是让匹配更好跑还在于校正后的几何关系极其简单——深度Z可以直接由视差d反推出来。校正后左右相机的光轴平行视觉上可以看作一个理想的平行双目系统此时存在简单关系Z (f * T_x) / d其中f是校正后的等效焦距T_x是基线长度d是视差。这个关系式很多做视觉的人都知道但在代码实现里通常不是直接手写这个公式而是用stereoRectify返回的Q矩阵统一处理。Q矩阵的含义是把齐次坐标下的像素-视差映射成三维坐标[X, Y, Z, W]^T Q * [x, y, disparity, 1]^T最终的三维坐标是(X/W, Y/W, Z/W)。这里的W做归一化非常重要很多新手在这里踩坑——忘了除以W导致深度输出大得离谱。6.2 利用reprojectImageTo3D重建整幅点云OpenCV提供现成的函数reprojectImageTo3D完成整幅图像的深度恢复# 将SGBM输出的定点视差转成浮点视差 disparity disparity_raw.astype(np.float32) / 16.0 # 使用Q矩阵重建三维点云 points_3d cv2.reprojectImageTo3D(disparity, Q, handleMissingValuesTrue) # points_3d的shape和视差图一致每个像素存[x, y, z]坐标 # 无效像素视差为0或者负值对应的z值通常是一个很大的负值handleMissingValuesTrue时OpenCV会把无效像素的坐标设为(0, 0, 0)后续处理时可以方便地过滤掉。如果要导出点云文件PLY格式可以用Open3D或者PCL库把points_3d和彩色图对齐后保存。这里提醒一个坐标方向的坑。reprojectImageTo3D输出的坐标系以左相机光心为原点Z轴指向场景前方深度方向X轴向右Y轴向下。这个坐标系和常见的ROS相机坐标系Z向前、X向右、Y向下基本一致但和OpenGL/OpenCV的像素坐标系Y向下不完全相同。做可视化或者机器人导航时一定要先确认坐标系约定否则点云旋转后看起来面目全非。6.3 深度精度的影响因素拆解基线、焦距与视差量化深度精度并不只是取决于校正质量还和设备的物理参数直接相关。对公式Z f * T_x / d求导可以得到深度误差的近似表达式ΔZ ≈ (Z^2 / (f * T_x)) * Δd这说明了两件事深度误差和距离的平方成正比。目标越远深度误差增长得越快。这不是算法问题是三角测量的物理规律。深度误差和基线长度T_x、焦距f成反比。基线越长、焦距越大同样视差误差下深度精度越高。SGBM的视差输出精度一般是1/16像素即sub-pixel interpolation假设视差误差Δd 0.1像素对于一个基线120mm、焦距700像素的双目系统在2米处的深度误差约为ΔZ ≈ (2000^2 / (700 * 120)) * 0.1 ≈ 4.76mm这个误差量级在近距离测距场景下表现不错。但如果你把目标放到10米开外误差会膨胀到约119mm直接超出很多应用的范围。所以做双目测距之前先搞清楚目标距离范围再选择合适的基线和焦距这个步骤比后面调任何参数都重要。Bouguet算法解决的是极线校正问题它能让立体匹配在给定的硬件条件下充分发挥潜力但物理硬件的极限是无法通过算法突破的。