1. 项目概述从“拍个照”到“看懂世界”的数学语言我们每天都在用手机、相机拍照记录生活分享瞬间。但你是否想过当你按下快门相机是如何将三维的现实世界准确地“翻译”成一张二维照片的这背后就是一套精密的数学模型在起作用。今天要聊的“相机内参、外参、畸变系数”正是这套模型的核心词汇。它们不是枯燥的公式而是连接物理世界与数字图像的桥梁是计算机视觉、机器人导航、三维重建、增强现实等前沿技术的基石。简单来说内参决定了相机“眼睛”本身的特性焦距、成像中心外参描述了相机“眼睛”在空间中的位置和朝向而畸变系数则刻画了相机“眼睛”的“近视”或“散光”等光学缺陷。理解它们你就能从“拍照的人”变成“理解成像原理的人”无论是想自己写个图像处理程序还是想深入理解自动驾驶如何“看”路都绕不开这三个概念。这篇文章我就以一个从业者的角度掰开揉碎了讲讲这三兄弟到底是什么怎么来的以及在实际项目中如何搞定它们。2. 核心概念深度拆解三兄弟各司其职2.1 相机内参相机的“身份证”你可以把相机内参想象成相机的“身份证”它只和相机自身的物理结构有关与相机放在哪里、朝哪个方向拍无关。它描述的是三维空间中的点是如何投影到相机内部那个二维的成像平面比如CMOS传感器上的。核心组成通常用一个3x3的矩阵K表示焦距 (fx, fy)这是内参的灵魂。它决定了相机的“视野”有多宽。fx和fy分别代表在图像x轴和y轴方向上的焦距以像素为单位。为什么有两个因为理论上相机传感器的像素不一定是完美的正方形可能略有拉伸所以两个方向的焦距需要分别标定。焦距值越大视角越窄远处的物体在图像上显得越大类似长焦镜头焦距值越小视角越广类似广角镜头。主点坐标 (cx, cy)理论上三维空间坐标通过光心投影应该正好落在图像的正中心。但实际由于镜头和传感器装配的微小偏差这个投影中心会偏移。(cx, cy)就是这个实际成像中心点在图像像素坐标系中的坐标。它通常非常接近图像的中心例如对于一张1920x1080的图中心大约是(960, 540)但细微的差别会对高精度测量产生影响。倾斜因子 (s)这是一个非理想参数描述图像x轴和y轴不垂直的程度。对于绝大多数现代数码相机和手机这个值非常接近于0通常可以忽略。但在一些早期的或低端的传感器上可能需要考虑。一个典型的内参矩阵K长这样K [ fx, s, cx; 0, fy, cy; 0, 0, 1 ]这个矩阵的作用是将相机坐标系下的一个三维点[X_c, Y_c, Z_c]^T单位通常是毫米转换到图像像素坐标系[u, v]^T。转换公式是Z_c * [u, v, 1]^T K * [X_c, Y_c, Z_c]^T。记住内参是相机的固有属性一旦标定好在镜头焦距不变的情况下对于定焦镜头或手机主摄它可以反复使用。实操心得在OpenCV等库中标定得到的内参fx, fy的单位是像素。这意味着如果你知道相机传感器的物理尺寸例如单个像素的宽度dx和高度dy单位毫米那么物理焦距f单位毫米可以通过fx f / dx和fy f / dy换算。但通常我们直接用像素焦距就够了因为后续的像素坐标运算更方便。2.2 相机外参相机的“时空坐标”如果说内参是相机的“身份证”那外参就是相机在某个特定时刻、特定场景下的“打卡记录”。它回答了“相机在哪朝哪看”的问题。外参描述了世界坐标系一个我们自定义的、固定的三维坐标系到相机坐标系的刚体变换。核心组成用一个3x3的旋转矩阵R和一个3x1的平移向量t表示旋转矩阵 R这是一个单位正交矩阵R^T * R I且det(R) 1。它定义了相机坐标系相对于世界坐标系的朝向。你可以把它理解为相机绕X, Y, Z轴旋转了多少度。更常用的表示法是罗德里格斯旋转向量一个3x1向量其方向代表旋转轴模长代表旋转角度。OpenCV标定输出通常就是这种形式因为它更紧凑只有3个自由度。平移向量 t这是一个3x1的向量表示相机坐标系原点在世界坐标系下的坐标。简单说就是相机在世界中的位置。外参的作用是将世界坐标系下的点[X_w, Y_w, Z_w]^T转换到上一节提到的相机坐标系[X_c, Y_c, Z_c]^T。转换公式是[X_c, Y_c, Z_c, 1]^T [R | t] * [X_w, Y_w, Z_w, 1]^T。这里的[R | t]是一个3x4的矩阵由R和t拼接而成。注意事项外参是针对每一张标定图片或每一个相机位姿单独计算的。当你移动相机外参就变了但内参只要不调焦距保持不变。在视觉SLAM同步定位与地图构建中我们就是在持续地估计相机随时间变化的外参即相机的运动轨迹。2.3 畸变系数给完美模型打上“现实补丁”前面介绍的内参和外参基于的是理想的针孔相机模型光线直线传播完美成像。但现实中的镜头由于设计和制造工艺都存在不同程度的畸变就像人眼有近视、散光一样。畸变系数就是用来修正这种光学缺陷的参数。主要分为两类径向畸变这是最主要、最常见的畸变由镜头形状导致。光线在远离透镜中心的地方比靠近中心的地方更加弯曲。桶形畸变图像边缘向内弯曲像通过一个桶看出去。常见于广角镜头。枕形畸变图像边缘向外弯曲。常见于长焦镜头。数学上通常用k1, k2, k3, ...来建模。k1对畸变贡献最大k2次之k3在畸变极大时如鱼眼镜头才需要。修正公式是x_corrected x * (1 k1*r^2 k2*r^4 k3*r^6)其中r是点距离图像中心的归一化距离。切向畸变由透镜制造和安装误差导致透镜与成像平面不平行。数学上用p1, p2来建模。修正公式是x_corrected x [2*p1*x*y p2*(r^22*x^2)]。一套完整的畸变系数通常是一个5维或更多维的向量[k1, k2, p1, p2, k3]。在OpenCV中这个向量被称为distCoeffs。畸变修正的流程是先通过内参将像素坐标(u, v)转换到归一化相机平面去掉焦距和主点影响得到(x, y)。然后对这个(x, y)应用上述畸变修正公式得到修正后的(x_corrected, y_corrected)。最后再用内参将修正后的坐标映射回像素坐标。或者反过来在知道理想像素坐标时通过迭代等方式求解其对应的、带有畸变的原始传感器坐标。常见问题很多新手会困惑标定板角点检测到的坐标是已经畸变的还是理想的答案是我们检测到的是图像上实际拍摄到的、带有畸变的角点像素坐标。标定过程就是通过大量这样的观测数据反向求解出内参、外参和畸变系数使得它们能最好地解释“为什么三维的角点世界坐标会投影到这些畸变的像素点上”。求解后我们就可以用这些参数去校正其他图像消除畸变。3. 完整标定流程与核心环节实现理解了概念接下来就是实战如何得到一台相机的这些参数这个过程叫做“相机标定”。最经典、最常用的方法是张正友标定法Zhang‘s Method它因为只需要一个平面棋盘格标定板简便易行而广为流传。3.1 工具与材料准备标定板一个打印出来的棋盘格图案。格子必须是黑白相间正方形。尺寸要精确知道例如每个方格边长25.0毫米。纸质打印贴在平整的硬板如亚克力板上效果更好。也可以购买专业的陶瓷或玻璃标定板精度更高。相机需要标定的相机。如果是手机最好使用专业模式锁定焦距、白平衡和曝光避免拍摄过程中参数变化。软件OpenCV库是绝对的主力。它提供了完整的标定函数cv::calibrateCamera。3.2 数据采集拍好照片是成功的一半这是最关键也最容易出错的步骤。你需要拍摄一组通常15-25张标定板的照片。操作要点多角度将标定板在相机视野内摆放不同的位置和姿态。要有平放的、竖起来的、倾斜的、靠近画面边缘的。确保标定板覆盖图像的各个区域中心、四角、四边。全覆盖尽量让标定板在有些照片中充满画面有些只占一部分。不同的距离和角度有助于更好地估计焦距和畸变。清晰稳定对焦清晰避免运动模糊。光照均匀避免反光和阴影遮盖角点。棋盘格完整确保整张棋盘格都在画面内不要被裁剪。实操心得我习惯采集20-25张图片。太少可能导致标定结果不稳定尤其是畸变系数太多则增加计算量收益递减。拍摄时自己心里默念“上下左右远近正斜”八个字作为姿态覆盖的检查清单。3.3 角点检测让程序“看到”棋盘格采集好图像后我们需要用程序自动检测每张图片中棋盘格的内角点黑白方格的交点的像素坐标。使用OpenCV的关键步骤import cv2 import numpy as np # 定义棋盘格尺寸内角点数量例如9x6表示有9列6行内角点 pattern_size (9, 6) # 注意是内角点不是方格数 # 准备存储三维世界坐标和二维图像坐标的容器 obj_points [] # 三维世界坐标标定板坐标系 img_points [] # 二维图像坐标检测到的角点 # 生成标定板的三维世界坐标假设Z0因为标定板是平面 objp np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) # 乘以每个格子的实际物理尺寸例如0.025米 square_size 0.025 objp * square_size for img_path in image_paths: img cv2.imread(img_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 查找角点 ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素级角点精确化提高精度 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_refined cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria) img_points.append(corners_refined) obj_points.append(objp) # 每张图对应的世界坐标都是一样的因为标定板没动 # 可视化可选 cv2.drawChessboardCorners(img, pattern_size, corners_refined, ret) cv2.imshow(Corners, img) cv2.waitKey(500) cv2.destroyAllWindows()注意事项cv2.findChessboardCorners的返回值ret是关键。如果为False说明这张图没检测到完整棋盘格需要剔除或重新拍摄。亚像素优化cornerSubPix能显著提升角点定位精度是提升标定精度的必要步骤。3.4 参数计算与优化一键求解当所有图像的角点数据都准备好后就可以调用核心标定函数了。# 初始内参猜测如果不知道可以设为NoneOpenCV会估算 # 通常可以简单设为fxfy图像宽度cx图像宽度/2cy图像高度/2 h, w gray.shape[:2] initial_camera_matrix np.array([[w, 0, w/2], [0, h, h/2], [0, 0, 1]], dtypenp.float32) # 执行标定 ret, camera_matrix, dist_coeffs, rvecs, tvecs cv2.calibrateCamera( obj_points, img_points, (w, h), initial_camera_matrix, None, flagscv2.CALIB_FIX_PRINCIPAL_POINT # 可以添加各种flag控制标定过程 ) print(内参矩阵 K:\n, camera_matrix) print(\n畸变系数 (k1, k2, p1, p2, k3):\n, dist_coeffs.ravel()) # rvecs, tvecs 是每张图片的外参旋转向量和平移向量这个函数内部使用了最大似然估计等优化算法同时求解出最优的内参矩阵camera_matrix、畸变系数dist_coeffs以及每张标定图片对应的外参rvecs和tvecs分别是旋转向量和平移向量。3.5 重投影误差评估标定质量的金标准标定函数返回的ret值就是重投影误差的均方根RMS。它是评估标定精度最直接的指标。什么是重投影误差我们用标定得到的内参、畸变和每张图的外参将标定板的三维世界坐标点重新投影到二维图像上得到一组“计算出的像素坐标”。然后将这组坐标与我们实际检测到的角点像素坐标进行比较计算它们之间的欧氏距离。这个距离的平均值就是重投影误差。误差值解读通常RMS重投影误差小于0.5像素可以认为是优秀的标定结果在0.5到1.0像素之间是良好1.0到2.0像素可能需要检查数据或重新标定大于2.0像素标定结果很可能不可靠。如何降低误差提高角点检测精度确保标定板平整、光照均匀并使用亚像素优化。增加有效图片数量和质量覆盖更多姿态剔除模糊或检测不全的图片。使用更复杂的模型如果畸变很大如鱼眼镜头需要使用OpenCV的鱼眼镜头标定模型 (cv2.fisheye.calibrate) 而不是普通模型。4. 参数的实际应用与图像校正标定出参数后我们就能做两件核心的事校正图像和进行三维测量。4.1 图像去畸变还你一个“正直”的世界这是最直观的应用。利用标定得到的畸变系数和内参我们可以将拍摄的畸变图像校正为无畸变的图像。# 标定后对新图像进行去畸变 new_img cv2.imread(test_image.jpg) h, w new_img.shape[:2] # 获取最优的新相机矩阵可以选择裁剪掉校正后图像的黑边 new_camera_matrix, roi cv2.getOptimalNewCameraMatrix(camera_matrix, dist_coeffs, (w,h), 1, (w,h)) # 方法1使用cv2.undistort直接校正 undistorted_img cv2.undistort(new_img, camera_matrix, dist_coeffs, None, new_camera_matrix) # 方法2先计算映射关系再重映射适用于需要多次校正同一相机图像的情况效率更高 mapx, mapy cv2.initUndistortRectifyMap(camera_matrix, dist_coeffs, None, new_camera_matrix, (w,h), cv2.CV_32FC1) undistorted_img cv2.remap(new_img, mapx, mapy, cv2.INTER_LINEAR) # 根据ROI裁剪黑边可选 x, y, w_roi, h_roi roi undistorted_img undistorted_img[y:yh_roi, x:xw_roi]校正后原本弯曲的直线会变直这对于视觉测量、SLAM等应用至关重要。4.2 三维测量与姿态估计从2D反推3D有了精确的内参和畸变系数我们就可以进行单目视觉的三维测量需要已知物体尺寸或姿态估计PnP问题。示例已知一个物体的几个特征点的世界坐标和它们在图像中的像素坐标已去畸变求解物体相对于相机的姿态外参。# 假设我们有4个或更多已知3D-2D对应点 object_points_3d np.array([...], dtypenp.float32) # 世界坐标 image_points_2d np.array([...], dtypenp.float32) # 去畸变后的像素坐标 # 使用SolvePnP求解姿态 success, rotation_vector, translation_vector cv2.solvePnP( object_points_3d, image_points_2d, camera_matrix, None # 畸变已校正此处为None ) # rotation_vector, translation_vector 就是物体在当前图像中的外参相对于相机这个功能是增强现实AR中将虚拟物体准确“贴”在真实世界中的核心技术也是机器人抓取中判断物体位置和朝向的关键。5. 常见问题、排查技巧与高级话题5.1 标定结果不理想自查清单重投影误差过大1.5像素检查标定板打印是否清晰方格是否正方形尺寸输入是否正确板子是否平整检查图像是否有运动模糊是否有强烈反光或阴影覆盖角点角点检测是否全部成功且准确可视化检查drawChessboardCorners的结果检查数据覆盖姿态是否足够多样是否缺少边缘或倾斜角度的图片尝试调整标定flags例如对于主点位置不确定的相机不要固定主点 (cv2.CALIB_FIX_PRINCIPAL_POINT)。标定结果不稳定每次运行结果差异大增加图片数量最少15张推荐20-30张高质量图片。使用更稳定的角点检测确保环境光照恒定避免高光比。可以尝试在标定板周围打柔光。剔除坏数据计算每张图片的单独重投影误差误差明显大于平均值的图片通常是检测不准或模糊的应该被剔除然后重新标定。去畸变后图像边缘出现严重拉伸或模糊这通常是因为镜头畸变很大特别是广角镜头校正时为了保留所有像素需要对边缘进行大量拉伸插值。使用getOptimalNewCameraMatrix并设置alpha参数如0.5它会返回一个能保留大部分有效区域并自动裁剪黑边的新内参。权衡alpha1保留所有像素但有黑边alpha0裁剪所有无效像素视野可能变小。5.2 手机摄像头与工业相机的标定差异手机摄像头通常是自动对焦、自动白平衡。必须锁定焦距使用专业模式或第三方App锁定对焦在无穷远或一个固定距离。变焦镜头多摄每个焦距都需要单独标定。手机镜头畸变通常控制得较好k3以后的高阶项往往不需要。工业相机通常为定焦镜头参数稳定。传感器更大像素尺寸更精确。标定板需要更高精度如陶瓷板。需要注意镜头的接口C口、CS口和法兰距确保成像面与标定板平行度。5.3 走向更复杂的模型鱼眼镜头与双目标定鱼眼镜头标定当视角超过180度径向畸变模型k1, k2, k3就不够用了。需要使用专门的鱼眼镜头模型如Kannala-Brandt模型。OpenCV提供了cv2.fisheye子模块标定流程类似但函数接口和畸变参数含义不同。双目相机标定除了分别标定左右相机的内参和畸变单目标定核心是立体标定目的是求出左右相机之间的相对位置和姿态关系旋转矩阵R和平移向量t这个t的模长就是基线距离。OpenCV的cv2.stereoCalibrate可以完成。之后可以进行立体校正和三维重建。理解相机内参、外参和畸变系数就像是拿到了打开计算机视觉世界大门的钥匙。从简单的图像校正到复杂的SLAM和AR这套坐标系转换和镜头建模的框架无处不在。标定过程虽然有些繁琐但它是后续所有高精度视觉应用的前提。多拍、多试、多分析重投影误差你就能为自己的相机建立一份精准的“视觉档案”。
1. 项目概述从“拍个照”到“看懂世界”的数学语言我们每天都在用手机、相机拍照记录生活分享瞬间。但你是否想过当你按下快门相机是如何将三维的现实世界准确地“翻译”成一张二维照片的这背后就是一套精密的数学模型在起作用。今天要聊的“相机内参、外参、畸变系数”正是这套模型的核心词汇。它们不是枯燥的公式而是连接物理世界与数字图像的桥梁是计算机视觉、机器人导航、三维重建、增强现实等前沿技术的基石。简单来说内参决定了相机“眼睛”本身的特性焦距、成像中心外参描述了相机“眼睛”在空间中的位置和朝向而畸变系数则刻画了相机“眼睛”的“近视”或“散光”等光学缺陷。理解它们你就能从“拍照的人”变成“理解成像原理的人”无论是想自己写个图像处理程序还是想深入理解自动驾驶如何“看”路都绕不开这三个概念。这篇文章我就以一个从业者的角度掰开揉碎了讲讲这三兄弟到底是什么怎么来的以及在实际项目中如何搞定它们。2. 核心概念深度拆解三兄弟各司其职2.1 相机内参相机的“身份证”你可以把相机内参想象成相机的“身份证”它只和相机自身的物理结构有关与相机放在哪里、朝哪个方向拍无关。它描述的是三维空间中的点是如何投影到相机内部那个二维的成像平面比如CMOS传感器上的。核心组成通常用一个3x3的矩阵K表示焦距 (fx, fy)这是内参的灵魂。它决定了相机的“视野”有多宽。fx和fy分别代表在图像x轴和y轴方向上的焦距以像素为单位。为什么有两个因为理论上相机传感器的像素不一定是完美的正方形可能略有拉伸所以两个方向的焦距需要分别标定。焦距值越大视角越窄远处的物体在图像上显得越大类似长焦镜头焦距值越小视角越广类似广角镜头。主点坐标 (cx, cy)理论上三维空间坐标通过光心投影应该正好落在图像的正中心。但实际由于镜头和传感器装配的微小偏差这个投影中心会偏移。(cx, cy)就是这个实际成像中心点在图像像素坐标系中的坐标。它通常非常接近图像的中心例如对于一张1920x1080的图中心大约是(960, 540)但细微的差别会对高精度测量产生影响。倾斜因子 (s)这是一个非理想参数描述图像x轴和y轴不垂直的程度。对于绝大多数现代数码相机和手机这个值非常接近于0通常可以忽略。但在一些早期的或低端的传感器上可能需要考虑。一个典型的内参矩阵K长这样K [ fx, s, cx; 0, fy, cy; 0, 0, 1 ]这个矩阵的作用是将相机坐标系下的一个三维点[X_c, Y_c, Z_c]^T单位通常是毫米转换到图像像素坐标系[u, v]^T。转换公式是Z_c * [u, v, 1]^T K * [X_c, Y_c, Z_c]^T。记住内参是相机的固有属性一旦标定好在镜头焦距不变的情况下对于定焦镜头或手机主摄它可以反复使用。实操心得在OpenCV等库中标定得到的内参fx, fy的单位是像素。这意味着如果你知道相机传感器的物理尺寸例如单个像素的宽度dx和高度dy单位毫米那么物理焦距f单位毫米可以通过fx f / dx和fy f / dy换算。但通常我们直接用像素焦距就够了因为后续的像素坐标运算更方便。2.2 相机外参相机的“时空坐标”如果说内参是相机的“身份证”那外参就是相机在某个特定时刻、特定场景下的“打卡记录”。它回答了“相机在哪朝哪看”的问题。外参描述了世界坐标系一个我们自定义的、固定的三维坐标系到相机坐标系的刚体变换。核心组成用一个3x3的旋转矩阵R和一个3x1的平移向量t表示旋转矩阵 R这是一个单位正交矩阵R^T * R I且det(R) 1。它定义了相机坐标系相对于世界坐标系的朝向。你可以把它理解为相机绕X, Y, Z轴旋转了多少度。更常用的表示法是罗德里格斯旋转向量一个3x1向量其方向代表旋转轴模长代表旋转角度。OpenCV标定输出通常就是这种形式因为它更紧凑只有3个自由度。平移向量 t这是一个3x1的向量表示相机坐标系原点在世界坐标系下的坐标。简单说就是相机在世界中的位置。外参的作用是将世界坐标系下的点[X_w, Y_w, Z_w]^T转换到上一节提到的相机坐标系[X_c, Y_c, Z_c]^T。转换公式是[X_c, Y_c, Z_c, 1]^T [R | t] * [X_w, Y_w, Z_w, 1]^T。这里的[R | t]是一个3x4的矩阵由R和t拼接而成。注意事项外参是针对每一张标定图片或每一个相机位姿单独计算的。当你移动相机外参就变了但内参只要不调焦距保持不变。在视觉SLAM同步定位与地图构建中我们就是在持续地估计相机随时间变化的外参即相机的运动轨迹。2.3 畸变系数给完美模型打上“现实补丁”前面介绍的内参和外参基于的是理想的针孔相机模型光线直线传播完美成像。但现实中的镜头由于设计和制造工艺都存在不同程度的畸变就像人眼有近视、散光一样。畸变系数就是用来修正这种光学缺陷的参数。主要分为两类径向畸变这是最主要、最常见的畸变由镜头形状导致。光线在远离透镜中心的地方比靠近中心的地方更加弯曲。桶形畸变图像边缘向内弯曲像通过一个桶看出去。常见于广角镜头。枕形畸变图像边缘向外弯曲。常见于长焦镜头。数学上通常用k1, k2, k3, ...来建模。k1对畸变贡献最大k2次之k3在畸变极大时如鱼眼镜头才需要。修正公式是x_corrected x * (1 k1*r^2 k2*r^4 k3*r^6)其中r是点距离图像中心的归一化距离。切向畸变由透镜制造和安装误差导致透镜与成像平面不平行。数学上用p1, p2来建模。修正公式是x_corrected x [2*p1*x*y p2*(r^22*x^2)]。一套完整的畸变系数通常是一个5维或更多维的向量[k1, k2, p1, p2, k3]。在OpenCV中这个向量被称为distCoeffs。畸变修正的流程是先通过内参将像素坐标(u, v)转换到归一化相机平面去掉焦距和主点影响得到(x, y)。然后对这个(x, y)应用上述畸变修正公式得到修正后的(x_corrected, y_corrected)。最后再用内参将修正后的坐标映射回像素坐标。或者反过来在知道理想像素坐标时通过迭代等方式求解其对应的、带有畸变的原始传感器坐标。常见问题很多新手会困惑标定板角点检测到的坐标是已经畸变的还是理想的答案是我们检测到的是图像上实际拍摄到的、带有畸变的角点像素坐标。标定过程就是通过大量这样的观测数据反向求解出内参、外参和畸变系数使得它们能最好地解释“为什么三维的角点世界坐标会投影到这些畸变的像素点上”。求解后我们就可以用这些参数去校正其他图像消除畸变。3. 完整标定流程与核心环节实现理解了概念接下来就是实战如何得到一台相机的这些参数这个过程叫做“相机标定”。最经典、最常用的方法是张正友标定法Zhang‘s Method它因为只需要一个平面棋盘格标定板简便易行而广为流传。3.1 工具与材料准备标定板一个打印出来的棋盘格图案。格子必须是黑白相间正方形。尺寸要精确知道例如每个方格边长25.0毫米。纸质打印贴在平整的硬板如亚克力板上效果更好。也可以购买专业的陶瓷或玻璃标定板精度更高。相机需要标定的相机。如果是手机最好使用专业模式锁定焦距、白平衡和曝光避免拍摄过程中参数变化。软件OpenCV库是绝对的主力。它提供了完整的标定函数cv::calibrateCamera。3.2 数据采集拍好照片是成功的一半这是最关键也最容易出错的步骤。你需要拍摄一组通常15-25张标定板的照片。操作要点多角度将标定板在相机视野内摆放不同的位置和姿态。要有平放的、竖起来的、倾斜的、靠近画面边缘的。确保标定板覆盖图像的各个区域中心、四角、四边。全覆盖尽量让标定板在有些照片中充满画面有些只占一部分。不同的距离和角度有助于更好地估计焦距和畸变。清晰稳定对焦清晰避免运动模糊。光照均匀避免反光和阴影遮盖角点。棋盘格完整确保整张棋盘格都在画面内不要被裁剪。实操心得我习惯采集20-25张图片。太少可能导致标定结果不稳定尤其是畸变系数太多则增加计算量收益递减。拍摄时自己心里默念“上下左右远近正斜”八个字作为姿态覆盖的检查清单。3.3 角点检测让程序“看到”棋盘格采集好图像后我们需要用程序自动检测每张图片中棋盘格的内角点黑白方格的交点的像素坐标。使用OpenCV的关键步骤import cv2 import numpy as np # 定义棋盘格尺寸内角点数量例如9x6表示有9列6行内角点 pattern_size (9, 6) # 注意是内角点不是方格数 # 准备存储三维世界坐标和二维图像坐标的容器 obj_points [] # 三维世界坐标标定板坐标系 img_points [] # 二维图像坐标检测到的角点 # 生成标定板的三维世界坐标假设Z0因为标定板是平面 objp np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) # 乘以每个格子的实际物理尺寸例如0.025米 square_size 0.025 objp * square_size for img_path in image_paths: img cv2.imread(img_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 查找角点 ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素级角点精确化提高精度 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_refined cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria) img_points.append(corners_refined) obj_points.append(objp) # 每张图对应的世界坐标都是一样的因为标定板没动 # 可视化可选 cv2.drawChessboardCorners(img, pattern_size, corners_refined, ret) cv2.imshow(Corners, img) cv2.waitKey(500) cv2.destroyAllWindows()注意事项cv2.findChessboardCorners的返回值ret是关键。如果为False说明这张图没检测到完整棋盘格需要剔除或重新拍摄。亚像素优化cornerSubPix能显著提升角点定位精度是提升标定精度的必要步骤。3.4 参数计算与优化一键求解当所有图像的角点数据都准备好后就可以调用核心标定函数了。# 初始内参猜测如果不知道可以设为NoneOpenCV会估算 # 通常可以简单设为fxfy图像宽度cx图像宽度/2cy图像高度/2 h, w gray.shape[:2] initial_camera_matrix np.array([[w, 0, w/2], [0, h, h/2], [0, 0, 1]], dtypenp.float32) # 执行标定 ret, camera_matrix, dist_coeffs, rvecs, tvecs cv2.calibrateCamera( obj_points, img_points, (w, h), initial_camera_matrix, None, flagscv2.CALIB_FIX_PRINCIPAL_POINT # 可以添加各种flag控制标定过程 ) print(内参矩阵 K:\n, camera_matrix) print(\n畸变系数 (k1, k2, p1, p2, k3):\n, dist_coeffs.ravel()) # rvecs, tvecs 是每张图片的外参旋转向量和平移向量这个函数内部使用了最大似然估计等优化算法同时求解出最优的内参矩阵camera_matrix、畸变系数dist_coeffs以及每张标定图片对应的外参rvecs和tvecs分别是旋转向量和平移向量。3.5 重投影误差评估标定质量的金标准标定函数返回的ret值就是重投影误差的均方根RMS。它是评估标定精度最直接的指标。什么是重投影误差我们用标定得到的内参、畸变和每张图的外参将标定板的三维世界坐标点重新投影到二维图像上得到一组“计算出的像素坐标”。然后将这组坐标与我们实际检测到的角点像素坐标进行比较计算它们之间的欧氏距离。这个距离的平均值就是重投影误差。误差值解读通常RMS重投影误差小于0.5像素可以认为是优秀的标定结果在0.5到1.0像素之间是良好1.0到2.0像素可能需要检查数据或重新标定大于2.0像素标定结果很可能不可靠。如何降低误差提高角点检测精度确保标定板平整、光照均匀并使用亚像素优化。增加有效图片数量和质量覆盖更多姿态剔除模糊或检测不全的图片。使用更复杂的模型如果畸变很大如鱼眼镜头需要使用OpenCV的鱼眼镜头标定模型 (cv2.fisheye.calibrate) 而不是普通模型。4. 参数的实际应用与图像校正标定出参数后我们就能做两件核心的事校正图像和进行三维测量。4.1 图像去畸变还你一个“正直”的世界这是最直观的应用。利用标定得到的畸变系数和内参我们可以将拍摄的畸变图像校正为无畸变的图像。# 标定后对新图像进行去畸变 new_img cv2.imread(test_image.jpg) h, w new_img.shape[:2] # 获取最优的新相机矩阵可以选择裁剪掉校正后图像的黑边 new_camera_matrix, roi cv2.getOptimalNewCameraMatrix(camera_matrix, dist_coeffs, (w,h), 1, (w,h)) # 方法1使用cv2.undistort直接校正 undistorted_img cv2.undistort(new_img, camera_matrix, dist_coeffs, None, new_camera_matrix) # 方法2先计算映射关系再重映射适用于需要多次校正同一相机图像的情况效率更高 mapx, mapy cv2.initUndistortRectifyMap(camera_matrix, dist_coeffs, None, new_camera_matrix, (w,h), cv2.CV_32FC1) undistorted_img cv2.remap(new_img, mapx, mapy, cv2.INTER_LINEAR) # 根据ROI裁剪黑边可选 x, y, w_roi, h_roi roi undistorted_img undistorted_img[y:yh_roi, x:xw_roi]校正后原本弯曲的直线会变直这对于视觉测量、SLAM等应用至关重要。4.2 三维测量与姿态估计从2D反推3D有了精确的内参和畸变系数我们就可以进行单目视觉的三维测量需要已知物体尺寸或姿态估计PnP问题。示例已知一个物体的几个特征点的世界坐标和它们在图像中的像素坐标已去畸变求解物体相对于相机的姿态外参。# 假设我们有4个或更多已知3D-2D对应点 object_points_3d np.array([...], dtypenp.float32) # 世界坐标 image_points_2d np.array([...], dtypenp.float32) # 去畸变后的像素坐标 # 使用SolvePnP求解姿态 success, rotation_vector, translation_vector cv2.solvePnP( object_points_3d, image_points_2d, camera_matrix, None # 畸变已校正此处为None ) # rotation_vector, translation_vector 就是物体在当前图像中的外参相对于相机这个功能是增强现实AR中将虚拟物体准确“贴”在真实世界中的核心技术也是机器人抓取中判断物体位置和朝向的关键。5. 常见问题、排查技巧与高级话题5.1 标定结果不理想自查清单重投影误差过大1.5像素检查标定板打印是否清晰方格是否正方形尺寸输入是否正确板子是否平整检查图像是否有运动模糊是否有强烈反光或阴影覆盖角点角点检测是否全部成功且准确可视化检查drawChessboardCorners的结果检查数据覆盖姿态是否足够多样是否缺少边缘或倾斜角度的图片尝试调整标定flags例如对于主点位置不确定的相机不要固定主点 (cv2.CALIB_FIX_PRINCIPAL_POINT)。标定结果不稳定每次运行结果差异大增加图片数量最少15张推荐20-30张高质量图片。使用更稳定的角点检测确保环境光照恒定避免高光比。可以尝试在标定板周围打柔光。剔除坏数据计算每张图片的单独重投影误差误差明显大于平均值的图片通常是检测不准或模糊的应该被剔除然后重新标定。去畸变后图像边缘出现严重拉伸或模糊这通常是因为镜头畸变很大特别是广角镜头校正时为了保留所有像素需要对边缘进行大量拉伸插值。使用getOptimalNewCameraMatrix并设置alpha参数如0.5它会返回一个能保留大部分有效区域并自动裁剪黑边的新内参。权衡alpha1保留所有像素但有黑边alpha0裁剪所有无效像素视野可能变小。5.2 手机摄像头与工业相机的标定差异手机摄像头通常是自动对焦、自动白平衡。必须锁定焦距使用专业模式或第三方App锁定对焦在无穷远或一个固定距离。变焦镜头多摄每个焦距都需要单独标定。手机镜头畸变通常控制得较好k3以后的高阶项往往不需要。工业相机通常为定焦镜头参数稳定。传感器更大像素尺寸更精确。标定板需要更高精度如陶瓷板。需要注意镜头的接口C口、CS口和法兰距确保成像面与标定板平行度。5.3 走向更复杂的模型鱼眼镜头与双目标定鱼眼镜头标定当视角超过180度径向畸变模型k1, k2, k3就不够用了。需要使用专门的鱼眼镜头模型如Kannala-Brandt模型。OpenCV提供了cv2.fisheye子模块标定流程类似但函数接口和畸变参数含义不同。双目相机标定除了分别标定左右相机的内参和畸变单目标定核心是立体标定目的是求出左右相机之间的相对位置和姿态关系旋转矩阵R和平移向量t这个t的模长就是基线距离。OpenCV的cv2.stereoCalibrate可以完成。之后可以进行立体校正和三维重建。理解相机内参、外参和畸变系数就像是拿到了打开计算机视觉世界大门的钥匙。从简单的图像校正到复杂的SLAM和AR这套坐标系转换和镜头建模的框架无处不在。标定过程虽然有些繁琐但它是后续所有高精度视觉应用的前提。多拍、多试、多分析重投影误差你就能为自己的相机建立一份精准的“视觉档案”。
)
