网站导航
> 技术文档 > OpenCV Calib3d 模块使用指南_calib3d.solvepnp

OpenCV Calib3d 模块使用指南_calib3d.solvepnp

网友: 技术文档 2025-09-04 01:24:23

一、模块概述

OpenCV 的 Calib3d 模块主要提供相机校准和 3D 重建相关的功能。通过该模块，我们可以对相机进行标定以去除镜头畸变，还能从 2D 图像中恢复 3D 信息。下面将详细介绍该模块的主要类和函数，以及它们在不同应用场景中的实现。

二、主要函数详解

（一）相机校准相关函数

1. cv.findChessboardCorners()
  • 功能：在图像中查找棋盘格角点。
  • 参数：
    • image：输入的灰度图像。
    • patternSize：棋盘格内角点的行数和列数（如 (7, 7) 表示 7 行 7 列）。
    • flags：用于指定查找角点的方法，如 cv.CALIB_CB_ADAPTIVE_THRESH 等。
  • 返回值：
    • ret：是否成功找到角点的布尔值。
    • corners：找到的角点坐标。
示例代码

python

import cv2 as cvimport numpy as np# 读取图像img = cv.imread(\'chessboard.jpg\')gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)# 棋盘格内角点的行数和列数pattern_size = (7, 7)# 查找角点ret, corners = cv.findChessboardCorners(gray, pattern_size)if ret: # 绘制角点 cv.drawChessboardCorners(img, pattern_size, corners, ret) cv.imshow(\'Corners\', img) cv.waitKey(0)
2. cv.calibrateCamera()
  • 功能：对相机进行校准，计算相机的内参矩阵、畸变系数等。
  • 参数：
    • objectPoints：世界坐标系中棋盘格角点的三维坐标。
    • imagePoints：图像中对应的角点坐标。
    • imageSize：图像的尺寸。
    • cameraMatrix：输出的相机内参矩阵。
    • distCoeffs：输出的畸变系数。
    • rvecs：输出的旋转向量。
    • tvecs：输出的平移向量。
  • 返回值：
    • ret：校准的重投影误差。
示例代码

python

import cv2 as cvimport numpy as np# 棋盘格内角点的行数和列数pattern_size = (7, 7)# 世界坐标系中棋盘格角点的三维坐标objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)# 存储世界坐标系和图像坐标系中的点objpoints = []imgpoints = []# 读取一系列图像for i in range(1, 11): img = cv.imread(f\'chessboard_{i}.jpg\') gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY) ret, corners = cv.findChessboardCorners(gray, pattern_size) if ret: objpoints.append(objp) imgpoints.append(corners)# 图像尺寸image_size = (img.shape[1], img.shape[0])# 相机校准ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)print(f\"重投影误差: {ret}\")print(f\"相机内参矩阵: \\n{camera_matrix}\")print(f\"畸变系数: \\n{dist_coeffs}\")

（二）3D 重建相关函数

1. cv.solvePnP()
  • 功能：根据 3D 点和对应的 2D 点求解相机的位姿（旋转和平移）。
  • 参数：
    • objectPoints：世界坐标系中 3D 点的坐标。
    • imagePoints：图像中对应的 2D 点坐标。
    • cameraMatrix：相机的内参矩阵。
    • distCoeffs：相机的畸变系数。
    • rvec：输出的旋转向量。
    • tvec：输出的平移向量。
  • 返回值：
    • ret：是否成功求解的布尔值。
示例代码

python

import cv2 as cvimport numpy as np# 相机内参矩阵和畸变系数（假设已经通过校准得到）camera_matrix = np.array([[1000, 0, 320], [0, 1000, 240], [0, 0, 1]], dtype=np.float32)dist_coeffs = np.zeros((5, 1), dtype=np.float32)# 世界坐标系中 3D 点的坐标object_points = np.array([[0, 0, 0], [1, 0, 0], [0, 1, 0], [0, 0, 1]], dtype=np.float32)# 图像中对应的 2D 点坐标image_points = np.array([[100, 100], [200, 100], [100, 200], [100, 100]], dtype=np.float32)# 求解相机位姿ret, rvec, tvec = cv.solvePnP(object_points, image_points, camera_matrix, dist_coeffs)if ret: print(f\"旋转向量: \\n{rvec}\") print(f\"平移向量: \\n{tvec}\")
2. cv.reprojectImageTo3D()
  • 功能：将视差图转换为 3D 点云。
  • 参数：
    • disparity：输入的视差图。
    • Q：用于从视差图恢复 3D 信息的重投影矩阵。
  • 返回值：
    • points_3d：输出的 3D 点云。
示例代码

python

import cv2 as cvimport numpy as np# 假设已经有视差图和重投影矩阵disparity = cv.imread(\'disparity_map.png\', cv.IMREAD_GRAYSCALE)Q = np.array([[1, 0, 0, -320], [0, 1, 0, -240], [0, 0, 0, 1000], [0, 0, 1 / 100, 0]], dtype=np.float32)# 从视差图恢复 3D 点云points_3d = cv.reprojectImageTo3D(disparity, Q)print(f\"3D 点云形状: {points_3d.shape}\")

三、应用场景实现

（一）相机标定（用于去除镜头畸变）

相机标定的主要目的是计算相机的内参矩阵和畸变系数，以便对图像进行去畸变处理。以下是一个完整的相机标定和去畸变的示例代码：

python

import cv2 as cvimport numpy as np# 棋盘格内角点的行数和列数pattern_size = (7, 7)# 世界坐标系中棋盘格角点的三维坐标objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)# 存储世界坐标系和图像坐标系中的点objpoints = []imgpoints = []# 读取一系列图像for i in range(1, 11): img = cv.imread(f\'chessboard_{i}.jpg\') gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY) ret, corners = cv.findChessboardCorners(gray, pattern_size) if ret: objpoints.append(objp) imgpoints.append(corners)# 图像尺寸image_size = (img.shape[1], img.shape[0])# 相机校准ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)# 读取待去畸变的图像img = cv.imread(\'test_image.jpg\')# 去畸变undistorted_img = cv.undistort(img, camera_matrix, dist_coeffs)cv.imshow(\'Original Image\', img)cv.imshow(\'Undistorted Image\', undistorted_img)cv.waitKey(0)

（二）3D 重建（如从 2D 图像恢复 3D 信息）

以下是一个简单的从 2D 图像对进行 3D 重建的示例代码，包括相机校准、求解相机位姿和恢复 3D 点云：

python

import cv2 as cvimport numpy as np# 棋盘格内角点的行数和列数pattern_size = (7, 7)# 世界坐标系中棋盘格角点的三维坐标objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)# 存储世界坐标系和图像坐标系中的点objpoints = []imgpoints = []# 读取一系列图像for i in range(1, 11): img = cv.imread(f\'chessboard_{i}.jpg\') gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY) ret, corners = cv.findChessboardCorners(gray, pattern_size) if ret: objpoints.append(objp) imgpoints.append(corners)# 图像尺寸image_size = (img.shape[1], img.shape[0])# 相机校准ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)# 读取左右图像img_left = cv.imread(\'left_image.jpg\')img_right = cv.imread(\'right_image.jpg\')# 转换为灰度图像gray_left = cv.cvtColor(img_left, cv.COLOR_BGR2GRAY)gray_right = cv.cvtColor(img_right, cv.COLOR_BGR2GRAY)# 创建立体匹配器stereo = cv.StereoBM_create(numDisparities=16, blockSize=15)# 计算视差图disparity = stereo.compute(gray_left, gray_right)# 计算重投影矩阵R = np.eye(3)T = np.array([[100, 0, 0]]).TQ = cv.stereoRectify(camera_matrix, dist_coeffs, camera_matrix, dist_coeffs, image_size, R, T)[4]# 从视差图恢复 3D 点云points_3d = cv.reprojectImageTo3D(disparity, Q)print(f\"3D 点云形状: {points_3d.shape}\")

四、注意事项

  • 棋盘格图像：在进行相机标定时，需要使用一系列不同角度和位置的棋盘格图像，以确保校准结果的准确性。
  • 图像质量：图像的质量会影响角点检测和 3D 重建的结果，因此应尽量使用清晰、光照均匀的图像。
  • 参数选择：在使用 cv.StereoBM_create() 等函数时，需要根据实际情况选择合适的参数，如 numDisparities 和 blockSize 等。

通过以上内容，你可以了解到 Calib3d 模块的主要功能和使用方法，以及如何在不同的应用场景中实现相机标定和 3D 重建。

网络标签：

相关问题