相机内外参矩阵:从3D世界坐标到2D像素坐标变换_相机内外参 三维坐标变换到二维坐标
相机内外参矩阵:从3D世界坐标到2D像素坐标变换
- 介绍
-
-
- **1. 内参矩阵(Intrinsic Matrix, K)**
- **2. 外参矩阵(Extrinsic Matrix, [R|t])**
- **3. 完整投影过程(世界坐标 → 像素坐标)**
-
- **步骤1:世界坐标 → 相机坐标(外参变换)**
- **步骤2:相机坐标 → 归一化图像坐标(透视投影)**
- **步骤3:归一化坐标 → 像素坐标(内参变换)**
- **整合公式(直接投影)**
- **4. 关键坐标变换总结**
- **5. 畸变参数(补充)**
- **6. 示例(OpenCV 模型)**
- **总结**
-
介绍
相机参数矩阵描述了三维世界到二维图像的投影关系,分为内参矩阵(Intrinsic Matrix)和外参矩阵(Extrinsic Matrix)。以下是详细解释和坐标变换公式:
1. 内参矩阵(Intrinsic Matrix, K)
作用:将相机坐标系下的3D点投影到图像像素坐标系(2D),描述相机自身的几何和光学特性。
公式:
K = [ f x s u 0 0 f y v 0 0 0 1 ] K = \\begin{bmatrix} f_x & s & u_0 \\\\ 0 & f_y & v_0 \\\\ 0 & 0 & 1 \\end{bmatrix} K= fx00sfy0u0v01
参数含义:
- (f_x, f_y):焦距(单位为像素),分别表示x和y方向的缩放因子(受传感器尺寸和镜头焦距影响)。
- (u_0, v_0):主点坐标(Principal Point),即光轴与图像平面的交点(通常接近图像中心)。
- (s):轴倾斜参数(Skew),描述图像坐标轴的倾斜程度(现代相机通常为0)。
2. 外参矩阵(Extrinsic Matrix, [R|t])
作用:将世界坐标系下的3D点变换到相机坐标系,描述相机在空间中的位置和姿态(旋转+平移)。
公式:
外参 = [ R ∣ t ] = [ r 11 r 12 r 13 t x r 21 r 22 r 23 t y r 31 r 32 r 33 t z] \\text{外参} = [R \\mid t] = \\begin{bmatrix} r_{11} & r_{12} & r_{13} & t_x \\\\ r_{21} & r_{22} & r_{23} & t_y \\\\ r_{31} & r_{32} & r_{33} & t_z \\end{bmatrix} 外参=[R∣t]= r11r21r31r12r22r32r13r23r33txtytz
参数含义:
- (R):3×3旋转矩阵(正交矩阵),表示相机相对于世界坐标系的朝向。
- (t):3×1平移向量,表示相机光心在世界坐标系中的位置。
3. 完整投影过程(世界坐标 → 像素坐标)
设一个3D点在世界坐标系中的齐次坐标为 P w =[ X w , Y w , Z w ,1 ] T P_w = [X_w, Y_w, Z_w, 1]^T Pw=[Xw,Yw,Zw,1]T,其投影到像素坐标 p=[u,v,1 ] T p = [u, v, 1]^T p=[u,v,1]T 的流程如下:
步骤1:世界坐标 → 相机坐标(外参变换)
[ X c Y c Z c 1 ] = [ R t 0 1 ][ X w Y w Z w 1 ] 或 P c = R ⋅ P w + t \\begin{bmatrix} X_c \\\\ Y_c \\\\ Z_c \\\\ 1 \\end{bmatrix} = \\begin{bmatrix} R & t \\\\ 0 & 1 \\end{bmatrix} \\begin{bmatrix} X_w \\\\ Y_w \\\\ Z_w \\\\ 1 \\end{bmatrix} \\quad \\text{或} \\quad P_c = R \\cdot P_w + t XcYcZc1 =[R0t1] XwYwZw1 或Pc=R⋅Pw+t
步骤2:相机坐标 → 归一化图像坐标(透视投影)
[ x y 1 ] = 1 Z c [ X c Y c Z c] ⇒ { x = X c / Z c y = Y c / Z c \\begin{bmatrix} x \\\\ y \\\\ 1 \\end{bmatrix} = \\frac{1}{Z_c} \\begin{bmatrix} X_c \\\\ Y_c \\\\ Z_c \\end{bmatrix} \\quad \\Rightarrow \\quad \\begin{cases} x = X_c / Z_c \\\\ y = Y_c / Z_c \\end{cases} xy1 =Zc1 XcYcZc ⇒{x=Xc/Zcy=Yc/Zc
步骤3:归一化坐标 → 像素坐标(内参变换)
[ u v 1 ] = K [ x y 1 ] = [ f x x + s y + u 0 f y y + v 0 1 ] \\begin{bmatrix} u \\\\ v \\\\ 1 \\end{bmatrix} = K \\begin{bmatrix} x \\\\ y \\\\ 1 \\end{bmatrix} = \\begin{bmatrix} f_x x + s y + u_0 \\\\ f_y y + v_0 \\\\ 1 \\end{bmatrix} uv1 =K xy1 = fxx+sy+u0fyy+v01
整合公式(直接投影)
Z c[ u v 1 ] = K ⋅ [ R ∣ t ] [ X w Y w Z w 1 ] Z_c \\begin{bmatrix} u \\\\ v \\\\ 1 \\end{bmatrix} = K \\cdot [R \\mid t] \\begin{bmatrix} X_w \\\\ Y_w \\\\ Z_w \\\\ 1 \\end{bmatrix} Zc uv1 =K⋅[R∣t] XwYwZw1
4. 关键坐标变换总结
5. 畸变参数(补充)
实际相机还需考虑镜头畸变(径向畸变、切向畸变),使用以下模型修正归一化坐标 (x,y) (x, y) (x,y):
{ x corrected = x ( 1 + k 1 r 2 + k 2 r 4 ) + 2 p 1 x y + p 2 ( r 2 + 2 x 2 ) y corrected = y ( 1 + k 1 r 2 + k 2 r 4 ) + p 1 ( r 2 + 2 y 2 ) + 2 p 2 x y \\begin{cases} x_{\\text{corrected}} = x (1 + k_1 r^2 + k_2 r^4) + 2 p_1 x y + p_2 (r^2 + 2x^2) \\\\ y_{\\text{corrected}} = y (1 + k_1 r^2 + k_2 r^4) + p_1 (r^2 + 2y^2) + 2 p_2 x y \\end{cases} {xcorrected=x(1+k1r2+k2r4)+2p1xy+p2(r2+2x2)ycorrected=y(1+k1r2+k2r4)+p1(r2+2y2)+2p2xy
其中 r 2 = x 2 + y 2 r^2 = x^2 + y^2 r2=x2+y2,参数 k 1 , k 2 k_1, k_2 k1,k2 为径向畸变系数, p 1 , p 2 p_1, p_2 p1,p2 为切向畸变系数。
6. 示例(OpenCV 模型)
在OpenCV中,投影过程定义为:
u = f_x * (X_c / Z_c) + u_0v = f_y * (Y_c / Z_c) + v_0
外参通过 solvePnP
求解,内参和畸变参数通过 calibrateCamera
标定。
总结
- 内参矩阵 K K K:相机自身属性(焦距、主点、倾斜)。
- 外参 [ R ∣ t ] [R \\mid t] [R∣t]:相机在世界中的位置和姿态。
- 投影公式: Z c p = K [ R ∣ t ] P w Z_c p = K [R \\mid t] P_w Zcp=K[R∣t]Pw
- 畸变模型:修正非线性误差,提升精度。