多视图几何：本质矩阵与基础矩阵

文章目录

• 1. 前置知识
• • 1.1. 向量叉乘
  • 1.2. 混合积
  • 1.3. 引理证明
• 2. 本质矩阵
• 3. 基础矩阵
• 4. 应用例子

1. 前置知识

1.1. 向量叉乘

假设 a= ( a x a y a z ) \\mathbf{a} = \\begin{pmatrix} a_x \\\\ a_y \\\\ a_z \\end{pmatrix} a= ​ax​ay​az​​ ​ 以及 b= ( b x b y b z ) \\mathbf{b} = \\begin{pmatrix} b_x \\\\ b_y \\\\ b_z \\end{pmatrix} b= ​bx​by​bz​​ ​，叉乘 $\mathbf{a}\times \mathbf{b}$ 的矩阵表示为：
a × b = ( 0 − a z a y a z 0 − a x − a y a x 0 ) ( b x b y b z ) = [ a ] × b (1) \\mathbf{a} \\times \\mathbf{b} = \\begin{pmatrix} 0 & -a_z & a_y \\\\ a_z & 0 & -a_x \\\\ -a_y & a_x & 0 \\end{pmatrix} \\begin{pmatrix} b_x \\\\ b_y \\\\ b_z \\end{pmatrix} = [\\mathbf{a}]_{\\times} \\mathbf{b} \\tag{1} a×b= ​0az​−ay​​−az​0ax​​ay​−ax​0​ ​ ​bx​by​bz​​ ​=[a]×​b(1)其中， [a ] × = ( 0 − a z a y a z 0 − a x − a y a x 0 ) [\\mathbf{a}]_{\\times} = \\begin{pmatrix} 0 & -a_z & a_y \\\\ a_z & 0 & -a_x \\\\ -a_y & a_x & 0 \\end{pmatrix} [a]×​= ​0az​−ay​​−az​0ax​​ay​−ax​0​ ​ 为反对称矩阵，且有 [a ] × T =−[a ] × [\\mathbf{a}]_{\\times}^T = -[\\mathbf{a}]_{\\times} [a]×T​=−[a]×​。

1.2. 混合积

设 $\mathbf{a}$、$\mathbf{b}$、$\mathbf{c}$ 是三个向量，则混合积的定义为：$\mathbf{a}\cdot (\mathbf{b}\times \mathbf{c})$。更进一步地，设 a= a 1 i+ a 2 j+ a 3 k \\mathbf{a} = a_1 \\mathbf{i} + a_2 \\mathbf{j} + a_3 \\mathbf{k} a=a1​i+a2​j+a3​k、 b= b 1 i+ b 2 j+ b 3 k \\mathbf{b} = b_1 \\mathbf{i} + b_2 \\mathbf{j} + b_3 \\mathbf{k} b=b1​i+b2​j+b3​k、 c= c 1 i+ c 2 j+ c 3 k \\mathbf{c} = c_1 \\mathbf{i} + c_2 \\mathbf{j} + c_3 \\mathbf{k} c=c1​i+c2​j+c3​k，则有：
a ⋅ ( b × c ) = ∣ a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 ∣ (2) \\mathbf{a} \\cdot (\\mathbf{b} \\times \\mathbf{c}) = \\begin{vmatrix} a_{1} & a_{2} & a_{3} \\\\ b_{1} & b_{2} & b_{3} \\\\ c_{1} & c_{2} & c_{3} \\end{vmatrix} \\tag{2} a⋅(b×c)= ​a1​b1​c1​​a2​b2​c2​​a3​b3​c3​​ ​(2)证明：
a ⋅ ( b × c ) = ( a 1 i + a 2 j + a 3 k ) ⋅ ∣ i j k b 1 b 2 b 3 c 1 c 2 c 3 ∣ = ( a 1 i + a 2 j + a 3 k ) ⋅ ( i ∣ b 2 b 3 c 2 c 3 ∣ − j ∣ b 1 b 3 c 1 c 3 ∣ + k ∣ b 1 b 2 c 1 c 2 ∣ ) = a 1 ∣ b 2 b 3 c 2 c 3 ∣ − a 2 ∣ b 1 b 3 c 1 c 3 ∣ + a 3 ∣ b 1 b 2 c 1 c 2 ∣ = ∣ a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 ∣ \\begin{align*} \\mathbf{a}\\cdot(\\mathbf{b}\\times\\mathbf{c}) &= \\left(a_{1}\\mathbf{i}+a_{2}\\mathbf{j}+a_{3}\\mathbf{k}\\right)\\cdot \\begin{vmatrix} \\mathbf{i} & \\mathbf{j} & \\mathbf{k} \\\\ b_{1} & b_{2} & b_{3} \\\\ c_{1} & c_{2} & c_{3} \\end{vmatrix} \\\\ &= \\left(a_{1}\\mathbf{i}+a_{2}\\mathbf{j}+a_{3}\\mathbf{k}\\right)\\cdot \\left( \\mathbf{i} \\begin{vmatrix} b_{2} & b_{3} \\\\ c_{2} & c_{3} \\end{vmatrix} - \\mathbf{j} \\begin{vmatrix} b_{1} & b_{3} \\\\ c_{1} & c_{3} \\end{vmatrix} + \\mathbf{k} \\begin{vmatrix} b_{1} & b_{2} \\\\ c_{1} & c_{2} \\end{vmatrix} \\right) \\\\ &= a_{1}\\begin{vmatrix} b_{2} & b_{3} \\\\ c_{2} & c_{3} \\end{vmatrix} - a_{2}\\begin{vmatrix} b_{1} & b_{3} \\\\ c_{1} & c_{3} \\end{vmatrix} + a_{3}\\begin{vmatrix} b_{1} & b_{2} \\\\ c_{1} & c_{2} \\end{vmatrix} \\\\ &= \\begin{vmatrix} a_{1} & a_{2} & a_{3} \\\\ b_{1} & b_{2} & b_{3} \\\\ c_{1} & c_{2} & c_{3} \\end{vmatrix} \\end{align*} a⋅(b×c)​=(a1​i+a2​j+a3​k)⋅ ​ib1​c1​​jb2​c2​​kb3​c3​​ ​=(a1​i+a2​j+a3​k)⋅(i ​b2​c2​​b3​c3​​ ​−j ​b1​c1​​b3​c3​​ ​+k ​b1​c1​​b2​c2​​ ​)=a1​ ​b2​c2​​b3​c3​​ ​−a2​ ​b1​c1​​b3​c3​​ ​+a3​ ​b1​c1​​b2​c2​​ ​= ​a1​b1​c1​​a2​b2​c2​​a3​b3​c3​​ ​​证毕。

行列式具有性质：互换行列式的两行或两列，行列式的值变号。因此有：
a ⋅ ( b × c ) = ∣ a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 ∣ = ∣ b 1 b 2 b 3 c 1 c 2 c 3 a 1 a 2 a 3 ∣ = b ⋅ ( c × a ) = ∣ c 1 c 2 c 3 a 1 a 2 a 3 b 1 b 2 b 3 ∣ = c ⋅ ( a × b ) \\begin{align*} \\mathbf{a}\\cdot(\\mathbf{b}\\times\\mathbf{c}) &= \\begin{vmatrix} a_{1} & a_{2} & a_{3} \\\\ b_{1} & b_{2} & b_{3} \\\\ c_{1} & c_{2} & c_{3} \\end{vmatrix} \\\\ &= \\begin{vmatrix} b_{1} & b_{2} & b_{3} \\\\ c_{1} & c_{2} & c_{3} \\\\ a_{1} & a_{2} & a_{3} \\\\ \\end{vmatrix} = \\mathbf{b}\\cdot(\\mathbf{c}\\times\\mathbf{a}) \\\\ &= \\begin{vmatrix} c_{1} & c_{2} & c_{3} \\\\ a_{1} & a_{2} & a_{3} \\\\ b_{1} & b_{2} & b_{3} \\\\ \\end{vmatrix} = \\mathbf{c} \\cdot (\\mathbf{a} \\times \\mathbf{b}) \\end{align*} a⋅(b×c)​= ​a1​b1​c1​​a2​b2​c2​​a3​b3​c3​​ ​= ​b1​c1​a1​​b2​c2​a2​​b3​c3​a3​​ ​=b⋅(c×a)= ​c1​a1​b1​​c2​a2​b2​​c3​a3​b3​​ ​=c⋅(a×b)​所以：
$$\mathbf{a}\cdot (\mathbf{b}\times \mathbf{c})=\mathbf{b}\cdot (\mathbf{c}\times \mathbf{a})=\mathbf{c}\cdot (\mathbf{a}\times \mathbf{b})\text{\hspace{1em}(3)}$$此外，如果 $\mathbf{a}$、$\mathbf{b}$、$\mathbf{c}$ 中任意两个向量相等，则混合积等于零。不失一般性，假设 $\mathbf{a}=\mathbf{b}$，则有：
$$\mathbf{a}\cdot (\mathbf{a}\times \mathbf{c})=\mathbf{a}\cdot (\mathbf{c}\times \mathbf{a})=\mathbf{c}\cdot (\mathbf{a}\times \mathbf{a})=0$$

1.3. 引理证明

引理一：$\mathbf{R}(\mathbf{a}\times \mathbf{b})=(\mathbf{Ra})\times (\mathbf{Rb})$。
证明：
对于任意向量 $\mathbf{v}$：

• R ( a × b ) ⋅ v = [ R ( a × b ) ] T v = ( a × b ) TR T v = ( a × b ) ⋅ ( R T v ) \\mathbf{R}(\\mathbf{a} \\times \\mathbf{b}) \\cdot \\mathbf{v} = [\\mathbf{R}(\\mathbf{a} \\times \\mathbf{b})]^T \\mathbf{v} = (\\mathbf{a} \\times \\mathbf{b})^T \\mathbf{R}^T \\mathbf{v} = (\\mathbf{a} \\times \\mathbf{b}) \\cdot (\\mathbf{R}^T\\mathbf{v}) R(a×b)⋅v=[R(a×b)]Tv=(a×b)TRTv=(a×b)⋅(RTv)。
• 根据混合积、向量点积和旋转矩阵 ( R R T = I , det ⁡ ( R ) = 1 ) (\\mathbf{R} \\mathbf{R}^T = \\mathbf{I}, \\det(\\mathbf{R}) = 1) (RRT=I,det(R)=1) 的性质有：
  [ ( R a ) × ( R b ) ] ⋅ v = v ⋅ [ ( R a ) × ( R b ) ] = det ⁡ ( [ v R a R b ] ) = det ⁡ ( R [ R T v a b ] ) = det ⁡ ( R ) det ⁡ ( [ R T v a b ] ) = det ⁡ ( [ R T v a b ] ) = ( R T v ) ⋅ ( a × b ) = ( a × b ) ⋅ ( R T v ) \\begin{align*} [(\\mathbf{R} \\mathbf{a}) \\times (\\mathbf{R} \\mathbf{b})] \\cdot \\mathbf{v} &= \\mathbf{v} \\cdot [(\\mathbf{R} \\mathbf{a}) \\times (\\mathbf{R} \\mathbf{b})] = \\det([\\mathbf{v} \\quad \\mathbf{R} \\mathbf{a} \\quad \\mathbf{R} \\mathbf{b}]) = \\det(\\mathbf{R}[\\mathbf{R}^T\\mathbf{v} \\quad \\mathbf{a} \\quad \\mathbf{b}]) \\\\ &= \\det(\\mathbf{R}) \\det([\\mathbf{R}^T\\mathbf{v} \\quad \\mathbf{a} \\quad \\mathbf{b}]) = \\det([\\mathbf{R}^T\\mathbf{v} \\quad \\mathbf{a} \\quad \\mathbf{b}]) \\\\ &= (\\mathbf{R}^T\\mathbf{v}) \\cdot (\\mathbf{a} \\times \\mathbf{b}) = (\\mathbf{a} \\times \\mathbf{b}) \\cdot (\\mathbf{R}^T\\mathbf{v}) \\end{align*}[(Ra)×(Rb)]⋅v​=v⋅[(Ra)×(Rb)]=det([vRaRb])=det(R[RTvab])=det(R)det([RTvab])=det([RTvab])=(RTv)⋅(a×b)=(a×b)⋅(RTv)​

综上有，对于任意向量 $\mathbf{v}$ 有：
$$\mathbf{R}(\mathbf{a}\times \mathbf{b})\cdot \mathbf{v}=(\mathbf{Ra}\times \mathbf{Rb})\cdot \mathbf{v}\Rightarrow \mathbf{R}(\mathbf{a}\times \mathbf{b})=(\mathbf{Ra})\times (\mathbf{Rb})$$证毕。

2. 本质矩阵

由上图可知，本质矩阵 $\mathbf{E}$ 在极线的计算中起着重要的作用。本质矩阵的计算方式如下： E = [ T ] × R = R [ R T T ] × (4) \\mathbf{E} = [\\mathbf{T}]_{\\times} \\mathbf{R} = \\mathbf{R} [\\mathbf{R}^T \\mathbf{T}]_{\\times} \\tag{4} E=[T]×​R=R[RTT]×​(4)其中，$\mathbf{R}$ 和 $\mathbf{T}$ 表示从图像 I 1 I_1 I1​ 到图像 I 2 I_2 I2​ 的旋转矩阵和平移向量。

现在我们来证明 [T ] × R=R[ R T T ] × [\\mathbf{T}]_{\\times} \\mathbf{R} = \\mathbf{R} [\\mathbf{R}^T \\mathbf{T}]_{\\times} [T]×​R=R[RTT]×​。证明如下：
对于任意向量 $\mathbf{v}$ 有：

• [ T ] × R v = T × ( R v ) [\\mathbf{T}]_{\\times} \\mathbf{R} \\mathbf{v} = \\mathbf{T} \\times (\\mathbf{R} \\mathbf{v}) [T]×​Rv=T×(Rv)
• R [ R T T ] × v = R ( R T T × v ) \\mathbf{R} [\\mathbf{R}^T \\mathbf{T}]_{\\times} \\mathbf{v} = \\mathbf{R} (\\mathbf{R}^T\\mathbf{T} \\times \\mathbf{v}) R[RTT]×​v=R(RTT×v)

令 T ′ = R T T \\mathbf{T}^{\\prime} = \\mathbf{R}^T\\mathbf{T} T′=RTT，则 T=R T ′ \\mathbf{T} = \\mathbf{R} \\mathbf{T}^{\\prime} T=RT′，根据引理一有：
T × ( R v ) = ( R T ′ ) × ( R v ) = R ( T ′ × v ) = R ( R T T × v ) = R [ R T T ] × v \\mathbf{T} \\times (\\mathbf{R} \\mathbf{v}) = (\\mathbf{R} \\mathbf{T}^{\\prime}) \\times (\\mathbf{R} \\mathbf{v}) = \\mathbf{R}(\\mathbf{T}^{\\prime} \\times \\mathbf{v}) = \\mathbf{R}(\\mathbf{R}^T\\mathbf{T} \\times \\mathbf{v}) = \\mathbf{R} [\\mathbf{R}^T \\mathbf{T}]_{\\times} \\mathbf{v} T×(Rv)=(RT′)×(Rv)=R(T′×v)=R(RTT×v)=R[RTT]×​v所以，对于任意向量 $\mathbf{v}$ 有：
[ T ] × R v = R [ R T T ] × v ⇒ [ T ] × R = R [ R T T ] × [\\mathbf{T}]_{\\times} \\mathbf{R} \\mathbf{v} = \\mathbf{R} [\\mathbf{R}^T \\mathbf{T}]_{\\times} \\mathbf{v} \\Rightarrow [\\mathbf{T}]_{\\times} \\mathbf{R} = \\mathbf{R} [\\mathbf{R}^T \\mathbf{T}]_{\\times} [T]×​Rv=R[RTT]×​v⇒[T]×​R=R[RTT]×​证毕。

3. 基础矩阵

基础矩阵与本质矩阵的关系如下：
F = K ′ − T E K − 1 = K ′ − T [ T ] × R K − 1 (5) \\mathbf{F} = \\mathbf{K}^{\\prime-T} \\mathbf{E} \\mathbf{K}^{-1} = \\mathbf{K}^{\\prime-T} [\\mathbf{T}]_{\\times} \\mathbf{R} \\mathbf{K}^{-1} \\tag{5} F=K′−TEK−1=K′−T[T]×​RK−1(5)其中，$\mathbf{K}$ 和 K ′ \\mathbf{K}^{\\prime} K′ 分别为图像 I 1 I_1 I1​ 和 I 2 I_2 I2​ 对应的内参矩阵。

l 1 l_1 l1​ 和 l 2 l_2 l2​ 极线的方程为：
{ l 2= F x 1 l 1= F T x 2 (6) \\begin{cases} l_2 = \\mathbf{F} \\mathbf{x}_1 \\\\ l_1 = \\mathbf{F}^T \\mathbf{x}_2 \\end{cases} \\tag{6} {l2​=Fx1​l1​=FTx2​​(6)

4. 应用例子

假设图像 I 1 I_1 I1​ 和 I 2 I_2 I2​ 到世界坐标系的变换分别为 R s \\mathbf{R}_s Rs​、 T s \\mathbf{T}_s Ts​ 和 R t \\mathbf{R}_t Rt​、 T t \\mathbf{T}_t Tt​。已知图像 I 1 I_1 I1​ 存在点 $\mathbf{x}$，求对应的极线方程。

代码如下：

R = R_t @ R_s.inverse()T = R_s @ R_t.inverse() @ T_t - T_sT = T.squeeze()S = torch.zeros((3, 3))S[0, 1] = -T[2]S[1, 0] = T[2]S[0, 2] = T[1]S[2, 0] = -T[1]S[1, 2] = -T[0]S[2, 1] = T[0]E = R @ SF = K_t.inverse().transpose(0, 1) @ E @ K_s.inverse()epipolar_line = F @ xa = epipolar_line[0]b = epipolar_line[1]c = epipolar_line[2]

上述代码修改自：https://github.com/USMizuki/NexusGS/blob/main/utils/flow_utils.py。

设点 $\mathbf{x}$ 对应的空间点为 $\mathbf{X}$，在图像 I 2 I_2 I2​ 的对应点为 x ′ x^{\\prime} x′，现在我们来进行理论推导：
{ x = R s X + T s x ′ = R t X + T t \\begin{cases} \\mathbf{x} = \\mathbf{R}_s \\mathbf{X} + \\mathbf{T}_s \\\\ \\mathbf{x}^{\\prime} = \\mathbf{R}_t \\mathbf{X} + \\mathbf{T}_t \\end{cases} {x=Rs​X+Ts​x′=Rt​X+Tt​​将 X= R s − 1 (x− T s ) \\mathbf{X} = \\mathbf{R}_s^{-1} (\\mathbf{x} - \\mathbf{T}_s) X=Rs−1​(x−Ts​) 带入 x ′ = R t X+ T t \\mathbf{x}^{\\prime} = \\mathbf{R}_t \\mathbf{X} + \\mathbf{T}_t x′=Rt​X+Tt​ 有：
x ′ = R tR s − 1( x − T s ) + T t = R tR s − 1x − R tR s − 1 T s + T t \\mathbf{x}^{\\prime} = \\mathbf{R}_t \\mathbf{R}_s^{-1} (\\mathbf{x} - \\mathbf{T}_s) + \\mathbf{T}_t = \\mathbf{R}_t \\mathbf{R}_s^{-1} \\mathbf{x} - \\mathbf{R}_t \\mathbf{R}_s^{-1} \\mathbf{T}_s + \\mathbf{T}_t x′=Rt​Rs−1​(x−Ts​)+Tt​=Rt​Rs−1​x−Rt​Rs−1​Ts​+Tt​所以，从图像 I 1 I_1 I1​ 到 I 2 I_2 I2​ 的旋转矩阵 $\mathbf{R}$ 和平移向量 $\mathbf{T}$ 的计算公式如下：
{ R = R t R s − 1 T = − R t R s − 1 T s+ T t (7) \\begin{cases} \\mathbf{R} = \\mathbf{R}_t \\mathbf{R}_s^{-1} \\\\ \\mathbf{T} = - \\mathbf{R}_t \\mathbf{R}_s^{-1} \\mathbf{T}_s + \\mathbf{T}_t \\end{cases} \\tag{7} {R=Rt​Rs−1​T=−Rt​Rs−1​Ts​+Tt​​(7)$\mathbf{T}$ 的计算公式与代码不符，不妨设代码中对应 T ′ \\mathbf{T}^{\\prime} T′，则有：
T ′ = R sR t − 1 T t − T s \\mathbf{T}^{\\prime} = \\mathbf{R}_s \\mathbf{R}_t^{-1} \\mathbf{T}_t - \\mathbf{T}_s T′=Rs​Rt−1​Tt​−Ts​不难发现 $\mathbf{T}$ 和 T ′ \\mathbf{T}^{\\prime} T′ 存在如下关系：
R tR s − 1 T ′ = R tR s − 1( R sR t − 1 T t − T s ) = T t − R tR s − 1 T s = T \\mathbf{R}_t \\mathbf{R}_s^{-1} \\mathbf{T}^{\\prime} = \\mathbf{R}_t \\mathbf{R}_s^{-1} (\\mathbf{R}_s \\mathbf{R}_t^{-1} \\mathbf{T}_t - \\mathbf{T}_s) = \\mathbf{T}_t - \\mathbf{R}_t \\mathbf{R}_s^{-1} \\mathbf{T}_s = \\mathbf{T} Rt​Rs−1​T′=Rt​Rs−1​(Rs​Rt−1​Tt​−Ts​)=Tt​−Rt​Rs−1​Ts​=T即有： R T ′ =T⇒ T ′ = R − 1 T= R T T \\mathbf{R} \\mathbf{T}^{\\prime} = \\mathbf{T} \\Rightarrow \\mathbf{T}^{\\prime} = \\mathbf{R}^{-1} \\mathbf{T} = \\mathbf{R}^T \\mathbf{T} RT′=T⇒T′=R−1T=RTT
则本质矩阵的计算方式为：
E = [ T ] × R = R [ R T T ] × = R [ T ′] × \\mathbf{E} = [\\mathbf{T}]_{\\times} \\mathbf{R} = \\mathbf{R} [\\mathbf{R}^T \\mathbf{T}]_{\\times} = \\mathbf{R} [\\mathbf{T}^{\\prime}]_{\\times} E=[T]×​R=R[RTT]×​=R[T′]×​可以看出代码中的 $\mathbf{E}$ 采取的计算方式是 R[ T ′ ] × \\mathbf{R} [\\mathbf{T}^{\\prime}]_{\\times} R[T′]×​。