论文笔记：Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting(1)

方法

车队会记录大量未标注的序列LiDAR点云X−T:T\\textbf{X}_{-T:T}X−T:T​，同时记录每一帧的传感器位置o−T:T\\textbf{o}_{-T:T}o−T:T​，我们将X−T:0\\textbf{X}_{-T:0}X−T:0​和o−T:0\\textbf{o}_{-T:0}o−T:0​记录为历史部分，X1:T\\textbf{X}_{1:T}X1:T​和o1:T\\textbf{o}_{1:T}o1:T​记录为未来部分

标准的点云预测办法$g$，将过去点云作为输入，来预测未来点云：X^1:T=g(X−T:0)\\hat{\\textbf{X}}_{1:T}=g(\\text{X}_{-T:0})X^1:T​=g(X−T:0​) $(1)$

我们的方法将未来LiDAR点云x∈Xt,t=1...T\\textbf{x} \\in \\textbf{X}_t, t = 1 ... Tx∈Xt​,t=1...T重参数化成一条射线：该射线从传感器位置ot\\textbf{o}_tot​出发，沿方向$\text{d}$，经过距离$\lambda$后到达终点$\text{x}$：x=ot+λd,x∈Xt\\textbf{x} = \\textbf{o}_t + \\lambda \\textbf{d}, \\textbf{x} \\in \\textbf{X}_tx=ot​+λd,x∈Xt​ $(2)$

我们的方法$f$在未来时间$t$选取一条通过原点和方向(ot,d)(\\textbf{o}_t, \\textbf{d})(ot​,d)进行参数化的射线。然后在给定过去点云X−T:0\\textbf{X}_{-T:0}X−T:0​和传感器位置o−T:0\\textbf{o}_{-T:0}o−T:0​的情况下，预测射线经过距离λ^\\hat{\\lambda}λ^：λ^=f(ot,d;X−T:0,o−T:0)\\hat{\\lambda}=f(\\textbf{o}_t, \\textbf{d}; \\textbf{X}_{-T:0}, \\textbf{o}_{-T:0})λ^=f(ot​,d;X−T:0​,o−T:0​) $(3)$

公式(3)与Nerf类似，Nerf预测颜色，本文预测深度

Spacetime (4D) occupancy

将spacetime occupancy定义为特定时间点的3D位置占用状态。使用$\text{z}$来表示真实的spacetime occupancy，由于视线可见性的限制，可能无法直接进行观测。给定一个有界时空4D volume $\mathcal{V}$，该volume被离散为时空voxel $\text{v}$。可以使用z[v]∈{0,1},v=(x,y,z,t),v∈V\\textbf{z}[\\textbf{v}] \\in \\{0, 1\\}, \\textbf{v}=(x, y, z, t), \\textbf{v}\\in \\mathcal{V}z[v]∈{0,1},v=(x,y,z,t),v∈V $(4)$来表示时空voxel grid $\mathcal{V}$中voxel $\text{v}$的占用状态，该状态可以是占用(1)或者空闲(0)。

我们通过学习一个占用预测网络$h$(由$\text{w}$进行定义)，根据历史点云和传感器位置来预测离散化的四维时空占用：z^=h(X−T:0,o−T:0;w)\\hat{\\textbf{z}}=h(\\textbf{X}_{-T:0}, \\textbf{o}_{-T:0}; \\textbf{w})z^=h(X−T:0​,o−T:0​;w) $(5)$，其中z^[v]∈R[0,1]\\hat{\\textbf{z}}[\\textbf{v}] \\in \\mathbb{R}_{[0, 1]}z^[v]∈R[0,1]​表示预测的占用

Depth rendering from occupancy

给定射线query $\text{x}=\text{o}+\lambda \text{d}$，目标是预测λ^\\hat{\\lambda}λ^与真实$\lambda$尽可能接近。我们首先通过voxel遍历计算其与占用grid的交集(Fig 4)。假定射线和列表voxels{v1...vn}\\{\\textbf{v}_1... \\textbf{v}_n\\}{v1​...vn​}相交。假设射线只能停在voxel的边界或者无限远处，从而对射线空间进行离散化，我们将voxel vi\\textbf{v}_ivi​解释为从voxel vi−1\\textbf{v}_{i-1}vi−1​发出的射线在voxel vi\\textbf{v}_ivi​停止的条件概率，可以写为：pi=∏j=1i−1(1−z^[vj])z^[vi]p_i = \\prod_{j=1}^{i-1} (1 - \\hat{\\textbf{z}}[\\textbf{v}_j]) \\hat{\\textbf{z}}[\\textbf{v}_i]pi​=∏j=1i−1​(1−z^[vj​])z^[vi​]，其中pip_ipi​表示射线停在voxel vi\\textbf{v}_ivi​的概率。现在可以通过计算期望中的停止点来渲染距离λ^=f(o,d)=∑i=1npiλ^i\\hat{\\lambda} = f(\\textbf{o}, \\textbf{d}) = \\sum_{i=1}^{n}p_i\\hat{\\lambda}_iλ^=f(o,d)=∑i=1n​pi​λ^i​，λ^i\\hat{\\lambda}_iλ^i​表示voxel vi\\textbf{v}_ivi​的停止距离。

从上式可看出不考虑射线停在voxel grid外面的情况，该停止距离未定义（将在无限远处停止）。在训练时，在真实的grid外部设置一个虚拟的停止点：
λ^=f(o,d)=∑i=1npiλ^i+∏i=1n(1−pi)λ^n+1\\hat{\\lambda} = f(\\mathbf{o}, \\mathbf{d}) = \\sum_{i=1}^{n} p_i \\hat{\\lambda}_i + \\prod_{i=1}^{n} (1 - p_i) \\hat{\\lambda}_{n+1}λ^=f(o,d)=∑i=1n​pi​λ^i​+∏i=1n​(1−pi​)λ^n+1​，其中λ^n+1=λ\\hat{\\lambda}_{n+1} = \\lambdaλ^n+1​=λ.

Loss function

使用L1 loss来训练occupancy prediction network：
L(w)=∑(o,λ,d)∈(X1:T,o1:T)∣λ−f(o,d;X−T:0,o−T:0,w)∣L(\\mathbf{w}) = \\sum_{(\\mathbf{o}, \\lambda, \\mathbf{d}) \\in (\\mathcal{X}_{1:T}, \\mathbf{o}_{1:T})} \\left| \\lambda - f(\\mathbf{o}, \\mathbf{d}; \\mathbf{X}_{-T:0}, \\mathbf{o}_{-T:0}, \\mathbf{w}) \\right|L(w)=∑(o,λ,d)∈(X1:T​,o1:T​)​∣λ−f(o,d;X−T:0​,o−T:0​,w)∣