2021 Deep Learning for 3D Point Clouds: A Survey （1）

点云上的深度学习越来越受到人们的关注，尤其是在过去的五年里。还发布了几个公开可用的数据集，如ModelNet[6]、ScanObjectNN[7]、ShapeNet[8]、PartNet[9]、S3DIS[10]、ScanNet[11]、Semantic3D[12]、ApolloCar3D[13]和KITTI视觉基准套件[14]、[15]。

我们的论文是第一篇专门关注点云理解的深度学习方法的论文。

![[Pasted image 20250723135431.png]]

对于3D形状分类，有两种类型的数据集：合成数据集[6]，[8]和现实世界数据集[7]，[11]。合成数据集中的对象是完整的，没有任何遮挡和背景。相比之下，现实世界数据集中的对象在不同程度上被遮挡，一些对象被背景噪声污染。

对于3D点云分割，这些数据集由不同类型的传感器获取，包括移动激光扫描仪（MLS）[15]、[34]、[36]、航空激光扫描仪（ALS）[33]、[38]、静态地面激光扫描仪（TLS）[12]、RGB-D相机[11]和其他3D扫描仪[10]。这些数据集可用于开发各种挑战的算法，包括类似的干扰因素、形状不完整性和类别不平衡。

3 3D SHAPE CLASSIFICATION

• 基于多视图的方法将非结构化点云投影到二维图像
• 基于体积的方法将点云转换为三维体积表示然后，利用成熟的2D或3D卷积网络来实现形状分类。
• 基于点的方法直接在原始点云上工作，而无需任何体素化或投影。基于点的方法不会引入显式的信息丢失，并且越来越受欢迎。

3.1 Multi-View Based Methods

将3D形状投影到多个视图中并提取视图特征，然后融合这些特征以进行精确的形状分类。将视图特征转化为判别性全局表示是这些方法面临的一个关键挑战。

3.2 基于体素的方法

这些方法通常将点云体素化为3D网格，然后在体积表示上应用3D卷积神经网络（CNN）进行形状分类。

VoxNet、基于卷积深度信念的3D ShapeNets。尽管取得了令人鼓舞的性能，但这些方法无法很好地扩展到密集的3D数据，因为计算和内存占用随着分辨率的增加而呈立方体增长。

引入了一种==分层和紧凑的结构（如八叉树）==来降低这些方法的计算和内存成本。OctNet[49]首先使用混合网格八叉树结构对点云进行分层划分。

Wang等人[50]提出了一种基于八叉树的CNN用于3D形状分类。与基于密集输入网格的基线网络相比，OctNet对高分辨率点云的内存和运行时间要求要低得多。

Le等人[51]提出了一种称为PointGrid的混合网络，它集成了点和网格表示，以实现高效的点云处理。

Ben-Shabat等人[52]将输入点云转换为3D网格，这些网格进一步由3D修改的Fisher矢量（3DmFV）方法表示，然后通过传统的CNN