大规模场景点云数据集构建文献综述

 2022-11-26 15:27:28

近年来点云由于在计算机视觉,自动驾驶和机器人等许多领域的广泛应用,引起了越来越多的关注。深度学习作为AI中的主要技术,已成功用于解决各种2D视觉问题。但是,由于使用深度神经网络处理点云所面临的独特挑战,例如数据集规模小,维数高,3D点云的无序、非结构化性质等,点云上的深度学习仍处于起步阶段[1]。近年来,在点云上的深度学习蓬勃发展,提出了许多方法来解决该领域的不同问题,也提出了很多数据集协助研究。目前例如SemanticKITTI,Cityscapes等室外场景数据集主要是服务于无人驾驶研发的街景数据集,至今仍然缺少一个涵盖街道、公园、学校、小区和野外等不同类型场景的大规模公开三维点云数据集。本文对点云语义分割方法进行了综述,同时对一些可公开获得的数据集进行了介绍。

1 点云

随着3D采集技术的飞速发展,3D传感器变得越来越便宜可用,包括各种类型的3D扫描仪、LiDAR和RGB-D相机[2]。这些传感器获取的3D数据可以提供丰富的几何、形状和比例信息[3], [4]。3D数据与2D图像互补,为更好地了解机器周围环境提供了机会。3D数据在不同领域有着众多应用,包括自动驾驶、遥感、医疗和设计行业[5]。

3D数据通常可以用不同的格式表示,包括深度图像,点云,网格和体积网格。点云是一种常用的3D数据表示格式,它是三维度量空间中定义的点的集合,它将原始几何信息保留在3D空间中而不会进行任何离散化,因此,它是许多场景理解相关应用的首选表示形式,也是3D表示中最重要的数据格式之一[6]。

2 点云语义分割

语义分割作为计算机视觉最重要的研究技术之一,于20世纪70年代首次提出,其目的是将场景中的每个像素或点划分为具有特定语义类别的多个区域[7] 。点云语义分割就是对每一点进行预处理,赋予一个语义标签,其目的是根据点的语义信息将点云分成不同的子集。近年来随着三维深度学习的发展,语义分割技术得到了广泛的应用。

2.1 基于传统方法

传统的点云分割算法主要包括:基于方法关于属性聚类,基于模型拟合的方法,基于区域生长的方法,基于图割的方法,基于边的方法。然而,这些方法采用了来自几何约束的手工特征,并且一些方法受到假定先验知识的限制。而参数的调整又是难以控制的[8]。

2.2 基于深度学习方法

随着深度学习的普及,深度神经网络极大地促进了计算机视觉技术的发展。 越来越多的使用深度神经网络的模型提取特征以实现点云语义分割的模型不断涌现。与传统算法相比,基于深度学习技术的模型具有更高的性能并达到了更高的基准[8]。这些方法主要分为两大类:

2.2.1 基于投影的方法

① 基于多视图的方法

基于多视图的方法将3D对象投影到多个视图中,并按视图提取对应的特征,然后融合这些特征从而进行准确的对象识别。

Su等人[9]首先提出了基于图像的多视图CNN(MVCNN),该工作促进了3D数据处理的发展,它不仅将CNN应用到了点云这种无结构化的数据中,而且有效地实现了点云的分类和分割任务。相比于传统方法,MVCNN取得了较好的效果,但投影处理导致大量关键几何空间信息修饰,影响了点云分割精度。Boulch等人[10]提出的SnapNet改善了信息丢失的问题。Tatarchenko等[11]提出的TagentConv介绍了切线卷积的密集点云分割。该方法首先投影到虚拟切平面,然后直接在曲面几何上进行运算。这种方法可伸缩性较高,并且适用于大规模点云分割。

总体而言,基于多视图分割方法的性能对视点选择和遮挡敏感。此外,这些方法还没有充分利用基础的几何和结构信息,因为投影步骤不可避免地会导致信息丢失[12]。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

发小红书推广免费获取该资料资格。点击链接进入获取推广文案即可: Ai一键组稿 | 降AI率 | 降重复率 | 论文一键排版