无人机辅助下的无人车视觉道路检测方法研究文献综述

情况下能够安全、可靠地在道路上行驶。无人驾驶技术由于在提高汽车安全和性能方面具备的潜力，从而在近些年逐渐引起人们的关注^[2]。从上个世纪中后期，西方各个发达国家便对无人驾驶汽车开展了深入研究，最早是由卡耐基梅隆大学在20世纪90年代提出的ALVINN；21世纪初，美国共举办了3届DARPA无人驾驶挑战赛。2009年，由丰田普锐斯(Toyota Prius)改装而成无人车成功谷歌第一代无人驾驶汽车。中国从20世纪80 年代开始进行无人驾驶汽车的研究，清华大学于1988年便对智能汽车的研究实现了突破，并在国家与相关项目资助下开发了能够实现车道线自动跟踪的THMR系列智能车。很多高校和研究机构都做了大量研究都做了大量的研究和研制工作，如国防科学 技术大学、军事交通学院、西安交通大学等高校对各自研发的自动驾驶汽车进 行了长距离外场试验，取得了不错的结果。此外，Google、百度等也一直致力 于无人车的研究，都推出了自主研发的无人汽车，如图2.1所示。

图2.1 谷歌无人驾驶汽车

2.2视觉道路检测方法概述

在无人车环境感知领域，道路检测是一项基础且重要的研究内容，其对保障智能车辆行车过程中的安全性来说具有极其为重要的意义。基于视觉的道路检测是无人车视觉导航的核心技术。它是指从视觉传感器获取的图像中检测出可通行的自由路面区域。基于视觉的道路检测一般可通过单目视觉、体视以及多视觉传感器（可见光、红外等）融合来实现。其中，基于单目视觉的道路检测方法具有成本低、能耗小以及安装方便等优点，已逐步成为 ADAS 和低成本机器人视觉导航系统未来的发展趋势^[3]。目前主流的单目视觉道路检测方法有两大类，一类采用传统图像分析方法，即以底层视觉特征提取和分析为主要手段；另一类是基于学习的方法，它又分为浅层学习方法和深度学习方法。

1）传统图像分析方法

传统图像分析方法又可被分成基于图像纹理特征^[4]和基于图像颜色特征^[5]以实现道路检测。前者主要通过检测图像中的边缘、消失点以及车道线等纹理特征以实现对道路的检测。此类算法的优点是简单、便于实现，缺点是道路的纹理特征会随着图像传感器与道路区域的距离的改变而有着较大的变化，且当智能车辆行驶的道路环境中存在车辆、行人等障碍物时，部分道路纹理信息会被遮挡，最终导致道路检测算法失败。基于图像颜色特征的道路检测算法主要通过区分可行驶道路区域和非可行驶区域颜色的不同来检测道路。相比较道路纹理特征，道路颜色特征可以给出更稳定且更具辨别力的信息，但此类算法容易受到阴影、强光等光照变化的影响。

1. 基于学习方法

基于学习方法^[6]的道路可行驶区域检测算法又可以被细分为基于传统分类器和基于深度学习的方法。基于传统分类器的方法通过训练SVM^[7]、Random Forest 等传统分类器进行图像区域的的分类；基于深度学习的方法主要通过深度卷积神经网络结构进行特征提取并对图像区域或图像像素进行分类。此类算法的优势是道路检测准确率较高，但需要进行大量参数的训练和优化，算法需要较为昂贵的硬件支持，且数据集的标注工作极为耗时，此外，当待检测的图像与训练集图像道路场景区别较大时，此类算法往往无法正确的实现对道路区域的检测。近年来，深度学习取得了很大进展。基于深层神经网络的办法在各种计算机视觉任务中获得了一种先进的性能，例如场景识别和对象检测。道路检测方面的研究人员也在深度学习中寻求支持作用，用深层神经网络的能力来解决问题，进而来提高道路检测数据的解释与理解。大量的基于深度学习的方法如U-net^[8]等图像语义分割方法在道路检测中获得了很好的效果。

3.图像语义分割技术

在无人车相关研究领域，为了获取更全面的环境信息，通常将道路场景图像的语义分割技术作为环境感知问题的核心解决方案。图像语义分割方法分为传统语义分割方法和基于深度学习的语义分割方法。深度学习技术在计算机视觉领域的应用，使得图像语义分割技术得到了良好的发展。

在深度学习得到快速发展之前，相关学者通常利用传统的拓扑学、数学、数字图像处理等方面的知识来实现对图像的分割。依据算法的设计原理，主要分为基于阈值、基于边缘、基于区域、基于图论以及基于遗传算法的图像分割方法等类型。其中，基于阈值的图像分割方法主要根据通过计算得到的阈值与图像像素值比较的结果，将图像像素分配到合适的类别中。基于边缘检测的图像分割算法鉴于图像中不同的语义的边缘部分像素灰度值变化相对较大的原理，通过检测图像不同区域的边缘来解决图像的分割问题。基于区域的分割方法的设计原理是将相似的图像像素集合构成不同的区域，此类算法又可以被细分为区域生长法、区域分裂合并法以及分水岭算法。基于图论的图像分割方法的基本原理是通过构建的带权无向图表征图像的信息，在此基础上将图划分为不同的子图来实现对图像的分割。基于遗传算法的图像分割方法主要通过模拟由一些基因串控制的生物群体的进化过程，来到达对图像进行分割的目的。概括地说，在深度学习技术快速发展并被引入图像语义分割领域之前的图像分割算法主要基于传统的数字图像处理及机器学习技术，此类算法的准确性和鲁棒性较差，无法实现对交通环境复杂场景的分析及理解。

与传统语义分割技术相比较，基于深度学习的图像语义分割方法可以依靠计算机的自我学习获得像素到语义的转换，实现端到端的语义分割，同时在精度方面与实时性方面基于深度学习的语义分割方法普遍高于传统方法，特别是针对复杂场景。通常采用卷积神经网络的形式将图像进行像素级分类并分割为表示不同语义类别的区域。稍早些的深度模型专注于局部图像块，Alvarez^[9]将深度学习应用于道路检测中，通过卷积神经网络自动从图像块学习分类特征，并在多个尺度上对学习到的特征进行集成，实现道路的检测。这些模型只专注于学习道路的表观特征。然而，局部图像块本身含有的分类信息是有限的。为此，一些研究者在网络架构的设计中考虑更多的场景语义信息,如 Brust^[10]通过在卷积神经网络中引入图像块的空间和结构信息提升了道路检测性能。此外，由于道路检测本身也可看成是一个分割问题，因此，深度学习在语义分割方面的成果也在道路检测问题上得到了验证，如全卷积网络^[11]、逆卷积网络^[12]、SegNet^[13]等。 Long^[14] 等人于 2015 年提出了用于图像语义分割任务的全卷积神经网络（Fully Convolutional Network, FCN）^[15]模型,如图3.1，首次将深度学习技术引入语义分割领域，并以其相对传统算法巨大的优势开辟了新的思路。FCN 网络使用VGG-16 网络架构作为特征提取器，取消了对 VGG-16 网络中最后的池化层（Pooling Layer）以及全连接层（Fully Connected Layer）的使用，这样做的好处是消除了输入图像分辨率大小必须固定的限制，换言之，FCN 网络结构的输入图像可以是任意的分辨率大小的图像。然而 FCN 语义分割算法的不足是其无法对小尺寸的物体或者物体的细节部分进行准确地分类。随后的语义分割方法，大部分都是基于 FCN 的改进以及演化。U-Net^[16]是对 FCN 架构的升级，该算法的名称来源于其网络结构近似于英文字母 U 的形状，其在 FCN 语义分割算法的基础上使用了更多的图像底层特征。总的来说，深度学习技术的应用促进了语义分割任务的快速发展，使得语义分割的性能得到了前所未有的提升，很多基于深度学习的算法都在语义分割问题上取得了传统方法所无法达到的高度。综上所述，基于深度学习的图像语义分割算法可以用来实现对复杂场景的分析及理解。

图3.1 FCN网络模型^[15]

4.结论

尽管近年来随着图像处理、计算机视觉以及深度学习等技术的飞速发展，基于视觉的智能车辆环境感知各项关键技术已经有了巨大的突破和长足的进步，本项目关注的是在某个未知道路环境下，利用无人机辅助无人车，并以深度学习的方式获得有效的道路检测分类器。我们不追求学习出的分类器具有较强的泛化能力，而希望能针对该特定道路环境，学习出的分类器效果尽可能好而且快。这在无人车执行抢险搜救等特殊任务时显得特别有用。

为此，本项目研究一种深度学习方式下利用无人机辅助无人车实现道路检测的方法。具体包括：研究利用深度网络模型实现准确的无人机航拍图像道路检测和无人车前视图像的道路检测方法；研究无人机和无人车联合在线学习机制，以进一步提升道路检测的准确性和环境适应能力。本项目研究有望提升无人车视觉导航的智能化程度，且为场景理解、多机器人协同等方向提供有益的借鉴。

参考文献

[1] Gao H,Cheng B,Wang J,et al.Object Classification using CNN-Based Fusion of Vision and LIDAR in Autonomous Vehicle Environment[J].IEEE Transactions on Industrial Informatics,2018,PP(99):1-1.

[2] He S,Wang M,Dai S L,et al.Leader-Follower Formation Control of USVs With Precibed Performance and Collision Avoidance[J].IEEE Transactions on Industrial Informatics,2018:1-1.

[3] K. Lukas, K. Saman, W.Volker Motion control for UAV-UGV cooperation with

visibility constraint. IEEE Conference on control application, 2015.

[4] P. Moghadam, J.A. Starzyk, W.S.Wijesoma. Fast vanishing-point detection in unstructed environment, IEEE Transaction on image processing, 21(1):425-430, 2012.

[5] J. M. Alvarez, T. Gevers, A. M. Lopez. Evaluating color representations for on-line road detection, Workshop of ICCV, 2013.

[6] 任凤雷.基于智能车辆视觉导航的环境感知技术研究,中国科学院大学,2020.

[7] 王强.基于SVM的煤矿巷道围岩稳定性预警模型研究,西安科技大学,2020.

[8] 王荣本,徐友春,李兵,等.基于线性模型的导航路径图像检测算法研究[J].公路交通科技,2001,18(2):47-51.

[9] J.M. Alvarez, T. Gevers, Y. LeCun, A.M. Lopez, Road scene segmentation from a single image. European Conf. on Computer Vision,376-389,2012.

[10]C.A.Brust, S. Sickert, M.Simon, E. Rodner, J. Denzler. Convolutional patch network with spatial prior for road detection and urban scene understanding, arxiv,2015.

[11]J. Long, E. Shelhamer, T. Darrell. Fully convolutional networks for semantic segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 3431-3440,2015.

[12]H. Noh, S. Hong, B. Han. Learning deconvolution network for semantic

segmentation. Proceedings of the IEEE International Conference on Computer Vision.1520-1528, 2015.

[13]V. Badrinarayanan, A. Kendall, R. Cipolla. Segnet: A deep convolutional

encoder-decoder architecture for image segmentation[J]. arXiv preprint

arXiv:1511.00561, 2015.

[14]LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic

segmentation; proceedings of the Proceedings of the IEEE conference on computer vision and pattern recognition, F, 2015 [C].

[15]Shelhamer E, Long J, Darrell T. Fully Convolutional Networks for Sma ntic

Segmentation[J].IEEE Transactions on Pattern Analysis amp; Machine Intelligence, 2017, 39(4): 640-651.

[16]RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation; proceedings of the International Conference on Medical image computing and computer-assisted intervention, F, 2015 [C].Springer.