文献综述（或调研报告）：
1956年，几个计算机科学家相聚在达特茅斯会议（Dartmouth Conferences），提出了“人工智能”的概念。其中，机器学习是人工智能的一个分支，机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。机器学习发展分为两个阶段，起源于上世纪20年代的浅层学习（Shallow Learning）和最近几年发展迅速的深度学习（Deep Learning）。
1943年，人工神经网络这一概念首次被提出，开启了人们对人工神经网络的研究 。1957年，感知器（Perceptron）人工神经网络模型被提出并实现，而Perceptron不仅是卷积网络，也是神经网络的始祖。
20世纪80年代, 日本科学家Kunihikoensp;Fukushima提出Neocognitron（神经认知机）, Neocognitron是一种多层级的神经网络，具有一定程度的视觉认知的功能，并直接启发了后来的卷积神经网络。1997,CNN之父Yannensp;LeCun提出LeNet-5，这是个多层级联的卷积结构，可对手写数字进行有效识别[1]。
此后，深度学习研究一直停滞不前，直到2006年，加拿大多伦多大学教授Geoffrey Hinton对深度学习的提出以及模型训练方法的改进打破了BP神经网络发展的瓶颈[2]，使得深度学习受到科研机构、工业界的高度关注。
图1 卷积神经网络发展图
从图1中可以看出，前三次关于卷积神经网络的技术突破，间隔时间非常长，需要十余年甚至更久才出现一次理论创新。而后于2012年，杰弗里·辛顿的学生Krizhevsky等人在图片分类比赛ImageNet中训练出了AlexNet[3]，以压倒性优势拿到了ILSVRC 2012的冠军。瞬间点燃了卷积神经网络研究的热潮。AlexNet成功应用了ReLU激活函数、Dropout、最大覆盖池化、LRN层、GPU加速等新技术，并启发了后续更多的技术创新。在AlexNet之后，卷积神经网络的发展可分为两类，一类是网络结构上的改进调整（图1中的左侧分支），另一类是网络深度的增加（图1中的右侧分支）。
2013年，颜水成教授发表Networkensp;inensp;Network[4]，优化了卷积神经网络的结构，并推广了1*1的卷积结构。2014年的Googleensp;Inceptionensp;Netensp;V1[5]，提出了Inceptionensp;Module这个可以反复堆叠的高效的卷积网络结构，并获得了当年ILSVRC比赛的冠军。2015年初的Inceptionensp;V2[6]提出了Batchensp;Normalization，大大加速了训练过程，并提升了网络性能。2015年年末的Inceptionensp;V3[7]则继续优化了网络结构，提出了Factorizationensp;inensp;Smallensp;Convolutions的思想，分解大尺寸卷积为多个小卷积乃至一维卷积。
在另一条分支上，许多研究工作致力于加深网络层数，2014年，ILSVRC比赛的亚军VGGNet[8]全程使用3*3的卷积，成功训练了深达19层的网络。2015年，微软的ResNet[9]成功训练了152层深的网络，一举拿下了当年ILSVRC比赛的冠军，top-5错误率降低至3.46%。其后又更新了ResNetensp;V2[10]，增加了Batchensp;Normalization，并去除了激活层而使用Identityensp;Mapping或Preactivation，进一步提升了网络性能。此后，Inceptionensp;ResNetensp;V2融合了Inceptionensp;Net优良的网络结构，和ResNet训练极深网络的残差学习模块，集两个方向之长，取得了更好的分类效果。
