0
雷锋网(公众号：雷锋网)按：本文由图普科技编译自《Milestones of Deep Learning》，雷锋网独家首发。
“深度学习”自问世到现在已有大约十年的时间了，从一开始，它就因为其巨大的成功风靡全世界。以下是“深度学习”在这些年的发展过程中所取得的一些重大成就。
AlexNet架构（图片来自题为《ImageNet Classification with Deep Convolutional Neural Networks》的研究论文）
· AlexNet的出现证明了“卷积神经网络”确实奏效。AlexNet及其研究性论文《ImageNet Classification with Deep Convolutional Neural Networks》被认为是推动深度学习进入主流的最重要动力。
· AlexNet以15.4%的低失误率夺得2012年ILSVRC（ImageNet大规模视觉识别挑战赛）的冠军。（亚军得主的失误率为26.2%。）
· AlexNet含有8个层，其中5个为卷积层，3个为全连接层。
· 将ReLU用于非线性函数，而非传统的tanh函数。
· 引入了漏失层和数据增强以克服过度拟合的问题。
《ImageNet Classification with Deep Convolutional Neural Networks》，作者Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton。
ZF网络架构（图片来自题为《Visualizing and Understanding Convolutional Networks》的研究论文）
· 以11.2%的低失误率夺得2013年ILSVRC冠军。
· 与AlexNet架构相似，ZF网络也是在一些调整和优化中不断提高了其工作性能。
· 引入了一项可视化技术——“转置卷积网络”——来观察卷积神经网络的内部工作原理。
《Visualizing and Understanding Convolutional Networks》，作者Matthew D. Zeiler和Rob Fergus。
VGG网络架构（图片来自Keras博客：https://blog.keras.io）
· 以7.3%的失误率取得了2014年ILSVRC的“分类及定位”比赛的单项冠军。
· VGG网络架构擅长图像分类及图像定位。
· VGG网络含有19个层，其过滤器为3x3（AlexNet的过滤器为11x11，ZF网络则为7x7。）
· 简单的深度结构对于分层特征提取十分有效。
《Very Deep Convolutional Networks for Large-scale Image Recognition》，作者Karen Simonyan和Andrew Zisserman。
GoogLeNet网络架构（图片来自题为《Going Deeper with Convolutions》的研究论文）
· 以6.7%的失误率取得了2014年ILSVRC的冠军。
· 引入了“Inception单元”，强调了卷积神经网络的层不需要每次都按照顺序排列叠加。
“Inception单元”（图片来自题为《深入卷积》的研究论文）
· 含有22块的网络层（单独看，每一块含超过100个层。）
· 非全连接层
· GoogLeNet证明，优化的非连续结构的性能可能比连续结构的性能还要好。
《Going Deeper with Convolutions》，作者Christian Szegedy等人。
ResNet网络架构（图片来自题为《Deep Residual Learning for Image Recognition》）
· 以3.6%的失误率取得了2015年ILSVRC的冠军。（据了解，普通人的失误率大约为5-10%，ResNet的准确度超过了人类水平。）
· ResNet网络是有着152个层的“超深度”网络架构。
· 引入了“残差块”以减少过拟合。
残差块（图片来自题为《Deep Residual Learning for Image Recognition》的研究论文）
《Deep Residual Learning for Image Recognition》，作者Kaiming He、Xiangyu Zhang等人。
伴随着深度学习模型对人类能力的一次次超越，在未来几年，我们一定能看到更多有趣的深度学习模型，及其重大成就。
重新回顾上面的内容，你可能会有这样的疑惑——“深度学习”是否就是“卷积神经网络”呢？
答案：不全是。
事实上，下面的模型都被称为“深度学习”：
· 卷积神经网络
· 深度玻尔兹曼机
· 人工神经网络
· 堆栈式自编码器
在以上的例子中，“卷积神经网络”是“深度学习”领域最突出且定义最明确的，至少目前是这样。但是，我们必须始终记住“卷积神经网络”并不是“深度学习”的全部内容。
查看文章——《What is Deep Learning? 》。了解“深度学习”是怎么来的，以及它与机器学习和人工智能有着什么样的关系。
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
