0
雷锋网 AI 科技评论按：自从深度学习在各项任务中频频取得佳绩、人工智能的研究员也越来越受追捧以来，许多人都加入了相关领域开始工作或者学习。不过，除了元老级的教授和研究人员之外，恐怕多数后来者都不是特别清楚神经网络的干柴是如何被点燃成熊熊烈火的。
近日 Ian Goodfellow、François Chollet、Yann LeCun 等人就在推特上简单讨论了「深度学习是怎么火起来的？应该归功给谁？」雷锋网 AI 科技评论把他们的讨论内容整理如下。
「GANs 之父」、谷歌大脑高级研究员 Ian Goodfellow 首先发推说道：
「看到很多人把深度学习看作是通过反向传播完成的监督学习，这事真的很奇怪，要知道 2006 年的深度学习革命最初就是基于反向传播和监督学习两件事都不是很奏效的观点的。」
在这条推文下面与网友的讨论中，Ian Goodfellow 也继续补充说明了自己的观点：
监督学习和基于梯度的优化方法，两者的实际表现都比人们开始想象的要好，所以做深度学习的人才开始用它们了。
（回复网友「Hinton 的无监督预训练和深度置信网络并没能给深度学习带来什么突破。6 年后使用了监督学习和反向传播的 AlexNet 才是突破（当然了还有 GPU、卷积层、ReLU、dropout）」）无监督预训练和深度置信网络是另一件 2006 开始的更大的变革的一部分。Yoshua 的实验室在去噪和压缩自动编码器的堆叠上做了很多工作，Yann 的实验室在预测性稀疏分解等模型的堆叠上做了很多工作。
Keras作者、谷歌大脑高级研究员 François Chollet 几个小时后也发出推文：
「我看到很多人都言之凿凿地说深度学习的大爆发开始于 Krizhevsky 等人 2012 年的成果。但是我很少看到有人记得 Ciresan 等人也有功劳，他们 2011 年的时候就用 CUDA 实现深度卷积网络、在 NVIDIA GPU 上训练，并赢得了图像分类比赛冠军。」「我指的是 IJCNN 2011 上的德国交通信号灯识别比赛，以及 ICDAR 2011 中文手写字符识别比赛。」
然后（话很多的） François Chollet 也在下面评论区继续着讨论，「CNN之父」、Facebook 人工智能实验室总监 Yann LeCun 也参与了进来：
François：我还记得自己在 2014 年的时候问过 Dan Ciresan 怎么看 Torch7，那时候我还是 Torch 用户。他给我的回答简单总结一下是说，他觉得里面的 bug 一串接着一串没法用，他还是更喜欢用自己写的 CUDA 代码。那时候我不太赞同他的立场（现在也不）。
Ian：这篇论文里的卷积网络在CUDA出现之前就用了GPU https://hal.inria.fr/inria-00112631/document
Yann：回复 Ian ：没错。那个时候（2005 年）微软研究院的 Patrice Simard 还需要向 NIVIDA 要一些专用文件。把多重卷积操作转换成矩阵乘积比较快的这件事是他的团队首先发现的。
François：回复 Ian ：你觉得哪个是更大的突破？是卷积网络在 GPU 上运行得更快了，还是卷积网络可以赢下参与者众多的图像分类比赛？
Ian：回复 François ：2011 年的时候我也用 GPU 上跑的卷积网络赢过机器学习比赛（NIPS 的迁移学习比赛），不过我没觉得这是深度学习大爆发的开始
Yann：回复 François ：后者更重要。其实在用上 GPU 、拿下交通信号灯比赛冠军之前，卷积网络就在一系列 benchmark 中取得了最佳成绩。只是那时候整个社区还不相信卷积网络，或者是觉得这之间没什么联系。ImageNet 比赛改变了这一切。
François：回复 Ian ：我觉得没人会低估 AlexNet 一举掀起深度学习热潮的重要意义（明摆着的）。不过同时也很难否认这就是当时的浪潮的一部分。讨论归功给谁很复杂，我们这个社区在这件事情上并没有一直做得很好。
François：回复 Ian ：再说明白一点：讨论做出的贡献的时候，人们往往会掉进「赢者通吃」的观念里，把创新的想法看作是逐渐的积累过程，而其实宏观的趋势可能要比单个人的贡献更重要。
讨论最后总结一下，三个人表达的意思分别是：
Ian Goodfellow：神经网络发生革命的原因并不是反向传播和监督学习，它们只是如虎添翼。GPU 的使用也并不是革命性因素。
François Chollet：当时的趋势就是很多人都在用 GPU 运行神经网络，我们事后不应该只归功给 AlexNet。
Yann LeCun：在 AlexNet 之前，运行在 GPU 上的卷积神经网络就已经成绩斐然，但正是 AlexNet 在 ImageNet 比赛上的亮眼表现成功赢得了整个领域的关注。
过去的事情毕竟已经过去了，不过这简单的回顾也提醒了我们，一方面不要把反向传播和有监督学习看作是深度学习的理所当然，另外也要正确认识技术趋势和其中涌现出的典型成果之间的关系。
via Twitter，雷锋网 AI 科技评论整理编译
相关文章：
Yann LeCun 怒喷 Sophia：这就是彻头彻尾的骗局
“深度学习才不是炼金术”，Yann LeCun为这个和NIPS获奖论文作者掐起来了
奇点后人工智能会大爆发吗？Keras作者François Chollet：你们想多了，不会的
Ian Goodfellow叒来探讨安全问题了，noisy SGD和PATE能满足传统计算机安全原则吗？
MIT TR 35揭晓：阿里巴巴王刚、吴翰清等六位华人当选，Ian Goodfellow上榜
吴恩达亲自采访百度林元庆和谷歌 Ian Goodfellow，他们对刚入门者有何忠告？
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
