Yoshua Bengio大神为什么要留在学术界？

本文作者：宗仁

2016-03-16 22:26

导语：作为仅存的几个仍然全身心投入在学术界的深度学习教授之一，雷锋网尽自己开扒小能手的义务，为大家找到了所有我们能找到的资料，让他不再活在传说中。

近日雷锋网对深度学习三巨头Hinton、LeCun、Bengio中的前两位做了生平开扒，就差最后一个Bengio了。作为仅存的几个仍然全身心投入在学术界的深度学习教授之一，他在网上能刮到的生平介绍自然比前两位少得多，但雷锋网还是尽自己开扒小能手的义务，为大家找到了所有我们能找到的资料，让他不再活在传说中。

1. 根据Bengio的博文自述，在20世纪80年代Bengio还是一个学生的时候，（深度学习只）是一个神经网络里的概念，也可以说是深度学习的前身，他对这个概念非常着迷并决定要在计算机科学领域开启他的学术生涯。

2. 根据网传的一张关系图，Bengio曾是吴恩达恩师Jordan的博士后（在他那里读的博士后）。

3. 1992-1993年时，Bengio与另一位深度学习大神Yann LeCun在AT&T 贝尔实验室是同事。

4. Bengio 的 A neural probabilistic language model" 这篇论文开创了神经网络做 language model 的先河。里面的思路影响、启发了之后的很多基于神经网络做 NLP（自然语音处理）的文章。

5. Bengio博士后的导师Jordan也曾提到：“到目前为止，在更高级的自然语言处理任务中，深度学习并未像在语音识别、物体识别（图像识别）等任务上做到的那样，显著降低错误率。”

所以在Hinton提出深度学习概念激活了整个领域、LeCun发表了卷积神经网络（CNN）这样的阶段性突破成果的前提下，Bengio对自然语音处理难题的贡献是非常有意义的，说不定几年后自然语音处理难题攻克后，他会更加名声大噪。

6. 他能跟Hinton、LeCun合称为3巨头，除了对RNN的一系列推动（neural language model，gradient vanishing 的细致讨论，word2vec的雏形）还有一个很重要的原因，他在神经网络不景气的时候还坚持神经网络研究，具备了一种超越普通学术热爱的品质。

7. 2013年一些业界大牛响应业界召唤去科技公司，Yoshua Bengio当时估计，全世界仅有约 50 名深度学习领域专家，其中许多还仍是研究生。

8. 2015年4月，吴恩达Reddit答粉丝问时提到他的时候，表示“Yoshua Bengio的许多理论研究对我有很大启发”。

9. 关于Bengio为什么不像其它两位大牛加入Google或者Facebook来让自己更加名声大噪，或许我们可以从Hinton的说辞中一窥一二。

10. Bengio在最近的博文中称，这个领域所需要做的事光靠几个“媒体明星”是远远不够的。为了达成更大的进步并实现更多的应用，人工智能领域无论在学术界还是工业界都需要成千上万个科学家和工程师们。

对于大公司的人才抢夺策略，Hinton曾说，“有些危险的是，如果足够多的大公司雇了足够多的研究人员，那么，大学就没有足够多的人来培养学生、进行纯粹的基础研究了。”但是，他又认为，技术公司已经意识到这些问题了，比如，谷歌希望Bengio继续自己的基础研究。所以，Bengio全身心投入在学术界，并不是因为他有多么排斥业界，而是他要留在学生界做更重要的事——带头培养成千上万个科学家和工程师们。

而另一方面，我们知道最近深度学习在各个领域应用之所以这么成功，主要得益于现在更为强大的计算机、可用的海量丰富数据集以及先进的算法，深度学习本身的理论进展却很小。自2006年Hinton、Yoshua Bengio、Yann Lecun等人提出、发表相关工作以来，在理论上我们并未获得大的进展，或许，这也是Bengio要继续留在学术界的另一个原因。