惨遭 ICLR 拒绝的十大好论文：LeCun榜上有名，Yoshua连中两枪 | ICLR 2017

本文作者：杨文

编辑：郭奕欣

2017-04-27 17:53

专题：ICLR 2017

导语：研究者 Carlos E. Perez 在自己的博客上发布了一篇文章，细数了他认为不应该被拒的ICLR 2017十篇好论文。

第五届 ICLR 会议于当地时间 2017 年 4 月 24-26 日在法国土伦举行，到目前会议已结束一天，研究者 Carlos E. Perez 在自己的博客上发布了一篇文章，细数了他认为不应该被拒的十篇好论文。雷锋网对本文做了不改动原意的编译，未经许可不得转载。

第一篇：联合多任务模型：为多个自然语言处理任务增加一个神经网络（A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks）

作者：Kazuma Hashimoto, Caiming Xiong, Yoshimasa Tsuruoka, Richard Socher

论文链接：https://openreview.net/forum?id=SJZAb5cel

原因：这篇是其中最新颖的论文之一，展示了如何逐步增长神经网络。这篇论文之所以重要的原因是它展示了一个网络是如何通过使用转移学习和域名适应来成长的。目前还没有很多论文探讨这方面。

第二篇：分层存储网络（Hierartical Memory Networks）

作者：Sarath Chandar, Sungjin Ahn, Hugo Larochelle, Pascal Vincent, Gerald Tesauro, Yoshua Bengio

论文链接：https://openreview.net/forum?id=BJ0Ee8cxx

原因：这是另一篇关于自然语言处理的论文，令人惊讶的是被拒原因是因为作者都是明星研究者。这是大会上的第一篇探讨了内存层次结构的概念的论文，而目前大多数内存增强网络趋向于没有层次的内存结构。我认为，这篇论文不应该被这样轻易地错失掉。

第三篇：增强学习：通过慢速增强学习的快速增强学习（RL：Fast Reinforcement Learning via Slow Reinforcement Learning）

作者：Yan Duan, John Schulman, Xi Chen, Peter L. Bartlett, Ilya Sutskever, Pieter Abbeel.

论文链接：https://openreview.net/forum?id=HkLXCE9lx

原因：这是一篇突破性研究论文，而评论者却不确信这是一个突破性研究。我想没有给评论者留下深刻印象估计和RL命名习惯有关。关于元学习的任何东西都应该卖的很火。但这篇论文，尽管有优秀的作者，却还是被猛烈抨击，真是想不到。

第四篇：解密残差网络结构（Demystifying ResNet）

作者：Sihan Li, Jiantao Jiao, Yanjun Han, Tsachy Weissman

论文链接：https://openreview.net/forum?id=SJAr0QFxe

原因：我喜欢这篇论文是因为它在关于如何利用残差或跳过（skip）链接给了一些深刻见解的经验法则。是2016年度最火的创新，并且一些人在解构技术上做了一些尝试。其中一个控诉说在文中使用了简化模型。这个控诉当然是荒谬的。你难道不想用一个简化模型去描述另一个复杂系统吗？

第五篇：神经语言知识模型（A Neural Knowledge language Model）

作者：Sungjin Ahn, Heeyoul Choi, Tanel Parnamaa, Yoshua Bengio

论文链接：https://openreview.net/forum?id=BJwFrvOeg

原因：这是另一篇被拒的关于自然语言处理的论文。融合了知识库和深度学习应该算是一个非常大的创新。但这篇论文被驳回却是因为缺乏新颖性。最主要的不满竟然是写作风格。真是太不幸了！

第六篇：知识适应：教会适应（Knowledge Adaptation: Teaching to Adapt）

作者：Sebastian Ruder, Parsa Ghaffari, John G. Breslin

论文链接：https://openreview.net/forum?id=rJRhzzKxl

原因：我是第二遍看被拒论文名单才注意到这篇论文。我在这方面有点偏执，总是寻找领域适应和转移学习这方面的研究。这篇论文有非常好的想法，但还是被拒。

第七篇：张量混合模型（Tensorial Mixrure Models）

作者：Or Sharir, Ronen Tamari, Nadav Cohen, Amnon Shashua

论文链接：https://openreview.net/forum?id=BJluGHcee

原因：我是这篇论文的忠诚粉丝，看到了全息模型，不幸的是，评论家们对此持高怀疑态度，最终没能通过。

第八篇：深度神经网络的表现力研究。（On the Expressive Power of Deep Nural Networks）

作者：Maithra Raghu, Ben Poole, Jon Kleinberg, Surya Ganguli, Jascha Sohl-Dickstein

论文链接：https://openreview.net/forum?id=B1TTpYKgx

原因：基础理论研究和实验性论文是有利于深度学习研究的点金术。如果它们被扔到一边，恐怕研究就要搞砸了。

第九篇：深度学习的 Hessian 特征值：奇点与超越（Eigenvalues of the Hessian in Deep Learning: Singularity and Beyond）

作者：Levent Sagun, Leon Bottou, Yann LeCun

论文链接：https://openreview.net/forum?id=B186cP9gx

原因：这是故意向这些有名的作者脸上扔鸡蛋吗？我猜是基本实验数据不够吸引人才导致不通过。评语写的是：很有趣的实验数据，但是没有理论基础。说它完全是不切实际的期望。

第十篇：一个深度网络损失表面的实证分析（An Empirical Analysis of Deep Network Loss Surfaces）

作者：Daniel Jiwoong Im, Michael Tao, Kristin Branson

论文链接：https://openreview.net/forum?id=rkuDV6iex

原因：在我的另一篇文章中，我谈到了关于随机梯度下降作为一种隐式的正则化方法的另一个证据。遗憾的是我只放了一个本文的超链接。但真正令我惊讶的是，这些挖掘出了令人印象非常深刻的数据的研究者们却什么也没有得到，只有论文被拒的羞辱。

作者在文中最后表达出了他的看法和担心。他认为对研究深度学习的性质的实验研究实在是太少了。研究者们通常使用简化模型来执行易处理的分析。不过，如果只期望实验结果足够有价值，能给出一个机器是如何表现的描述，而不期望获得一个强大的理论成果，那也不行。在没有这类研究的情况下，我们大多数是在黑暗中摸索前进。同时担心目前的研究环境对深度学习研究者很不利。因为这个领域发展的太快，而很多评论者的世界观还没有和最新研究成果联系起来，导致很多具有突破性的研究论文被埋没。

雷锋网小结：不知大家看到这么多优秀论文被拒是什么心情，至少雷锋网编辑觉得是相当痛心。不过，身经百战的科研人员在无数次的拒绝中想必已经练就了强大的心理素质，再战下一次会议又有何难？

雷峰网版权文章，未经授权禁止转载。详情见转载须知。