五大顶尖企业研究院的116篇论文ICLR2018录用论文，七大趋势全解读

雷锋网 AI 科技评论按：时间过得好快，Yann LeCun 仿佛刚刚在 Twitter 上感慨 ICLR 2018 的参会人数比 2017 年再次翻倍，而现在 ICLR 2018 已经于加拿大当地时间 5 月 3 日结束了。

谷歌、DeepMind、Facebook、OpenAI、微软，这 5 个雷锋网 AI 科技评论重点关注的科技公司在今年 ICLR 中共贡献了 9 篇 oral（口头报告）论文和 107 篇 poster（海报展示）论文，在会议接受论文总数的 23 篇 oral、314 篇 poster 中已经占据了接近半壁江山。（谷歌、FB、微软重点在于其中的人工智能研究机构：谷歌大脑/谷歌 AI，Facebook 人工智能研究院，微软研究院）

每家机构的数量方面，DeepMind 22 篇、谷歌 47 篇、Facebook 25 篇、OpenAI 7 篇、微软 15 篇。谷歌和 DeepMind 加起来就占了会议总接收论文的 20%，可以说是具有绝对的影响力了。

我们翻阅了这 5 家机构的共 116 篇 ICLR 2018 接受论文，尝试梳理其中体现出的整个领域近期的研究内容和研究风格要点。需要说明的是，接受论文的结果是研究机构的论文作者们和会议审稿人们共同决定的；另一方面我们翻阅的论文也只是全部 ICLR 2018 接受论文的一部分，所以依据这些论文做出的评判不一定全面。

我们发现：

强化学习是今年一大研究热点

• 不仅 DeepMind 依旧把强化学习作为重要研究对象，其它研究机构也在强化学习方面有许多研究，以及把强化学习作为工具，研究其它领域的问题。这 106 篇论文中有 20 篇左右是关于强化学习的。去年火热的 GANs 今年则热度有所下降。

• 另一方面，与语言相关的论文也有 22 篇之多，涵盖的内容包括对语言演进的探索、弱监督/无监督翻译、阅读理解、问答等。
  

必不可少的是对各种现有方法的深度探究并做出改进

• 来自谷歌的 oral 论文《Boosting the Actor with Dual Critic》（https://openreview.net/pdf?id=BkUp6GZRW）基于大家熟悉的 actor-critic 模式算法继续做出了改进；

• 同样来自谷歌的《On the Convergence of Adam and Beyond》（https://openreview.net/forum?id=ryQu7f-RZ ）比较了 Adam 等常用优化算法，发现其中存在的问题并提出改进。这篇论文也获得了今年的最佳论文奖。

• 《Sensitivity and Generalization in Neural Networks: An Empirical Study》（https://openreview.net/pdf?id=HJC2SzZCW ） 实际使用中人们发现大规模的、参数数目过多的网络实际上比小规模的网络有更好的泛化性，这似乎和我们对函数复杂度的经典认知相悖。这篇论文就探究了这个问题。

• 来自 Facebook 的《Residual Connections Encourage Iterative Inference》（https://arxiv.org/abs/1710.04773）分析+实证地研究了 ResNet 能够带来良好表现的原因，以及如何避免某些使用方式下会出现的过拟合问题。

除了针对深度学习领域本身的已有问题做深入发掘之外，有越来越多论文以深度学习为工具，研究和验证人类学习、人类语言演进等方面的假说。

• DeepMind 这篇 oral 论文《Emergence of linguistic communication from referential games with symbolic and pixel input》（https://openreview.net/pdf?id=HJGv1Z-AW ），在像素构成的环境中训练强化学习智能体，用语言进化学的思路，以紧急状况沟通任务为环境，研究算法交流模式的进化和学习。

• 同样来自 DeepMind 的《Compositional obverter communication learning from raw visual input》（https://openreview.net/forum?id=Hk6WhagRW  ）和《Emergent communication through negotiation》（https://openreview.net/forum?id=Hk6WhagRW  ）两篇也是类似地以深度学习方法研究人类语言的演进。

• Facebook 也以另一种思路探究了智能体学习语言的方式，在《Mastering the Dungeon: Grounded Language Learning by Mechanical Turker Descent》（https://arxiv.org/abs/1711.07950），他们提出了有趣的 Mechanical Turker Descent 的交互式学习方法，让众包参与实验的人类在竞争和合作中训练智能体处理文字探险游戏中的自然语言内容，交互式的学习也给智能体提供了动态变化的、符合它们当前水平的训练数据。

• 另一篇来自 Facebook 的《Emergent Translation in Multi-Agent Communication》（https://arxiv.org/abs/1710.06922）研究的是当下热门的无平行语料的翻译问题，他们的环境设置是让两个说不同语言的智能体玩挑图游戏，在游戏过程中学习翻译对方的语言。这种设置不仅和直接学习一个无监督的翻译器不同，而且还更像是在研究许多人都困惑已久的「两个语言不通的人如何沟通」、「最早学习某种外语的人是如何学习的」这种问题。

逻辑、抽象概念学习也出现越来越多的成果

• DeepMind 《SCAN: Learning hierarchical compositional visual concepts》（https://arxiv.org/abs/1707.03389  ），雷锋网 AI 科技评论做过解读 DeepMind提出SCAN：仅需五对样本，学会新的视觉概念！。

• 另一篇《Can neural networks understand logical entailment?》（https://openreview.net/forum?id=SkZxCk-0Z）针对模型捕捉、运用逻辑表达式的能力提出了新的模型和数据集

优化方法仍在讨论和快速进步

• 即便在大数据和计算能力已经不是问题的今天，模型的优化方法也仍然是很多研究者关心的课题，谷歌尤其在这方面有多篇论文。降低分布式训练的带宽需求《Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training》（https://arxiv.org/abs/1712.01887）、Hinton 的分布式在线蒸馏《Large Scale Distributed Neural Network Training Through Online Distillation》（https://arxiv.org/abs/1804.03235，雷锋网 AI 科技评论解读文章见这里）、学习率和批大小之间的关系如何《Don't Decay the Learning Rate, Increase the Batch Size》（https://arxiv.org/abs/1711.00489）、新提出的优化算法《Neumann Optimizer: A Practical Optimization Algorithm for Deep Neural Networks》（https://arxiv.org/abs/1712.03298），以及前文提到过的《On the Convergence of Adam and Beyond》，都展现了谷歌的研究人员们对这类问题的重视。

• 微软的 oral 论文《On the insufficiency of existing momentum schemes for Stochastic Optimization》（https://arxiv.org/abs/1803.05591）探究了现有带动量的随机优化算法的问题，《Training GANs with Optimism》（https://arxiv.org/abs/1711.00141）则为训练 Wasserstein GANs 带来了新的方法。

• 实际上，百度也有一篇论文《Mixed Precision Training》（https://arxiv.org/abs/1710.03740）讨论了在网络训练中使用半精度浮点数而不是一般的单精度浮点数，在缩减超大规模网络所需存储和计算需求的同时还保持足够的网络表现。

尝试开拓深度学习的新领域

• 来自微软的《Deep Complex Networks》（https://arxiv.org/abs/1705.09792）为复数值的深度神经网络提供了更多基础组件，包括复数神经网络的复数批量标准化、复数权值初始化策略等。
  

• 来自谷歌的《Graph Attention Networks》（https://arxiv.org/abs/1710.10903）提出了运行在图结构的数据上的新的神经网络架构 GAT，它同时还具有掩蔽自我注意力层，以改善以往的基于图卷积及其近似的模型的缺点。

• 另外值得一提的是，三篇 ICLR 2018 最佳论文中的《Spherical CNNs》（https://openreview.net/forum?id=Hkbd5xZRb）也是开拓新领域的精彩的尝试。
  

有不少研究安全的论文，但方向较为集中

• 来自谷歌 Nicolas Papernot 等人的《Scalable Private Learning with PATE》继续研究了深度学习中的隐私问题（https://openreview.net/pdf?id=rkZB1XbRZ  ），实际上 Nicolas Papernot 去年就作为第一作者以《Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data》提出了 PATE 框架获得了 ICLR 2017 的最佳论文奖，雷锋网 AI 科技评论也翻译了获奖演讲，详见 ICLR-17最佳论文作者Nicolas Papernot现场演讲：如何用PATE框架有效保护隐私训练数据？

• 除此之外的研究安全性的论文基本都是对抗性样本、超出原分布的样本的检测和防御。

各位读者如果有认为出彩的、值得注意的论文，也欢迎在评论区留言补充讨论。今年 ICLR 2018 的会议投递情况和最佳论文介绍还可以参见这里和这里。明年 ICLR 2019 我们不见不散。

谷歌论文列表：https://research.googleblog.com/2018/04/google-at-iclr-2018.html

DeepMind 论文列表：https://deepmind.com/blog/deepmind-papers-iclr-2018/ 

Facebook 论文列表：https://research.fb.com/facebook-research-at-iclr-2018/

OpenAI：https://twitter.com/OpenAI/status/989978665113993216

微软论文检索：https://www.microsoft.com/en-us/research/search/?q&content-type=publications&research_area=13556

雷锋网 AI 科技评论报道

雷峰网原创文章，未经授权禁止转载。详情见转载须知。