0
今年最后一场重量级的人工智能顶会 NeurIPS 2019 也落下帷幕了，据统计，今年参会人数超过 1.3万人，达历史之最！
不止是 NeurIPS，今年所有国际学术顶会的现场都可以用“盛况空前”来概括，这也反映出当下人工智能的研究热潮依旧在迅猛上涨，越来越多的研究者参与到会议中来展开思想火花的碰撞。
然而，过大的规模同时也会让会议的组织难度急剧增加，并且还难以保证参会者们的参会体验。
对此，来自斯坦福的研究生 Andrey Kurenkov 就撰文记录了他参加 NeurIPS 2019 的体验，并分享了自己对会议规模过大的一些思考。
几周前，NeurIPS 2019 圆满落幕了。
许多出色的博文已经总结了本届 NeurIPS 大会上各种各样的演讲和关键发展趋势。因此，本文的目的十分简单：反思本次参会的经历，特别是反思本届大会如此之大的规模是否有害于其作为研究型会议的初衷。
那么，本届 NeurIPS 究竟有多「庞大」呢？据统计，此次会议的参会人数突破了 13,000 人，共有 1,428 篇被接收的论文，举行了 57 场大型的研讨会。NeurIPS 着实是一场大型的盛会，正如参会者在 Twitter 上所报道的：
上面人们前往主题报告会场的视频反映了本届 NeurIPS 的规模。
我们将 9 分钟的视频浓缩到了 15 秒，这里面还远远不是所有的参会者!
这是一场滚石乐队的演唱会吗？不！这是 NeurIPS 2019 的主题报告。
NeurIPS 2019 人头攒动的海报展。我找到了感兴趣的海报，最后在会场外的咖啡厅独海报。
我从事的是人工智能子领域——机器人方向的研究。因此，到目前为止，我参加过的会议主要都是一些小型的机器人会议（例如，规模约为 400 人的会议「Conference on Robot Learning」和「Robotics: Science and Systems conference」）。在这之前，我最近参加过的学术会议是规模约为 3,000 人的 ICRA。
参与人工智能学术会议的人数变化情况
从会议规模的角度来看，2018 年的「Robotics: Science and Systems」会议的茶歇环节和海报展都是在同一个房间内进行的，但这个房间的大小大概只有 NeurIPS 举行海报展的房间的 1/50，详情请观看下面的视频：
视频播放地址：https://youtu.be/gobhhfdgRHQ
如你所见，NeurIPS 的会场人山人海。这是好事还是坏事呢？在我看来，这两方面都存在。虽然采取这种中间的立场有些无聊，但是我确实发现参加这样的会议有积极和消极的两个方面。
当然，我并不是第一个指出「NeurIPS 的规模变得如此庞大可能弊大于利」的人，例如，「The Greatest Trade Show North of Vegas (Pressing Lessons from NeurIPS 2018)」这篇文章也发表了这一观点（文章阅读地址：http://approximatelycorrect.com/2018/12/22/the-greatest-trade-show-north-of-vegas-pressing-lessons-neurips-2018/）。
因此，我首先要说，在本文中我并不会提出强烈的批评，我只想阐述我的一些观察。而且，在介绍这些观察的同时，我也承认 NeurIPS 的组委会对于会议的目的和设计的考虑可能远远比我多，我提出的这些消极的问题也可能确实没有非常简单的解决方案。
1、人多
任何研究型会议的核心目的都是聚集一群对相似事物感兴趣的研究人员，让他们讨论自己的工作和想法。NeurIPS 能够有如此大的规模，便很好地实现了这一目的，因为它自然而然地让那些相熟的研究者、合作者围坐在一起，一边喝咖啡一遍交谈。
本届 NeurIPS 特别关注对更多研究者的包容性，尤其是通过关注于此的多个研讨会（Black In AI；Women In Machine Learning；LatinX In AI；Queer In AI；New In Machine Learning；CiML 2019: Machine Learning competition for All）进一步强化了这种积极的特质。
看到、听到有很多人因为这些研讨会收获了一段美好的学术经历，这十分令人感动！这都要归功于 NeurIPS。
我在 WiML 研讨会度过了收获满满的一天，这太不可思议了！与学术界和工业界卓越的研究者交流是一种享受！感谢 Yann Lecun 在圆桌讨论中提出的深刻见解！
在 Black in AI 晚宴上与 Yoshua Bengio 同桌，我受益匪浅。
感谢本届 NeurIPS 的 Black in AI 活动的全体组织者。这真的是一个超棒、超热情的研究社区，它们在人工智能界做了很多非常重要的工作。衷心感谢它们为此次活动做出的所有努力！
Ramon Vilarion：
在本届 NeurIPS 的一个研讨会上，有人说为了在 AI 上实现去殖民化，我们仍然有很长的路要走。我说：「我就是一名来自巴西贫困社区的黑人，而今天早上我在这里对 Yoshua Bengio 提出了异议。我们应该乐观一点！」
Timnit Gebru：
2015 年，我首次参加了 NeurIPS 大会，我记得那是在蒙特利尔。我写下了我糟糕的参会经历，并打算匿名发表。但是朋友们告诉我很容易看出来是谁写的。4年过去了，这个会议真的改变了很多。
Ramon Vilarin：
感谢 Black in AI！所有人都感到这次的经历不可思议。我即将回到巴西，深感我们很有可能让那些最贫困的人也参与到对于「如何创造、应用人工智能，将它们与社会相结合」的大讨论中来。
2、海报、演讲、主题活动多
任何研究型会议的另一个主要的目的是：向参会者介绍新的研究并激发新的思路。
对于这一点，本届 NeurIPS 有如此大的规模也是很有助益的：本届 NeurIPS 的内容比我以前参加的任何会议都要多，只不过有大量的研究着眼于不同的子领域。
尽管这种规模和多样性可能会导致我们能够找到的需要深入研究的新内容变得更少（而不是更多），但对我来说恰恰相反——由于我已经在 arxiv 上阅读过许多机器人学会议上发表的论文，如果我深入研究这些论文的主题，可能很容易就会发现这些论文，而我在 NeurIPS 发现的最令人兴奋的论文并非关注于机器人学，而是来自计算机视觉（CV）或自然语言处理（NLP）领域。
如果不是因为这次会议，我可能永远也不会看到这些论文，也不会在看到这些论文后迸发出一些奇妙的点子。
我在正会和研讨会上浏览过的 50 张海报
研讨会和活动众多也意味着会有一些与众不同的活动。例如，可复现性挑战赛（相关链接：https://openreview.net/group?id=NeurIPS.cc/2019/Reproducibility_Challenge），创意与设计机器学习研讨会（相关链接：https://slideslive.com/38922087/neurips-workshop-on-machine-learning-for-creativity-and-design-30-2），沟通技巧实训（相关链接：http://www.katherinelgorman.com/home），以及「回顾：对机器学习研究的反思」研讨会（相关链接：https://slideslive.com/38921897/retrospectives-a-venue-for-selfreflection-in-ml-research-4）。
这些绝对都是我最喜欢的部分，很高兴看到来自研究社区之外的人与人工智能领域的互动（记者和艺术家），这些活动给了他们一个与我们研究人员交流的平台 。
3、欢乐多
说实话，对于像我这样的研究生来说，我们之所以对参会如此感兴趣，在某种程度上来说也是因为旅行和与朋友进行的社交活动。会议规模大意味着会有很多赞助商，这也意味着会有很多工业界的聚会，十分有趣！正如「An AI conference once known for blowout parties is finally growing up」中所说的那样，「工业界的聚会相对比较温和」是过去的说法，但是在晚上参加这些聚会是我此次参会经历中非常重要的一部分。
尽管我并没有参加过很多这样的活动，但是我仍然很喜欢在温哥华的市中心四处探索，和新老朋友聚餐。晚间的社交活动是这届 NeurIPS 大会的一个新的特征，似乎这种进步非常受欢迎，因为它为那些不喜欢参加嘈杂的聚会或没有被邀请参加工业界活动的人提供了一种选择。
1、人太多
我之所以拍了这么多海报的照片，有一部分的原因是：通常情况下，与那些我最感兴趣的海报的讲者交谈是很困难的（由于人多），所以我不停地在周围走来走去，因此就会看到其它的海报。
对于海报进行深入的探讨是我最喜欢的环节之一，而且这也绝对是我在 NeurIPS 上做到的、在以前的会议中做不到的事情。尽管有这么多的参会者确实可以促成很多对话，但另一方面也为对话设置了阻碍——在如此大的规模下，如果你不制定明确的计划，你很可能永远也不会遇到你认识的同样也参会了的人，这意味着一些本来会在茶歇时间发生的对话永远不会发生。
此外，尽管大会组织者在包容性方面的努力值得称赞，但这也意味着他们有更多的责任来确保被邀请参加这些活动的人能够真正成行。因此，在几个月前，听说有许多人因为签证被拒而不能参加此次 NeurIPS，我对此深表遗憾：
加拿大再次拒绝向参加NeurIPS的人工智能研究人员发放旅行签证
我的经验是，研讨会接受申请的日期通常较晚，这让来自发展中国家的人更加焦虑。
2017 年的 NeurIPS 在美国的洛杉矶召开，我在会前两个月申请了签证，但是会开完了一个月后我才收到通过的签证。
今年的 NeurIPS 在加拿大的温哥华召开，我在开会前 3 周才拿到签证。尽管预定行程的压力很大，但我很高兴最终得以成行。
值得赞扬的是人工智能研究社区、NeurIPS 的组织者，以及加拿大政府在大会筹备过程中似乎在很大程度上已经解决了这个问题。但是，如果一开始就没有发生这种情况，那就很理想了。
Graeme Moffat：
2018 年加拿大的创新部和边境署注意到科学签证被拒的问题时，已经太晚了。因此，全世界的科学家对加拿大的印象并不好。
2019 年的 NeurIPS 大会前不久在温哥华召开了。本次会议没有出现重大的签证被拒问题。这次创新部和边境署的能力得到了体现，这个问题在一定程度上得到了解决。
我可以去 NeurIPS 了！经过了了三次尝试，我的加拿大签证被批准了。这是一段漫长而又曲折的经历，我由衷感谢一路上支持我的每一个人。但令人难过的是，仍然有许多人无法通过签证。让我们确保这不是一次性的努力，从而让这个世界更加包容。
2、海报、演讲、主题互动太多！
即使日程安排十分简单（在没有研讨会的日子里，每天在一个大房间内会有两个小时的海报展，而在另一个大房间里会进行两场长时间的演讲。此外，在几个稍小一些（但仍然很大）的房间里，会在两个时间段内进行一些短时间的演讲），但是会议的内容太多了，这意味着仅仅想要弄清楚应该尝试什么和关注什么内容就是一个挑战。
这与我前面提到的小型机器人学术会议 CoRL 和 RSS 形成了鲜明的对比，这些小型会议会将所有的演讲和海报展全都囊括在一个大房间内，这样就很容易让参会者弄清楚全部的内容。
每个研讨会的规模都要比正式会议的规模小一些（尽管有些研讨会仍然占据着巨大的会议室），研讨会上有数十张海报和数百名参会者。这既有好处也有坏处，因为参加每个研讨会都要花费一整天的时间，所以参会者可以选择专注于一个话题，并进行深入研究。但实际上，我们很难静下心来选择只专注于一个话题，所以我最终参加了多个研讨会。
最后，随着提交的论文越来越多，审稿需求也越来越多，随之而来的审稿质量差异也凸显了出来。虽然这不仅仅是 NeurIPS 的问题，但应该指出的是，一些真正存在学术道德隐患的论文也成功通过了本届会议的审稿程序：
本届 NeurIPS 的最可怕论文奖应该颁给：「使用生成对抗网络根据声音重建人脸」（有监视的嫌疑）以及「使用网络监督数据预测一张图片的政治含义」（有歧视的嫌疑）。也祝贺 NeurIPS 没有守住学术道德底线。
我并不是说自己是学术道德方面的权威，但许多参会者都提到了，这些论文存在很明显的学术道德问题（当然，这是为了改善这一领域，而不仅仅是为了点名批评作者）。
3、过于有趣了！
是的，有这么多的聚会也并不完全是一件好事。正如 Zachary Lipton 已经在「The Greatest Trade Show North of Vegas （Pressing Lessons from NeurIPS 2018）」一文（文章链接：http://approximatelycorrect.com/2018/12/22/the-greatest-trade-show-north-of-vegas-pressing-lessons-neurips-2018/）中提到的那样，工业界的存在本来就分散了人们对于会议的研究目标的注意力。除此之外，「谁受到了邀请」这一问题本身也会损害包容性：
展会大厅将人们太多的注意力从学术活动上移开了。房间里摆满了免费的小摆件、食物、豪华的座位，以及花费数百万美元布置的景点。科学演讲和海报不应该与国际消费类电子产品展览会（CES）之类的展览会在展厅上「一较高下」。
当下的派对文化让具有相关社会关系的（无论学科背景如何）、可以被招聘的（热门的博士候选人和初级研究人员）以及已经十分著名的研究人员聚集到了一起。但是那些最有可能在与潜在的雇主、导师的会面中获益的年轻研究人员，却被拒之门外。
我想说的是，对于我来说，展会大厅中的那些小摆件和景点并不会把我的注意力从海报展上分离开来，而且我确实认为它对于那些寻找实习机会或全职工作的人来说是很有用的。但是，它恰好位于海报展览区的旁边，所以那些需要和招聘人员讨论这些工作机会的人很可能就会错过了看海报或听演讲的机会。
所以，我的看法如何呢？
至今，你已经对本届会议的参会情况有了一定的了解，由于各种各样的原因，会议规模很大既是好事也是坏事。当然，想要找到同时「扬长」和「避短」的方法并不简单。尽管如此，我将在下面提出一些自己的想法：
将出席会议的大多数人限制在有论文要发表的人。
本届大会有 1,500 篇论文被接受，加上研讨会接收的论文后，这一数字可能会再翻一倍。这仍然意味着大量参会者中一定有没有发表论文的人。虽然把有兴趣参会的人拒之门外也很惭愧，但归根结底，这是一个学术会议，最重要目的是让参加会议的学者能从中受益。诚然，我可能在这里完全错了，大多数人确实至少提交了论文，但仍然（还是有必要限制一下参会人数）。
改进审稿过程。
面对不断增长的投稿量，如何保证审稿质量是整个人工智能研究领域都要面对的问题。正如 NeurIPS 组委会在发表的一篇博文中所讨论的那样，这个问题并没有简单的答案。尽管如此，在与其他人在「回顾」研讨会上的讨论中，我听到了一个更为激进的想法：允许全年提交论文，并且限制被接收论文的总数。也就是说，允许人们全年或一年中的大部分时间提交论文，并在滚动的基础上进行审稿，直到达到一定数量的可接收论文。
希望通过这种方式，使得这一年的审稿负担更加分散（因为这会刺激人们提前提交论文，因为你提交的越早，你的论文就越有可能尽早被安排审稿，此时审稿人不会有一大堆其它事情要评审，因此可以看得更仔细。
另一个想法可能是采用两阶段审稿程序。
第一阶段要求提交简短的摘要和方法说明，以便审稿人能够评价总体新颖性并指出学术道德问题；第二阶段（仅适用于那些已经通过第一阶段的论文）要求提交定稿，并且如常提交实验结果。
最后，也是最容易的一点是，至少要有一套道德守则，以及让审稿人根据学术道德问题将可能需要进一步审查的论文打上标记，这可能是一个好主意。
打造更好的工具。
有这么多的事情要处理，还要能够在一个人的脑海中将其组织起来，并确定需要关注的事情的优先级，这自然而然地就需要使用软件工具。我们现有的 Whova app 有一个很好的日程安排功能：它可以通过关键词进行搜索。
但不足之处是，它只能在智能手机上使用，并且有一个文字非常多的非可视化用户界面。其它的大型会议（如 SIGRAPH） 似乎都有更好的用户界面工具来安排他们的日程，所以如果 NeurIPS 能在这方面多投资一些就更好了。
展示更多的海报。
虽然把所有的主题并排放在一个大房间里展出是一件好事（因为这样会鼓励人们看看他们的子领域之外的研究工作），但最终由于会场太过拥挤，使得这样做弊大于利。
由于我们已经对研究的主题有了清晰的描述（自然语言处理、计算机视觉、理论、强化学习，等等），那么就应该考虑在多个房间内按照主题分会场举行海报展，而不仅仅实在一个巨大的房间里。
最后，我将给出一些积极的评价。尽管本届 NeurIPS 规模如此之大也有弊端，但我对 NeurIPS 2019（我第一次参加规模如此之大的学术活动）的总体感受是：整个活动进行地十分顺利，这令我印象深刻。
我喜欢会议上展示的各种各样的工作，参与了许多有趣的研讨会，听到了一些很棒的演讲。只要在未来的发展过程中，NeurIPS 能够谨慎地鼓励更多的积极因素、减少与规模相关的消极因素，我会为其继续成为一个重大的时间而感到兴奋，未来仍然有可能会参会。
这么快，NeurIPS 2019（我的第一次 NeurIPS 之旅）就落下了帷幕。
昨天，当我坐在岸边欣赏风景的时候。我想，这场大型的活动是多么地井然有序和实用，研讨会是多么的酷炫。
向所有组织者、演讲者和场馆工作人员致敬！
PS：相关演讲链接见原文
Via https://thegradient.pub/neurips-2019-too-big/
雷锋网 AI 科技评论编译 雷锋网雷锋网
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
