0
作者 |蒋宝尚
编辑 | 丛 末
今日，神经信息处理系统大会NeurIPS在Medium官方账号发布了文章《Reviewing is Underway!》，对今年的投稿情况和审稿流程进行了说明。
文章中提到，今年的NeurIPS投稿数量比2019年增长了38%，这又是AI研究蓬勃发展的一年。具体而言，一共收到了12115份摘要，但随后提交完整的只有9467份。另外还有184篇论文有违规行为：被作者撤回、非匿名提交以及论文篇幅超过最大页数等。
其它“遵守纪律”的论文都已经分配给了领域主席以及Senior领域主席，这两类主席在对这些论文简单的浏览之后，进行了初步判断：占总数 11% 的论文被直接拒掉，其他89%的论文分配给了合适的审稿人。值得一提的是，这89%对应的具体数字8186。另外，文章中还强调，这直接被拒掉的11%的论文，将不会再次接受审阅。
今年NeurIPS的论文提交流程主要有三个日期节点，它们期间间隔两周多。三个节点分别是：1、提交摘要；2、完整的论文和完整的作者名单；3、补充材料。在这三个节点中，同行评审平台CMT都很给力，作者在提交的过程中几乎没有遇到任何技术困难，当然，也不能如此绝对，例如要求合著者在CMT上注册，要求提交“更广泛的影响”，要求单独上传补充材料，这些都产生了一些小问题。但总的来说，提交过程进行的非常顺利。
今年的论文主题分布也有所变化，算法占比29%，深度学习占比19%，应用占比18%，强化学习和规划（planning）占比9%，理论占比7%，概率方法占比5%，机器学习的社会方面（ Social aspects of machine learning）占比5%，优化占比5%，神经科学和认知科学占比3%。与2019年相比，深度学习和应用领域的论文略有下降(均下降了2%)，而机器学习的社会方面有所增加（增加了3%）。
找到足够数量的合格审稿人非常重要，今年在这方面的政策有两个变化：1、审稿人可以推荐和提名；2、直接从论文的作者以及论文的联合作者中选择审稿人。最后根据论文发表情况、审稿经验、学科领域等信息，组委会“选拔”了7800名合格的审稿人名单，其中2400人来自今年的投稿作者。7800名审稿人看似极大的增强了论文审阅能力，但许多审稿人只分配了2篇或者3篇的额度，还有一些审稿人只有一个领域的专业知识，这两种情况的都限制了分配审阅论文的能力。每一篇论文都会经过三位审稿人，一位领域主席的“批改”。为了提升分配质量，需靠考虑的因素包括学科领域相似度、出版物的相似度、审稿人的偏好。但是同时也考虑审稿人和领域主席是否存在利益冲突。因此，组委会努力确保每个人在论文匹配系统(TPMS)和OpenReview上都有最新的账户，完整地记录了他们的利益冲突信息。另外。组委会还设法自动为审稿人分配论文，今年平均亲和度得分(综合考虑TPMS和OpenReview的指标)为0.74，比2019年高出近10%。
在过去的三周中，组委会指派领域主席和Senior 领域主席承担“直接拒绝”的任务。其中领域主席识别可能被拒绝的论文，Senior 领域主席反复核对这些论文。因此，每一篇被直接拒绝的论文，都有两位资深的专家“签字”。值得一提的是，为了降低偏见，这两位专家是看不到论文作者的信息。总体而言，领域主席和Senior领域主席做的非常出色，他们在不到三周的时间里审阅了9000多份论文，另外，领域主席和Senior领域主席还为作者提供了一套标准化的拒绝原因(例如，不清晰、超出范围)等。此外，在收到的“拒绝建议”中，超过一半还提供了简短的特别反馈，进一步解释了拒绝的原因。直接拒绝有利有弊，有很多地方可以改进。
“直接拒绝”除了减轻了审稿者的负担外，还能够让领域主席和Senior领域主席更加熟悉分配给他们的论文，为他们随后“领导”审稿人提供帮助。
此外，直接拒绝的坏处是，这些论文的作者几乎没有得到什么建设性的反馈来改进他们的论文。另外，需要注意接下来的几个时间点：1、在2020年8月7日之前将审查结果通知作者；2、这之后，程序委员之间将有个讨论期，8月底由领域主席提出初步建议；9月，开启校准阶段（calibration phase），先对每个学科领域进行一次校准，最后的校准将审查所有领域的整体论文情况。预计将在9月底之前将是否录用的结果通知作者。
（雷锋网）、（雷锋网）、（雷锋网）
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
