0
作者 | 杏花
编辑 | 琰琰
今年4月，国际计算语言学协会（ACL）提出滚动审稿机制（ACL Rolling Review，ARR），以提高ACL系列会议的审稿效率和质量，并优化当前ACL会议的自由审稿流程。
根据官方说明，ARR使用OpenReview作为审稿平台（审稿意见不会公开），作者可在每个月的15号（截稿日期）之前，将论文提交到统一的ARR审稿池，由Action Editor（AE）处理，并且允许论文修改后重新提交（与期刊类似）。整个流程会在每个月截稿后的30-35天左右完成。
近日，ACL在官网上发布报告，从论文提交数、审稿人数量和审稿周期三个方面汇报了目前ARR机制的使用效果和需要解决的问题。
1、论文提交数
报告数据显示，截止9月OpenReview平台的投稿论文已经达到312篇。这些论文已匿名，并通过机器人ARRPreprints在推特上进行了发布。截至目前，ARRPreprints账号有343个关注，与同类账号相比略少。大多数推文的点击量约为100-200次，也有少数推文的点击量高达1.5万次。
2、审稿池
论文审核过程涉及审稿人和Action Editor（简称AE，在大多数会议中通常称为Area Chairs）。下图显示，ARR审稿池中大约在1,200名审稿人，其中AE为100-150名。据悉，ACL 2021有60个SACs, 323个ACs以及3685位主要审稿人，共同处理3,350篇论文。
3、审稿周期
ARR的最初目标是在35天内完成所有的审稿和元审稿（meta-review）流程：每个月截稿后，AE需要在7天内处理最多5篇论文，确定论文是否存在利益冲突（COI），并满足基本格式和要求。经过推荐审稿人的二次评审后，AE在35天内阅读审稿意见并与审稿人讨论，撰写最终的meta-review。
需要说明的是，ACL 2021从提交到讨论（不包括元审稿时期）需要51天，是ARR审稿和元审稿的两倍；从提交到录用通知需要92天，是ARR目标时长的3倍。
从结果上来看，虽然ARR机制还没有达到承诺的评审周期，但还是明显压缩了的评审时间。
下图显示，少数审稿人在20天内完成了审稿，大部分人在30天左右完成审稿，还有四分之一的人需要40天才能完成审稿，也不乏个别审稿人用了90天。相比于ACL 2021，绝大部分人能够在51天之前完成。（两条虚垂直线分别代表ACL 2021的讨论和通知日期）。
(注：这张图表不包括24个尚未完成的审稿，其中大多数都是8月截止日期前的论文)
下图为论文从提交到元审稿结束所用的时间，大部分都是ACL 2021审稿结点之前完成的。
ARR机制只负责审稿，不决定论文是否会被接收，通过ARR审稿的论文及评审意见将被提交至对应的会议或Workshop。下图显示，目前已有26篇论文通过ARR审稿并提交到了主会议。
针对以上数据，报告总结了ARR机制目前面临的挑战，以及对应的解决方案。
ARR目前面临的挑战仍是审稿不及时的问题。截至2021年9月，还有一篇6月的论文没完成3轮审核，非规定时间内完成审稿的情况几乎每个月都有发生。造成这种现象的原因，一方面出自技术层面和工作失误（例如没有及时发送提示），但主要还是审稿人对审核工作不够积极。对此，报告提出了两点解决方案：
改善AE和审稿人的分配，并自动提醒AE和审稿人及时审核。
聘用紧急审稿人和紧急AE，在审稿人和AE未能完成工作时辅助审核。
AE面临的最大难题就是审稿人拒绝审核，这也是审稿工作不及时的主要原因。之所以会出现这种情况，可能有以下两点原因：1. 部分审稿人认为分配的论文质量太差，主观不愿意评审；2. 审稿人专业方向与论文不够匹配，短时间无法完成。
一般来讲，审稿人在提交截止日期前可以申请免除审核，通过后可以拒绝评审。报告提出计划取消申请环节，让审稿人没有理由拒绝审核。此外，为了方便审稿人与AE之间交流和沟通，来往电子邮件将显示AE和审稿人的姓名和身份。
ARR面临的技术障碍是将OpenReview系统扩展到一个新的应用。在许多大型会议上，OpenReview已成功使用了好几年，包括NeurIPS和ICML。但在这些使用案例里，每个审稿池只有一个截止期限。而ARR每个月都有截止交稿日期，因此，OpenReview每个月都需要创建一个全新的会议。ARR工作人员需要把前一个月的审稿人和AE复制过来，这大大加重了他们的编辑工作。比如说，不可能在一个地方跟踪所有缺席的审稿人和元审稿人，同样地，目前还不可能在几个月内跟踪和平衡总体审稿负载。对此，ACL计划改进审稿流程，加强与OpenReview开发人员的密切合作，打造一个更流畅、简便的审核平台。
ACL 2022 引入ARR机制
ACL 2022 和NAACL 2022已正式引入ARR机制。随着ARR系统的引入，论文投稿和审稿流程也发生了一些变化。ACL 2022程序委员会已在博客中对ACL 2022的投稿细节进行了说明：
关于ACL 2022的截稿时间
提交到ARR的截止时间：2021年11月15日
作者如果要想投稿至ACL 2022，则必须在11月15日前提交至ARR，不过作者也可以在9月15日或者10月15日提交到ARR，以尽早获得审稿意见并对论文加以修改。
提交到ACL 2022的截止时间：2022年1月7日
作者需要将已经经过ARR审稿后的论文、审稿意见、综合审稿意见提交到ACL 2022。同时，作者可以附加一个“向高级领域主席的备注信息”。）
录用通知时间：2022年2月20日
撤稿截止时间：2022年2月23日
ACL 2022 将于 2022 年 5 月 22 日至 27 日在爱尔兰都柏林召开。值得注意的是，今年ACL 设置一个特殊主题：语言多样性：从低资源语言到濒危语言。官方表示，ACL 2022 将与 ARR 合作，为这一特殊主题选择 Action Editor 和审稿人，并为这一主题的论文提供一种特殊的审稿形式。据悉，特殊主题接收的论文将以 oral 或 poster 的形式呈现，还将评选出一个最佳专题论文奖。
更多细节可参见官方页面：https://www.2022.aclweb.org/post/acl-2022-theme-track-language-diversity-from-low-resource-to-endangered-languages
相关链接：https://aclrollingreview.org/status-report/
雷锋网
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
