0
由于全球疫情和美国近段时间的动荡，EMNLP 组委会发布通知，宣布截稿时间延迟 48 小时（6月3日，UTC） ，正在奋笔疾书地赶着 Deadline 的小伙伴们可以稍微松口气啦 ！
而提交投稿之后，等待大家的就是长达三个多月的审稿期了。在近年来顶会审稿“怪象”层出不穷的背景色下，各位投稿作者们对于今年 EMNLP 的审稿质量想必也是惴惴不安。
这不，不久前 EMNLP 组委会就专门向审稿人发布了一篇建议公告，指出审稿人应该做什么以及不应该做什么，并特别强调“一篇论文的贡献可以是在效率、泛化能力、可解释性和许多其它的指标上有所进步。任何令人信服的贡献都不应该仅仅因为没有在某些指标上取得最高排名而被拒绝。”
以下为公告正文内容：
本文旨在为审稿人们提供一些建议，让我们可以找出最佳的研究工作，在 EMNLP 大会上展示它们，并且提出有建设性的反馈意见，使作者们能进一步改进它们的文章。我们高度赞赏审稿人们做出的大量贡献，希望让审稿工作更有益。我们希望所有的作者在阅读到针对其文章的同行评审意见时，能够改到醍醐灌顶。
本届 EMNLP 大会并不是首次试图培训审稿人的学术会议。在自然语言处理（NLP）和其它的领域中，许多重要的会议都曾经向审稿人给出建议，在学术期刊评审过程中也是如此。在 NLP 领域中，我们希望重点强调：
ACL 2017 上，NLP领域的领袖级研究者 Mirella Lapata, Marco Baroni, Yoav Artzi, Emily Bender, Joel Tetreault, Ani Nenkova, and Tim Baldwin 等人曾撰写的「审稿建议漫谈」，阅读地址：Discursive advice，https://acl2017.wordpress.com/2017/02/23/last-minute-reviewing-advice/
NAACL 2018 上给出的审稿教程「两份优秀的审稿意见示例」，阅读地址：https://naacl2018.wordpress.com/2018/01/20/a-review-form-faq/
Noah Smith 撰写的有关同行评审的博文，阅读地址：https://soundcloud.com/nlp-highlights/77-on-writing-quality-peer-reviews-with-noah-a-smith
烦请大家费点时间浏览一下这些优秀的资源。
在这里，我们希望重新强调一些建议/不建议做的事，希望它们能够帮助审稿人和作者。
首先，请评价论文的贡献。此时，你应该用到你在 NLP 领域的专业知识。我们建议你不应该仅仅因为作者在论文中给出的实验结果较好，或者在数学上似乎很复杂就接收论文。这都不是论文构成贡献的充分或必要条件。
同时，我们还建议你不应该仅仅因为有些论文的实验结果没有比目前最佳的工作（SOTA）好就拒掉它们。在之前的 ACL 大会上，一些审稿人过于看重 SOTA 的模型性能，他们给任何没有达到 SOTA 性能的系统都打了低分。
然而，我们的目的是发表真正最好的论文，那么一个具有建设性的问题就是「论文应该在哪些方面最先进？」。正如博文「Peer review in NLP: reject-if-not-SOTA」中所谈到的，一篇论文的贡献可以是在效率、泛化能力、可解释性和许多其它的指标上有所进步。任何令人信服的贡献都不应该仅仅因为没有在某些指标上取得最高的排名而被拒绝。博文地址：https://hackingsemantics.xyz/2020/reviewing-models/关于不同类型的贡献，马里兰大学的 Philip Resnik 教授曾说:
我认为，鼓励审稿人们明确地思考贡献的本质，以及「我们真正需要提出的问题是什么」是非常有意义的。首先，你应该考虑/讨论：
这份研究工作是否在科学方面有所贡献？如果有的话，请继续追问：
作者试图提升我们对世界上什么现象的理解？
对于这个之前未知的现象，现在我们有了什么了解？
这份研究工作是否在工程方面有所贡献？如果有的话，请继续追问：
这份工作在解决什么现实世界中的问题（或一系列问题）上取得了进步？
或者没如果它针对的不是一个当前的现实问题，那么它将在未来帮助解决哪些现实问题？
这份工作是否在理论方面（例如，数学上）有所贡献？如果有的话，请继续追问：
我们现在是否知道什么之前不知道的东西？
这份工作在理论或数学上的进展与科学或工程上的目标有什么联系？（见上文）
计算语言学的工作可能在科学、工程、理论方面都有所贡献，而不仅仅是在某一个方面有所贡献。但是，我建议，如果一篇论文在上述三个方面都没有任何贡献，而在下面的子条目中可以找到答案，那么你就需要认真考虑这篇论文的内容是否与本会议的要求相符。
其次，在阅读论文和撰写审稿意见时，请考虑下面这些重要的因素：
论文提出了什么学术观点，论文的哪些内容对这些观点起了什么支撑作用？如果论文提出了观点 X 并取得了一定的性能提升，那么这种性能提升是否真的是由 X 带来的？
审稿意见要详细具体。例如，如果你认为作者忽略了一些需要引用的关键论文，请在你的审稿意见中将这些参考文献列出来。引用这些文献可能对你来说是显而易见的，但是作者往往并不这么清楚。详细的审稿意见可以帮助作者制定一份有力的针对审稿意见的应对方案，并在他们的论文中解决这些问题。值得注意的是，作者并不一定要引用或对比同时期的其它工作（即在论文提交三个月内出现的其它文献），特别是在这些论文没有在经过同行评审的平台上发表的情况下。
请提出具有建设性的建议。指出论文在哪些方面做得不好，可能在评审时起到把关性的作用（给出拒稿的理由），但是这样做对作者的帮助就没有那么大了。给出一些关于作者可以如何改进这些存在问题的方面的建议，则可以让他们把工作做得更好。
即使在批评的时候，也请注意使用友善的语言。审稿人可能会很容易变得有些激动，写出一些你永远不会当着别人的面说的不礼貌的话。请尽量在你的审稿意见中保持礼貌。最后需要注意的是，现在越来越多的作者会在社交媒体上公开评审意见（尤其是当这些评审意见以不切实际的理由拒掉这些论文时）。
因此，我们建议审稿人不应该基于下面的原因拒掉一篇论文：
论文的语言或写作风格。请重点关注论文的实质性内容。我们理解，有时论文的语言或写作风格很差，以至于审稿人无法弄懂论文的内容和实质。在这种情况下，拒稿是可以的，但你只有在努力弄懂这篇论文后才能这么做。
论文的研究工作针对的语言不是英语。我们关注的是针对任何语言的自然语言处理。
论文的实验结果并不比 SOTA 的工作好。请根据上文和「Peer review in NLP: reject-if-not-SOTA」（https://hackingsemantics.xyz/2020/reviewing-models/）中给出的建议，查看论文的贡献和发现。
论文没有使用某类特定的方法（例如，深度学习）。好的工作并不要求一定要使用某种特定的方法。请说明为什么需要这种方法。想想这篇论文的贡献是什么，请牢记：使用多种方法并不是一件坏事。
论文的方法过于简单。我们的目的是不要设计出最为复杂的方法。在这里，请再想想论文的贡献和发现是什么。通常，使用最简单的方法完成的论文的引用量是最多的。如果某种简单的方法比以前的工作中更复杂的方法性能更好，那么这通常是一个重要的发现。
论文的主题范围较窄或者过时。请保持开放的心态。我们并不希望整个研究社区都争相研究同一个火热的话题。请关注论文的贡献，想想它对我们的研究社区有何影响。
如果论文的主题是全新的，这样一来我们就没有现有的对比工作，或者所有现有的工作都是在另外的领域完成的。我们需要对涉足新领域的论文保持兴趣。论
文介绍的是研究资源。在像 NLP 这样依赖于有监督机器学习的领域中，数据集的开发与建模工作同等重要。博文「Peer review in NLP: resource papers」（https://hackingsemantics.xyz/2020/reviewing-data/）讨论了接收/驳回一篇描述研究资源的论文的原则，大家可参考。
当你撰写审稿意见时，请避免根据上述理由作为拒稿理由的主要原则。我们将确保作者知晓这些准则，并且在作者撰写反驳意见的时候参考它们。领域主席（AC）们将基于上面的原则仔细审核审稿意见，并且可以要求审稿人修改审稿意见，或者提供客观的理由来证明其立场。
我们希望这些建议对于审稿人有所帮助，同时也希望有更多的作者对审稿人给出的深刻反馈表示感谢，我们希望抱怨评审意见的审稿人少一些。感谢各位帮助我们评审论文，让我们一同努力，办出一届成功的 EMNLP 2020 大会！
相关阅读资源：
如果你想要阅读更多有关审稿的通用建议，我们向你推荐以下资源：
NeurIPS不仅仅指导审稿人应该在审稿意见中包含什么内容，同时还在「审稿人指南」中给出了一些实用的审稿意见范例。这些审稿意见是根据「论文的贡献」、「论文的质量」、「清晰度」、「原创性」、「重要性」等评价标准组织的。这对于新的审稿人和作者都是非常实用的。阅读地址：https://nips.cc/Conferences/2019/PaperInformation/ReviewerGuidelines
ICML给出了一些优秀审稿意见的范例。请参阅「审稿人指南」的第二部分，阅读地址：https://icml.cc/Conferences/2020/ReviewerGuidelines
PatThomson 写过一篇关于期刊评审的博文「peer reviewing your first paper」 ，这与会议审稿有着大致相似的程序。文章分为三部分，包括如何批判性地阅读论文，如何确定需要进行的修改和写给 PC 的处理建议，如何撰写有建设性的反馈意见。阅读地址：https://patthomson.net/2019/10/14/reviewing-your-first-paper/
Wiley出版集团发布了一个「给审稿新手的十个小建议」讲解视频，观看地址：https://players.brightcove.net/3806881048001/rFXiCa5uY_default/index.html?videoId=4518165477001。你也可以通过下面的链接查看文字版：https://authorservices.wiley.com/asset/photos/reviewers.html/journal-reviewers.html/Top_Tips_for_Peer_Review.pdf。
其中，第八条建议对于所有人都是很实用的：「首先看看结语」。Wiley 之所以提倡这么做，是因为结语往往会让你很好的把握这份研究是否在其领域内取得了令人激动的进展。另一个这样做的理由是，看看论文作者声称他们做了些什么：结语与摘要和引言不同，后者可能做出比论文实际能够支撑的结果更令人印象深刻的论述。
爱思唯尔出版集团的「Researcher Academy」制作了一段有关「如何写出一份有用的同行评审意见」的视频，观看地址：https://researcheracademy.elsevier.com/navigating-peer-review/certified-peer-reviewer-course/31-write-helpful-peer-review-report。这段视频是由「柳叶刀全球健康」期刊的创始编辑和开源期刊主编 Zoë Mullan 进行讲解，大家可参考。
一篇早期在「美国医学协会杂志」（JAMA）上发表的文章提出了一些有关论文评审的有趣观点，例如「是什么造就了一名优秀的审稿人和一篇优秀的医学杂志审稿意见？」，阅读地址：https://jamanetwork.com/journals/jama/fullarticle/187762
阅读上面提到的任何文章和视频都将会让你树立信心，让你相信自己在做正确的事情。雷锋网
在这份官方建议的指导下，今年“放榜”之际， EMNLP 的审稿人们是否会让大家失望了？
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
