由于全球疫情和美國近段時間的動蕩，EMNLP 組委會發(fā)布通知，宣布截稿時間延遲 48 小時（6月3日，UTC） ，正在奮筆疾書地趕著 Deadline 的小伙伴們可以稍微松口氣啦 ！

而提交投稿之后，等待大家的就是長達(dá)三個多月的審稿期了。在近年來頂會審稿“怪象”層出不窮的背景色下，各位投稿作者們對于今年 EMNLP 的審稿質(zhì)量想必也是惴惴不安。

這不，不久前 EMNLP 組委會就專門向?qū)徃迦税l(fā)布了一篇建議公告，指出審稿人應(yīng)該做什么以及不應(yīng)該做什么，并特別強(qiáng)調(diào)“一篇論文的貢獻(xiàn)可以是在效率、泛化能力、可解釋性和許多其它的指標(biāo)上有所進(jìn)步。任何令人信服的貢獻(xiàn)都不應(yīng)該僅僅因為沒有在某些指標(biāo)上取得最高排名而被拒絕?！?/p>

以下為公告正文內(nèi)容：

本文旨在為審稿人們提供一些建議，讓我們可以找出最佳的研究工作，在 EMNLP 大會上展示它們，并且提出有建設(shè)性的反饋意見，使作者們能進(jìn)一步改進(jìn)它們的文章。我們高度贊賞審稿人們做出的大量貢獻(xiàn)，希望讓審稿工作更有益。我們希望所有的作者在閱讀到針對其文章的同行評審意見時，能夠改到醍醐灌頂。

本屆 EMNLP 大會并不是首次試圖培訓(xùn)審稿人的學(xué)術(shù)會議。在自然語言處理（NLP）和其它的領(lǐng)域中，許多重要的會議都曾經(jīng)向?qū)徃迦私o出建議，在學(xué)術(shù)期刊評審過程中也是如此。在 NLP 領(lǐng)域中，我們希望重點強(qiáng)調(diào)：

• ACL 2017 上，NLP領(lǐng)域的領(lǐng)袖級研究者 Mirella Lapata, Marco Baroni, Yoav Artzi, Emily Bender, Joel Tetreault, Ani Nenkova, and Tim Baldwin 等人曾撰寫的「審稿建議漫談」，閱讀地址：Discursive advice，https://acl2017.wordpress.com/2017/02/23/last-minute-reviewing-advice/

• NAACL 2018 上給出的審稿教程「兩份優(yōu)秀的審稿意見示例」，閱讀地址：https://naacl2018.wordpress.com/2018/01/20/a-review-form-faq/

• Noah Smith 撰寫的有關(guān)同行評審的博文，閱讀地址：https://soundcloud.com/nlp-highlights/77-on-writing-quality-peer-reviews-with-noah-a-smith

煩請大家費(fèi)點時間瀏覽一下這些優(yōu)秀的資源。

在這里，我們希望重新強(qiáng)調(diào)一些建議/不建議做的事，希望它們能夠幫助審稿人和作者。

首先，請評價論文的貢獻(xiàn)。此時，你應(yīng)該用到你在 NLP 領(lǐng)域的專業(yè)知識。我們建議你不應(yīng)該僅僅因為作者在論文中給出的實驗結(jié)果較好，或者在數(shù)學(xué)上似乎很復(fù)雜就接收論文。這都不是論文構(gòu)成貢獻(xiàn)的充分或必要條件。

同時，我們還建議你不應(yīng)該僅僅因為有些論文的實驗結(jié)果沒有比目前最佳的工作（SOTA）好就拒掉它們。在之前的 ACL 大會上，一些審稿人過于看重 SOTA 的模型性能，他們給任何沒有達(dá)到 SOTA 性能的系統(tǒng)都打了低分。

然而，我們的目的是發(fā)表真正最好的論文，那么一個具有建設(shè)性的問題就是「論文應(yīng)該在哪些方面最先進(jìn)？」。正如博文「Peer review in NLP: reject-if-not-SOTA」中所談到的，一篇論文的貢獻(xiàn)可以是在效率、泛化能力、可解釋性和許多其它的指標(biāo)上有所進(jìn)步。任何令人信服的貢獻(xiàn)都不應(yīng)該僅僅因為沒有在某些指標(biāo)上取得最高的排名而被拒絕。博文地址：https://hackingsemantics.xyz/2020/reviewing-models/關(guān)于不同類型的貢獻(xiàn)，馬里蘭大學(xué)的 Philip Resnik 教授曾說:

我認(rèn)為，鼓勵審稿人們明確地思考貢獻(xiàn)的本質(zhì)，以及「我們真正需要提出的問題是什么」是非常有意義的。首先，你應(yīng)該考慮/討論：

這份研究工作是否在科學(xué)方面有所貢獻(xiàn)？如果有的話，請繼續(xù)追問：

• 作者試圖提升我們對世界上什么現(xiàn)象的理解？

• 對于這個之前未知的現(xiàn)象，現(xiàn)在我們有了什么了解？

這份研究工作是否在工程方面有所貢獻(xiàn)？如果有的話，請繼續(xù)追問：

• 這份工作在解決什么現(xiàn)實世界中的問題（或一系列問題）上取得了進(jìn)步？

• 或者沒如果它針對的不是一個當(dāng)前的現(xiàn)實問題，那么它將在未來幫助解決哪些現(xiàn)實問題？

這份工作是否在理論方面（例如，數(shù)學(xué)上）有所貢獻(xiàn)？如果有的話，請繼續(xù)追問：

• 我們現(xiàn)在是否知道什么之前不知道的東西？

• 這份工作在理論或數(shù)學(xué)上的進(jìn)展與科學(xué)或工程上的目標(biāo)有什么聯(lián)系？（見上文）

計算語言學(xué)的工作可能在科學(xué)、工程、理論方面都有所貢獻(xiàn)，而不僅僅是在某一個方面有所貢獻(xiàn)。但是，我建議，如果一篇論文在上述三個方面都沒有任何貢獻(xiàn)，而在下面的子條目中可以找到答案，那么你就需要認(rèn)真考慮這篇論文的內(nèi)容是否與本會議的要求相符。

其次，在閱讀論文和撰寫審稿意見時，請考慮下面這些重要的因素：

• 論文提出了什么學(xué)術(shù)觀點，論文的哪些內(nèi)容對這些觀點起了什么支撐作用？如果論文提出了觀點 X 并取得了一定的性能提升，那么這種性能提升是否真的是由 X 帶來的？

• 審稿意見要詳細(xì)具體。例如，如果你認(rèn)為作者忽略了一些需要引用的關(guān)鍵論文，請在你的審稿意見中將這些參考文獻(xiàn)列出來。引用這些文獻(xiàn)可能對你來說是顯而易見的，但是作者往往并不這么清楚。詳細(xì)的審稿意見可以幫助作者制定一份有力的針對審稿意見的應(yīng)對方案，并在他們的論文中解決這些問題。值得注意的是，作者并不一定要引用或?qū)Ρ韧瑫r期的其它工作（即在論文提交三個月內(nèi)出現(xiàn)的其它文獻(xiàn)），特別是在這些論文沒有在經(jīng)過同行評審的平臺上發(fā)表的情況下。

• 請?zhí)岢鼍哂薪ㄔO(shè)性的建議。指出論文在哪些方面做得不好，可能在評審時起到把關(guān)性的作用（給出拒稿的理由），但是這樣做對作者的幫助就沒有那么大了。給出一些關(guān)于作者可以如何改進(jìn)這些存在問題的方面的建議，則可以讓他們把工作做得更好。

• 即使在批評的時候，也請注意使用友善的語言。審稿人可能會很容易變得有些激動，寫出一些你永遠(yuǎn)不會當(dāng)著別人的面說的不禮貌的話。請盡量在你的審稿意見中保持禮貌。最后需要注意的是，現(xiàn)在越來越多的作者會在社交媒體上公開評審意見（尤其是當(dāng)這些評審意見以不切實際的理由拒掉這些論文時）。

因此，我們建議審稿人不應(yīng)該基于下面的原因拒掉一篇論文：

• 論文的語言或?qū)懽黠L(fēng)格。請重點關(guān)注論文的實質(zhì)性內(nèi)容。我們理解，有時論文的語言或?qū)懽黠L(fēng)格很差，以至于審稿人無法弄懂論文的內(nèi)容和實質(zhì)。在這種情況下，拒稿是可以的，但你只有在努力弄懂這篇論文后才能這么做。

• 論文的研究工作針對的語言不是英語。我們關(guān)注的是針對任何語言的自然語言處理。

• 論文的實驗結(jié)果并不比 SOTA 的工作好。請根據(jù)上文和「Peer review in NLP: reject-if-not-SOTA」（https://hackingsemantics.xyz/2020/reviewing-models/）中給出的建議，查看論文的貢獻(xiàn)和發(fā)現(xiàn)。

• 論文沒有使用某類特定的方法（例如，深度學(xué)習(xí)）。好的工作并不要求一定要使用某種特定的方法。請說明為什么需要這種方法。想想這篇論文的貢獻(xiàn)是什么，請牢記：使用多種方法并不是一件壞事。

• 論文的方法過于簡單。我們的目的是不要設(shè)計出最為復(fù)雜的方法。在這里，請再想想論文的貢獻(xiàn)和發(fā)現(xiàn)是什么。通常，使用最簡單的方法完成的論文的引用量是最多的。如果某種簡單的方法比以前的工作中更復(fù)雜的方法性能更好，那么這通常是一個重要的發(fā)現(xiàn)。

• 論文的主題范圍較窄或者過時。請保持開放的心態(tài)。我們并不希望整個研究社區(qū)都爭相研究同一個火熱的話題。請關(guān)注論文的貢獻(xiàn)，想想它對我們的研究社區(qū)有何影響。

• 如果論文的主題是全新的，這樣一來我們就沒有現(xiàn)有的對比工作，或者所有現(xiàn)有的工作都是在另外的領(lǐng)域完成的。我們需要對涉足新領(lǐng)域的論文保持興趣。論

• 文介紹的是研究資源。在像 NLP 這樣依賴于有監(jiān)督機(jī)器學(xué)習(xí)的領(lǐng)域中，數(shù)據(jù)集的開發(fā)與建模工作同等重要。博文「Peer review in NLP: resource papers」（https://hackingsemantics.xyz/2020/reviewing-data/）討論了接收/駁回一篇描述研究資源的論文的原則，大家可參考。

當(dāng)你撰寫審稿意見時，請避免根據(jù)上述理由作為拒稿理由的主要原則。我們將確保作者知曉這些準(zhǔn)則，并且在作者撰寫反駁意見的時候參考它們。領(lǐng)域主席（AC）們將基于上面的原則仔細(xì)審核審稿意見，并且可以要求審稿人修改審稿意見，或者提供客觀的理由來證明其立場。

我們希望這些建議對于審稿人有所幫助，同時也希望有更多的作者對審稿人給出的深刻反饋表示感謝，我們希望抱怨評審意見的審稿人少一些。感謝各位幫助我們評審論文，讓我們一同努力，辦出一屆成功的 EMNLP 2020 大會！

相關(guān)閱讀資源：

如果你想要閱讀更多有關(guān)審稿的通用建議，我們向你推薦以下資源：

• NeurIPS不僅僅指導(dǎo)審稿人應(yīng)該在審稿意見中包含什么內(nèi)容，同時還在「審稿人指南」中給出了一些實用的審稿意見范例。這些審稿意見是根據(jù)「論文的貢獻(xiàn)」、「論文的質(zhì)量」、「清晰度」、「原創(chuàng)性」、「重要性」等評價標(biāo)準(zhǔn)組織的。這對于新的審稿人和作者都是非常實用的。閱讀地址：https://nips.cc/Conferences/2019/PaperInformation/ReviewerGuidelines

• ICML給出了一些優(yōu)秀審稿意見的范例。請參閱「審稿人指南」的第二部分，閱讀地址：https://icml.cc/Conferences/2020/ReviewerGuidelines

• PatThomson 寫過一篇關(guān)于期刊評審的博文「peer reviewing your first paper」 ，這與會議審稿有著大致相似的程序。文章分為三部分，包括如何批判性地閱讀論文，如何確定需要進(jìn)行的修改和寫給 PC 的處理建議，如何撰寫有建設(shè)性的反饋意見。閱讀地址：https://patthomson.net/2019/10/14/reviewing-your-first-paper/

• Wiley出版集團(tuán)發(fā)布了一個「給審稿新手的十個小建議」講解視頻，觀看地址：https://players.brightcove.net/3806881048001/rFXiCa5uY_default/index.html?videoId=4518165477001。你也可以通過下面的鏈接查看文字版：https://authorservices.wiley.com/asset/photos/reviewers.html/journal-reviewers.html/Top_Tips_for_Peer_Review.pdf。

  其中，第八條建議對于所有人都是很實用的：「首先看看結(jié)語」。Wiley 之所以提倡這么做，是因為結(jié)語往往會讓你很好的把握這份研究是否在其領(lǐng)域內(nèi)取得了令人激動的進(jìn)展。另一個這樣做的理由是，看看論文作者聲稱他們做了些什么：結(jié)語與摘要和引言不同，后者可能做出比論文實際能夠支撐的結(jié)果更令人印象深刻的論述。

• 愛思唯爾出版集團(tuán)的「Researcher Academy」制作了一段有關(guān)「如何寫出一份有用的同行評審意見」的視頻，觀看地址：https://researcheracademy.elsevier.com/navigating-peer-review/certified-peer-reviewer-course/31-write-helpful-peer-review-report。這段視頻是由「柳葉刀全球健康」期刊的創(chuàng)始編輯和開源期刊主編 Zo? Mullan 進(jìn)行講解，大家可參考。

• 一篇早期在「美國醫(yī)學(xué)協(xié)會雜志」（JAMA）上發(fā)表的文章提出了一些有關(guān)論文評審的有趣觀點，例如「是什么造就了一名優(yōu)秀的審稿人和一篇優(yōu)秀的醫(yī)學(xué)雜志審稿意見？」，閱讀地址：https://jamanetwork.com/journals/jama/fullarticle/187762

  該論文得出的結(jié)論之一是，「年齡更年輕也是編輯質(zhì)量評估的獨立預(yù)測因素」。雷鋒網(wǎng)雷鋒網(wǎng)

閱讀上面提到的任何文章和視頻都將會讓你樹立信心，讓你相信自己在做正確的事情。雷鋒網(wǎng)

在這份官方建議的指導(dǎo)下，今年“放榜”之際， EMNLP 的審稿人們是否會讓大家失望了？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。