雷鋒網(wǎng) AI 科技評(píng)論按：以 2906 份論文提交數(shù)再創(chuàng)自然語(yǔ)言處理頂會(huì)新記錄的 ACL 2019，在今日正式放榜！我們目前已經(jīng)看到學(xué)界陸續(xù)傳來(lái)的“捷報(bào)”，比如中科院自動(dòng)化所的宗成慶老師團(tuán)隊(duì)，就有 3 篇論文被今年的會(huì)議錄用。為大家所取得的成績(jī)感到高興之余，雷鋒網(wǎng) AI 科技評(píng)論也專(zhuān)門(mén)翻譯了 ACL 2019 組委會(huì)的一篇博文，趁機(jī)了解 ACL 2019 為確保審稿質(zhì)量做出了哪些努力。

隨著人工智能的興起，自然語(yǔ)言處理越來(lái)越受到人們的關(guān)注，幾乎所有近期會(huì)議的自然語(yǔ)言處理領(lǐng)域論文都在提交數(shù)量上取得了突破?？v觀(guān) ACL 的發(fā)展歷史，我們從未見(jiàn)過(guò)如此戲劇性的增長(zhǎng)：短短一年時(shí)間內(nèi)，論文的提交數(shù)量就從 1544 份變成 2906 份！下圖完整顯示了 ACL 過(guò)去 20 年的增長(zhǎng)情況，涉及內(nèi)容包括論文提交、審閱人員以及區(qū)域主席（高級(jí)）等情況。

要對(duì)如此大體量的提交論文進(jìn)行審閱，需要一個(gè)運(yùn)行良好的大型項(xiàng)目委員會(huì)。為此，我們創(chuàng)建了一種在項(xiàng)目委員會(huì)（ Program Committee）基礎(chǔ)上帶有高級(jí)項(xiàng)目委員會(huì)（Senior Program Committee）的會(huì)議結(jié)構(gòu)。我們?yōu)楦呒?jí)項(xiàng)目委員會(huì)招募了一定數(shù)量的高級(jí)領(lǐng)域主席（共計(jì) 46 位，每個(gè)區(qū)域 2 - 4 名主席）以及領(lǐng)域主席(共計(jì) 184位，每個(gè)區(qū)域 3 -15 名主席)。我們對(duì)各個(gè)崗位的任務(wù)進(jìn)行了嚴(yán)格區(qū)分，高級(jí)領(lǐng)域主席主要負(fù)責(zé)將論文分配予領(lǐng)域主席及審稿人，并為各自專(zhuān)注的領(lǐng)域提出建議；領(lǐng)域主席主要負(fù)責(zé)該領(lǐng)域內(nèi)的一小部分論文，具體任務(wù)是與審稿人進(jìn)行討論、寫(xiě) meta-reviews 以及提出初步建議。這種組織結(jié)構(gòu)有助于彌補(bǔ)快速增長(zhǎng)背后的問(wèn)題——缺乏經(jīng)驗(yàn)豐富的審稿人。由于領(lǐng)域主席需要評(píng)閱的論文數(shù)量較少，因此可以更專(zhuān)注于審查過(guò)程。審稿人方面，我們今年配置了大量人員，共達(dá) 2281 名（ACL 2018 的數(shù)量為 1610 名）。

由于今年的論文提交數(shù)量是如此之多，以至于會(huì)議的組織（從開(kāi)始的提交審查到最終的審閱決策)都要比往常更加費(fèi)時(shí)?？紤]到時(shí)間非常緊迫，所以我們尋找各種可以提高效率的方法。我們希望在提高工作效率之余，還能提升作者和區(qū)域主席的用戶(hù)體驗(yàn)。為此，我們減少了原來(lái)需要 3 天（或更少）短期周轉(zhuǎn)的截止日期?？紤]到社區(qū)中工作和生活情況的多樣性（即人們實(shí)際上可投入于會(huì)議相關(guān)工作的時(shí)間/天數(shù)的巨大變化），那樣的截止日期充其量只會(huì)給所有人帶來(lái)壓力，且往往效果不佳。

具體來(lái)講，我們今年落實(shí)了以下幾點(diǎn)改變:

• 放棄論文投標(biāo)階段。在過(guò)去，這個(gè)階段可能會(huì)花去幾天時(shí)間，隨著提交論文數(shù)量的高速增長(zhǎng)，審稿人發(fā)現(xiàn)這個(gè)環(huán)節(jié)變得越來(lái)越耗時(shí)。拋開(kāi)時(shí)間因素不談，我們還擔(dān)心審稿人會(huì)傾向于選擇個(gè)人喜歡，而非自己有資格評(píng)閱的論文進(jìn)行審查(關(guān)于這個(gè)話(huà)題，有一篇很有意思的博客文章：https://naacl2018.wordpress.com/2018/01/28/a-review-of-reviewer-assignment-methods/)。原先我們計(jì)劃用 Toronto Paper Matching System（TPMS）給審稿人分配論文。遺憾的是，這個(gè)系統(tǒng)并沒(méi)有想象中的那么有用（要想獲得最佳性能，需要我們提供更廣泛的審閱者資料)，并且該工作在很大程度上依然有賴(lài)于手動(dòng)操作?？偟膩?lái)說(shuō)，我們的高級(jí)領(lǐng)域主席在這方面的工作非常出彩，但我們依然認(rèn)為這是一項(xiàng)需要在自動(dòng)化方面加大投入的工作。

• 與 NAACL 2019 一樣，我們今年同樣取消了作者響應(yīng)階段。作者響應(yīng)階段最開(kāi)始是審稿流程優(yōu)化的產(chǎn)物，后來(lái)被證明耗時(shí)巨大（不僅僅作者，還包括審稿人與主席的時(shí)間），而且起到的作用很有限。因此，比起作者的回應(yīng)，我們決定將更多時(shí)間和精力投入在促進(jìn)項(xiàng)目委員會(huì)的內(nèi)部討論上，以確保所有的討論、論文與評(píng)審結(jié)果都得到區(qū)域主席們的充分關(guān)注。這篇論文(預(yù)計(jì)將在 2019 年的 NAACL 上發(fā)表）總結(jié)了 ACL 2018 的相關(guān)數(shù)據(jù):

Does My Rebuttal Matter? Insights from a Major NLP Conference
Yang Gao, Steffen Eger, Ilia Kuznetsov, Iryna Gurevych and Yusuke Miyao

• 與近期一些會(huì)議采用的詳盡審查形式相比，我們的論文審查機(jī)制更為精簡(jiǎn)，靈感主要源自 EMNLP 2018 （感謝 Julia Hockenmaier、David Chiang 和 Junichi Tsujii?。┻@個(gè)形式既有效保證審查的嚴(yán)謹(jǐn)性，也減輕了審稿人的審稿壓力，而且更能突出在決策過(guò)程中的關(guān)鍵點(diǎn)。

雖然我們采取了種種節(jié)約時(shí)間的措施，然而對(duì)于項(xiàng)目委員會(huì)主席、高級(jí)區(qū)域主席、區(qū)域主席以及審稿人來(lái)說(shuō)，會(huì)議日程依然非常緊張。讓人感到有趣的是，盡管 ACL 在過(guò)去 20 年內(nèi)有了顯著增長(zhǎng)，然而日程安排卻幾乎與 1999 年沒(méi)什么兩樣。另外還有一點(diǎn)，從提交截止至錄取通知的時(shí)長(zhǎng)，也與 1999 年完全相當(dāng)（都是兩個(gè)月），雖然論文提交的數(shù)量如今已增加了十倍，且個(gè)人電腦的體積及復(fù)雜程度變化極大。也許我們是時(shí)候采用這些會(huì)議的做法（比如 IJCAI、NeurIPS、SIGIR)了，即是將這個(gè)時(shí)長(zhǎng)延長(zhǎng)至 3-4 個(gè)月。隨著會(huì)議的進(jìn)一步壯大，這對(duì)于維持審查質(zhì)量來(lái)說(shuō)至關(guān)重要。

此外，會(huì)議的日程還受到其他會(huì)議（如 NAACL 、EMNLP-IJCNLP）以及 ACL 指南和預(yù)印需求的影響。為此，我們與其他會(huì)議作出了協(xié)調(diào)一致的努力，避免審查期間出現(xiàn)重疊的情況(否則將導(dǎo)致會(huì)議可用時(shí)間被縮短)。評(píng)審周期一旦出現(xiàn)重疊，要么作者不滿(mǎn)意（因?yàn)樗麄兊恼撐臒o(wú)法提交所有會(huì)議)，要么項(xiàng)目委員會(huì)主席覺(jué)得混亂（同時(shí)管理多個(gè)來(lái)源的論文提交以及論文撤回）。此外，審稿人也不可能同一時(shí)間對(duì)多個(gè)會(huì)議的論文進(jìn)行審閱。即使今年沒(méi)有出現(xiàn)重疊的情況，許多作者仍然希望會(huì)議之間能有更長(zhǎng)的間隙，以便能根據(jù)上一個(gè)會(huì)議的反饋重新修改并提交論文，然而過(guò)往情況是，一旦被一個(gè)會(huì)議拒稿，作者便沒(méi)有足夠時(shí)間在下一場(chǎng)會(huì)議開(kāi)始的匿名階段以前進(jìn)行論文提交?？偟膩?lái)說(shuō)，今后除了要注意會(huì)議的排期外，截止日期的數(shù)量與安排同樣值得給予更多關(guān)注。

via http://acl2019pcblog.fileli.unipi.it/?p=156

雷鋒網(wǎng) AI 科技評(píng)論

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。