0
| 本文作者： 奕欣 | 2017-08-01 06:59 | 專題：ACL 2017 |
溫哥華時間 7 月 31 日早上九點，ACL 2017 正式開幕。在開幕儀式上，包括大會主席在內(nèi)的多位組委會代表上臺發(fā)表致辭，并邀請了 ACL 現(xiàn)任主席、瑞典烏普薩拉大學的 Joakim Nivre 做報告。雷鋒網(wǎng) AI 科技評論第一時間發(fā)來現(xiàn)場報道。
三個「最」和三個「第一次」
本屆 ACL 的規(guī)模創(chuàng)下了歷史高峰：不論是論文的投遞數(shù)，或是作為贊助商來到現(xiàn)場的企業(yè)數(shù)量都是前所未有的。ACL 大會主席先公布了一系列數(shù)字，在雷鋒網(wǎng) AI 科技評論看來，可以描述為三個「最」和三個「第一次」。
根據(jù)現(xiàn)場公示的信息與大會會刊提供的數(shù)據(jù)，雷鋒網(wǎng) AI 科技評論結合此前的報道綜合總結，第一「最」莫過于今年的 ACL 共收到了 751 篇長文和 567 篇短文的投遞，共計 1318 篇。其中：
長文有 195 篇被錄用，包括 117 篇口頭報告論文和 78 篇 poster，錄取率 18%；
短文有 104 篇被錄用，包括 34 篇口頭報告論文和 73 篇 poster，錄取率 25％；
此外，還有 22 篇杰出論文，包括 15 篇長文和 7 篇短文，錄取率 1.6%。
因而 ACL 2017 的第二「最」便是，整個會議期間共有 367 個大大小小的報告，長文將展示 14 分鐘，短文 12 分鐘，包括提問時間。由于要在短短幾天內(nèi)安排如此多的議程，同一時段最多將進行五個演講，這也是前所未有的。
ACL 的第三「最」則是贊助商的數(shù)量也達到了史上最多，達 36 家（外加 NSF），其中不乏中國廠商，包括 BAT、搜狗搜索、華為、CVTE、今日頭條等多家企業(yè)。根據(jù)雷鋒網(wǎng)在現(xiàn)場的了解，包括騰訊、阿里、百度在內(nèi)的一些贊助廠商在這次會議上發(fā)表了論文，而也有一些企業(yè)抱著學習的心態(tài)來到現(xiàn)場，并比較含蓄地表達了自己的招人需求。與 CVPR 激烈爭奪人才、線下活動多如牛毛的情況不同，ACL 的線下活動相對較少，以會場內(nèi)當面的交流和溝通為主。
由于展位位于一樓大廳的茶歇處，因此參會者在休息時段也將各個展位圍得水泄不通。
而至于三個「第一次」，一個是昨天雷鋒網(wǎng)提及的 WiNLP，這個關注女性研究群體的 workshop 是第一次舉辦；另一個則是「KiddleCorp」，便于已為人父母的研究者們也能帶著小孩來參會。在會場的三樓，不僅有專門的哺乳室，還有專門供 12 歲以下的小朋友玩耍的游戲間。而除了會場的貼心準備外，還會有增加親子互動的水族館參觀環(huán)節(jié)，這種更加人性化的細節(jié)更加增進了研究者對 ACL 的好感。
另一個「第一次」則是，本次活動首次增設了「PC Blog」這一環(huán)節(jié)，組委會的成員們在籌辦會議期間，在 ACL 官網(wǎng)的博客上記錄下了從論文投遞到論文評審的點點滴滴，共發(fā)布 36 篇。
比如去年年底的《LAST CALL FOR AREA CHAIRS—A CALL FOR DIVERSITY!》就是其中一篇經(jīng)典分享，在本次開幕式上，ACL 2017 程序委員會主席、新加坡國立大學的 Min－Yen Kan 教授再次針對區(qū)域主席的提名數(shù)據(jù)做了分享。從被提名成員的來源、性別、領域、所在機構及職稱上，我們可以從圖表中看出一些有意思的地方。
比如，自薦的比重達到 68%，也有31％是他人推薦；
男性依然占絕大比重，占比 78.4 %；女性只占 21.6%；
來自美國的研究者占據(jù)了提名池的半壁江山，占比約 57%，而歐洲則以 32% 的百分比位列其后，可見兩地的成員比重占據(jù)主導地位；而亞洲及泛太平洋地區(qū)則與非洲和中東比重一致，均約為 5%。
此外，有 83.8 % 的被提名者來自學術界，而產(chǎn)業(yè)界則占比 16.2%。
高級研究員的比重則達到了 59.5%。
接下來，另一位 ACL 2017 程序委員會主席、MIT 教授 Regina Barzilay 又給在場的觀眾們分享了論文投遞的一些注意事項。
比如，她提及有 10% 的論文沒有經(jīng)過評審就直接被拒，常見的原因包括，長度不符合要求、論文領域不符合 ACL 的調(diào)性、字體問題、匿名投遞等。她建議，在提交論文之前可以采用在線格式檢查器進行最后核實，避免與心儀的會議失之交臂。
與此同時，會議組織者組重要的任務是合理分配論文給對應的審稿人，審稿質(zhì)量也影響者會議的水準和研究領域的方向。由于今年的投遞數(shù)量過多，Barzilay 教授也坦誠在評審環(huán)節(jié)上存在諸多挑戰(zhàn)，因此組委會采用了 Toronto Paper Matching System（TPMS），將所有投遞的論文進行合理分配，并且創(chuàng)建了一個實時更新的評審數(shù)據(jù)庫。
關于 TPMS 的詳細介紹可參考：https://mila.umontreal.ca/en/publication/the-toronto-paper-matching-system-an-automated-paper-reviewer-assignment-system/
在評審過程中，組委會采取了「期刊式」（journal－like）的評審方法，即盡可能讓每位區(qū)域主席經(jīng)手盡可能少的論文，并縮短論文的初審時間，但增加爭議論文的討論時間。
在組委會的努力下，有 78% 的論文基于首次評審的結果被錄用。而有爭議的論文在經(jīng)過二度評審后，增加和降低的分數(shù)分別為 3.14 和 3.4。
Barzilay 教授根據(jù)本次的評審結果，總結出兩個結論，
一個是，初審結果很大程度上決定了論文的去留；
另一個是，二度討論將對 22% 的論文進行再次研究。
她認為，應該將更多的時間留給有爭議的論文，而不是兩頭（很快能確定是否錄用）的論文上。
非常有意思的是，Barzilay 教授也提及了論文評語常見的一些關鍵詞（如下圖所示），不難看出，將論文寫得清晰明白，論據(jù)翔實，并且有獨到的觀點，是論文篩選的重要標準。（敲黑板！論文下一次能不能中，就看同學們能不能記住這三點了?。?/p>
最后，Barzilay 教授動情地回憶了她 20 年前第一次參加 ACL 1997 時的經(jīng)歷，她表示，在參加完那次會議后，她確定了接下來要走的路——繼續(xù)在計算機語言學和自然語言處理領域深耕，并且 20 年如一日，一直到今天。以此，她勉勵在座的同學們在大會期間也能有更多的思考，或許這些啟示甚至能影響自己未來的職業(yè)生涯。
在開幕式的最后環(huán)節(jié)，ACL 2017 主席 Joakim Nivre 做了大會主題報告，他以生動幽默的語言描述了 ACL 上三個值得高度關注的問題。
在會上，Nivre 教授引用了兩段話來闡述公平性和多樣性的重要程度。
不論是接受或是拒絕進入科學的大門，這并不取決于對方的個人或社會屬性……種族，民族，宗教，階級和個人素質(zhì)等都無關緊要?！猂obert K. Merton
科學家，心理學家，社會學家、經(jīng)濟學家和人口學家們數(shù)十年的研究表明，社會多樣化的群體（即具有不同人種、民族、性別和性取向的種族）比同類群體更具創(chuàng)新性?！狵atherine W. Phillips 在 2014 年 10 月的《科學美國人》上所發(fā)表的文章《多樣性如何讓我們變得更加聰明》
ACL 全稱為國際計算機語言學協(xié)會（Association for Computational Linguistics），在 ACL Fellow 和組委會成員的甄選上，協(xié)會采取了全新的標準，以避免可能存在的偏見，并且增加了人群的多樣性。此外在議程的設置上，正像前文雷鋒網(wǎng) AI 科技評論所提及的 KiddleCorp 以及 WiNLP 一樣，都是凸顯公平性與多樣性的活動。
Publishing and Reviewing——出版與評審
ACL 協(xié)會為了促進公平性，在論文的篩選上采用的是雙盲同行評審的模式。但由于類似 arXiv 這樣的平臺出現(xiàn)，實際上雙盲評審也不總是能夠奏效。例如在 EMNLP 2017 所做的一項研究發(fā)現(xiàn)，在接受調(diào)查的 701 位評審中，有 30% 的受訪者表示他們能夠正確判斷出一篇論文的作者是誰（很有可能在投遞會議前，這篇論文就在學術圈刷屏了）。
這一討論在官網(wǎng)的 PC Blog 上也有提及，詳見：https://chairs-blog.acl2017.org/2017/03/02/arxiv-and-double-blind-reviewing-revisited/
在演講中，Nivre 教授也總結了同行評審所帶來的三個問題及對應的解決方案：
首先，不斷增加的論文投遞數(shù)讓評審人不堪重負，可能會對論文評審質(zhì)量造成影響；
其次，隨著 arXiv 的出現(xiàn)，會議不再成為討論最新想法的平臺，時效性變差；
再者，期刊相比起會議而言權威性更加高，那么期刊是否依然是科學領域的掌門者？
因此，組委會希望從以下三點入手：
通過預審環(huán)節(jié)減輕評審人的負擔（并提升質(zhì)量）；
在長文評審上，設置滾動的截止時間，采取期刊式的評審模式；
短文及 poster 可以提交摘要版本。
arXiv 平臺具有開放性和同行評審的特點，那么對于論文作者而言，這一平臺給他們帶來了多大的便利？針對這一問題，ACL 進行了一次預印論文與評審的調(diào)查。
對參與調(diào)查的 623 名受訪者中，研究者發(fā)現(xiàn)有 22% 的論文作者會講自己的論文先提交在 arXiv 上；而且有 27% 的受訪者（非常）經(jīng)常引用 arXiv 平臺上的論文。
調(diào)查的結論如下：
對于雙盲評審，持積極態(tài)度居多；
而對于一刀切禁止預印版的發(fā)布，則持謹慎的態(tài)度；
提交預印版時提供暫時匿名的選擇是個很不錯的主意；
在論文中引用預印版論文則需要規(guī)范的流程；
評審質(zhì)量是大家最為重視的東西，而這也對組委會提出了新的長期和短期的要求。
Good Science——好的科學
Nivre 教授這里所謂的「Good」，他用兩個關鍵詞總結它所表達的含義。
一個是可復制性（replicability），也就是說，實驗的復現(xiàn)性要強，能夠通過同樣的測量手段實現(xiàn)同樣的效果，具備基準和公平比較的條件（fast science）；
另一個是復現(xiàn)性（reproducibility），即能夠在相似實驗上得到相似的結果，可以構建有效的假說，并且經(jīng)得起反復測試和比較分析（slow science）。
最后，Nivre 教授也勉勵大家，前途是光明的，「Keep up and good work！」
精彩紛呈又信息量滿滿的開幕式就此落下帷幕，在縱覽 ACL 2017 大會情況外，在座的老師和同學們也更好地了解了國際計算機語言協(xié)會所作出的努力和思考。接下來的幾天，將會有超過 300 個報告展示陸續(xù)進行，更多精彩內(nèi)容敬請關注雷鋒網(wǎng) AI 科技評論。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
專題
本專題其他文章
