0
近期，《美國新聞與世界報道》（U.S News & World Report，以下簡稱USN&WR）發(fā)布了其2018年度全球大學及各個學科排名。（雷鋒網(wǎng)報道：US News 2018年全球大學排名最新出爐，清華大學計算機專業(yè)問鼎全球Top1 ！）
其中較為引人注目的是，在其世界大學計算機學科的排行榜中，清華大學排名全球第一，華中科大和浙江大學也分別進入前十；而一些世界著名的高校，例如MIT、斯坦福、哈佛分別只排到第4、第6和第7名；卡內(nèi)基·梅隆大學甚至僅排名第22名。
在USN&WR發(fā)布出這份排名后，國內(nèi)學者普遍認為這不過是一個笑話。清華大學助理教授劉知遠表示：“有人夸你，當然可以樂呵一下，總比罵你的好。不過還需有自知之明，所以樂呵‘一下’就好了，該干嘛干嘛去?！?/p>
美國計算機研究協(xié)會（CRA）首先嘗試了與USN&WR溝通，希望他們撤回這份排名，但沒有得到USN&WR的任何回復。隨后CRA在其官網(wǎng)上發(fā)布了一份公開的聲明，指出USN&WR發(fā)表的全球大學計算機科學排名的不合理之處，并請求計算機社區(qū)的人忽視這份排名。
對于這份爭議，雷鋒網(wǎng)也第一時間在《清華計算機排名世界第一？美國計算研究協(xié)會公開抗議US News全球大學計算機科學排名》一文中做了詳細的報道。為了深入了解這個事件，我們向多位學者咨詢了他們的意見。
CRA的公開信中指出了USN&WR 的“三宗罪”：
1）只用期刊數(shù)據(jù)，而忽視會議論文數(shù)據(jù)；
2）USN&WR所采用的“學術(shù)聲譽”指標不合理；
3）數(shù)據(jù)本身不透明。
針對這些問題，雷鋒網(wǎng)也咨詢了一些學者，大多數(shù)學者只針對第一個問題（忽視會議論文數(shù)據(jù)）發(fā)表意見，而對后兩個鮮有談論。這很大程度上是因為別的一些大學排名（例如QS世界大學排名等）都會有“學術(shù)聲譽”這一指標，很難去說是否合理；另外，別的幾家大學排名也大多數(shù)據(jù)不透明。
1、只用期刊數(shù)據(jù)，而忽視會議論文數(shù)據(jù)？
加州大學圣克魯斯分校助理教授 Chen Qian解釋說：US News全球CS排名的根據(jù)是SCI期刊論文數(shù)及引用數(shù)。這個數(shù)據(jù)用于其它理工科專業(yè)是沒有問題的，但是不能用于CS專業(yè)，因為并沒有包括CS領(lǐng)域里最重視的conference publications。所以我們會看到一些結(jié)果比如MIT低于南洋理工，CMU低于上海交大，UCLA低于北京郵電，沙特的阿卜杜爾阿齊茲國王大學排世界13高于普林斯頓等等。
南洋理工大學助理教授安波也表示，計算機學科和大多數(shù)其他學科不一樣，CS的高水平的論文主要發(fā)表在國際頂級會議上。
所以換句話說，就相當于USN&WR用了一把錯誤的尺子來丈量長度，無論測量得多么認真，結(jié)果也必然是不準確的。
“不幸的是，”安波說，“基本上所有的世界大學排名中關(guān)于計算機學科的排名都沒有包括會議論文。”
雷鋒網(wǎng)AI科技評論查閱了其他幾家比較著名的世界大學排名（例如QS世界大學排名）所依賴的指標，發(fā)現(xiàn)確實如此。所以CS排名中沒有包含會議論文并不是USN&WR一家才有的現(xiàn)象。以QS世界大學排名為例，它同樣沒有采用會議論文，但是它通過調(diào)整評分指標的權(quán)重保證了學科排名的相對合理性。而相比之下，USN&WR在學科排名中，不同的學科在指標上則采用了相同的權(quán)重。
2、將會議論文納入計算機科學排名體系，是否可行？
如果按照CRA的說法以及大多數(shù)人的觀點，那么在對世界大學計算機科學排名時應當引入會議的指標。在今年9月份麻省大學阿姆斯特分校的Emery Berger教授公布了一個世界大學計算機科學實力排名的開源項目 CS Rankings。
“CSRankings 是目前唯一一個根據(jù)頂級會議文章作為依據(jù)的排名，被很多頂級科學家（如Yann LeCun）認可?！蹦涎罄砉ご髮W助理教授安波說。
“在這個排名中，可以看到MIT、CMU、Stanford、Berkeley還是世界前四，基本符合大眾的認同。清華排名世界33，上交雄踞前30。”加州大學圣克魯斯分校助理教授Chen Qian表示。
（雷鋒網(wǎng)注：9月初CSRanking Beta測試時，北大全球排名12，清華33，上交30。經(jīng)過數(shù)據(jù)核查，排名發(fā)生更動，據(jù)2017年11月27日（2007-2017年）數(shù)據(jù)，上交大和清華并列第40名，北大排名28。）
但是簡單引入會議論文指標也并非“一勞永逸”。首先，有一些優(yōu)秀會議還沒有被CSRankings收錄。安波告訴記者說：“如我常去的AAMAS（就沒有被CSRankings收錄），剛剛獲得NIPS 2017最佳論文的德?lián)湎到y(tǒng)Libratus之父Tuomas Sandholm教授從2002年開始在AAMAS發(fā)表了46篇論文，而他的成果就沒有被統(tǒng)計在內(nèi)?！?/p>
此外，安波教授告訴AI科技評論，“但將會議考慮在內(nèi)后，又會引入一些其他問題，例如會議質(zhì)量難以界定，CS學科內(nèi)部各分支眾多，如何統(tǒng)一會議和期刊進行統(tǒng)一度量等等。”
這些都還是沒有明確考慮的問題。以會議論文作為指標的CSRankings排名，現(xiàn)在仍然會因為修改數(shù)據(jù)，排名不斷出現(xiàn)巨大的變化。以北大為例，月末和月初的排名甚至差了16個名次。相信隨著Emery Berger教授對CSRankings版本的更新，排名還會出現(xiàn)更大的變化。
所以從這些角度來看，USN&WR沒有采用會議論文，而是采用傳統(tǒng)的期刊論文或許也是出于這一考慮。QS世界大學排名沒有使用會議論文，卻仍然能夠給出一個較合理的排名，說明會議論文這一指標也并非必然因素。
北京大學計算機科學技術(shù)研究所的萬小軍研究員認為：
每個排行榜都是基于若干指標，指標選擇不同，結(jié)果自然會有差異。計算機領(lǐng)域排名當然也會有很多指標，而且每個人會有不同的看法，但我覺得最重要的指標還是影響力，例如圖靈獎獲得者以及對該領(lǐng)域發(fā)展有里程碑式影響的重要人物數(shù)量。計算機學科與其他學科評估沒有本質(zhì)的不同，都需要定義好該領(lǐng)域的影響力因子。
值得一提的是，世界大學學術(shù)排名（ARWU，簡稱 上海排名）就非常強調(diào)重要人物這一指標。
來源：維基百科
既然沒有引入會議論文指標的并不只USN&WR一家，為什么CRA就單單公開抗議它一家呢？
哈爾濱工業(yè)大學朱曉蕊教授認為：“USN&WR以前（的排名）一直還相對比較穩(wěn)定的，這次在排名上出現(xiàn)大的變動，可能是CRA會寫信給他們的原因吧。十年樹木，百年樹人，大學的好壞從來都不是一朝一夕可以被改變的?！?/p>
安波博士也證實了這一現(xiàn)象：“USN&WR在美國國內(nèi)的計算機專業(yè)排名好像一直將CMU排在（并列）第一位，很難理解他們?yōu)槭裁锤阋粋€跟美國國內(nèi)排名很矛盾的排名?！?br/>
所以其實用哪些指標不是重點，重點的是USN&WR給的結(jié)果太異常。
“當出現(xiàn)一個會誤導社會的關(guān)于計算機學科排名的時候，CRA站出來發(fā)聲是一件很正確的事情?！?/span>安波博士補充說。
“普通大眾對該領(lǐng)域（CS）并沒有深刻了解，所以排行榜對他們有重要的參考意義，排行榜會影響學生求學的選擇，企業(yè)對學校學生的招聘等，因此排行榜對學校有直接或間接的影響，尤其是排在后面的學校肯定會受到負面的影響，所以CRA會公開抗議?！北本┐髮W計算機科學技術(shù)研究所研究員萬小軍也給出了相同的觀點。
所以整體來看，CRA做的是一件正義的事情。排名對不了解這一領(lǐng)域的普通大眾有極大參考作用，正確的批判可以減少對大眾的誤導。
不過雖然CRA對USN&WR發(fā)表了公開的反對聲明，但就目前來看后者似乎并沒有打算撤回他們的排名結(jié)果。哈爾濱工業(yè)大學朱曉蕊教授認為大學排名只是場游戲，游戲規(guī)則的制定決定了這個游戲怎么玩，不過“游戲就是游戲”，所以USNews不會撤銷排名。
對于這份排名，有人表示“我就笑笑”；也有網(wǎng)友表示“當我看到這個排名的時候，我是拒絕的！”但難道僅僅因為它不符合我們由來已久的常識，我們就直接連其中合理的部分也一并“拒絕”了嗎？
雷鋒網(wǎng)AI科技評論詳細看了一下清華大學在USN&WR各項指標中的排名：
可以看出，在11項指標中，清華有4項是排在全球第一的位置。
清華大學計算機科學與技術(shù)系孫茂松教授認為，盡管對這個排名可能見仁見智，但無論如何它都是一個標志性事件。孫茂松教授11月12日在微信朋友圈中表達了如下看法：
我對清華計算機學科USN&WR排名世界第一這件事的理解是：它大體上與前幾年我們國家GDP躍居全球第二有可比性。
第一，這應該是一個標志性事件，具有階段劃分的顯著象征意義；
第二，GDP排第二，并沒有改變中國依然是世界上最大發(fā)展中國家的基本格局，我們依然任重道遠；
第三，清華計算機學科要在深刻思考中開啟新的發(fā)展階段。
北京大學的萬小軍研究員則說：“總體上計算機領(lǐng)域的研究還是美國領(lǐng)先，但不排除未來中國趕超?！?/p>
清華大學&Cornell大學的聽海（知乎名）同學更是通過以會議論文排名的CS Rankings不同年份的排名具體說明了清華大學近幾年CS方面的突飛猛進：
雖然這個排名顯然不靠譜，但是人們對國內(nèi)外CS發(fā)展的認知是略有滯后的。
Chen Qian 說的那個排名網(wǎng)站 (Computer Science Rankings)，是國外公認的比較cool的排名；同時因為它完全依賴于頂會論文的數(shù)據(jù)，也比較客觀。
在這個排名上，看近十年的話（從2007到2017），清華的排名是世界第37。
但是如果只看近三年的話（從2015到2017），清華的排名是世界第11。
如果只看2017年的話，清華的排名是世界第6。而且和前幾名相差不大。
當然只看一年的數(shù)據(jù)noise會比較大，但是考慮到近三年的排名和清華的上升勢頭，我覺得這個第6其實并沒有很不靠譜。
另外，個人認為讓系主任給其他系打分來計算排名（US News美國排名的計算方法）對于老牌強校來說沒有問題，但是其實對于新興的學校是有很大滯后的。因為即使一所學校實力已經(jīng)提升，reputation的改變往往需要多年才能反映出來。
最近兩年清華CS的頂會的論文數(shù)量，在世界前10。當然這個和大家的認知不符也是正常的，因為最近幾年清華的排名改變比較大。
（雷鋒網(wǎng)注：CSRankings的排名近期更新，結(jié)果稍有變動。以2017年11月27日的數(shù)據(jù)顯示：從2007年到2017年，清華排名第40名；從2015年到2017年，清華排名第19名；只看2017年，清華排名第9名）
清華大學助理教授劉知遠也同樣這么認為，過去是望塵莫及的話，現(xiàn)在大致可以望其項背了。
隨著近年來中國社會經(jīng)濟和信息產(chǎn)業(yè)的高速發(fā)展，以清華大學為代表的國內(nèi)高校在計算機科學與技術(shù)的研究水平和人才培養(yǎng)的確進步神速。以聽海的回答為例，即使以CSRankings來看，清華大學等國內(nèi)高校近年來也上升明顯，這一點也可以得到QS、ARWU、THE等世界大學排名近年來變化的佐證?？梢哉f，過去是望塵莫及的話，現(xiàn)在大致可以望其項背了。
此外，高校的根本任務是培養(yǎng)人，開展高水平研究應當與人才培養(yǎng)過程相結(jié)合，這可能是現(xiàn)在我國還需要進一步重視的方面?？傊?，我們既要看到差距，也要看到進步，還要認清目標。可以說現(xiàn)在是中國計算機的黃金時代，我們應當及時總結(jié)經(jīng)驗，更加自信努力地繼續(xù)前進。
北京大學黃鐵軍教授則從另一個方面看待這個問題，認為越來越多的人更注重研究成果的影響力，而不是排名，這是一個很好的趨勢：
國內(nèi)學界很長一段時間以來很注重數(shù)量和指標，包括各種評審和排名，其弊端已經(jīng)有很多討論，不必贅述。我感覺現(xiàn)在越來越多的學校和研究人員已經(jīng)把關(guān)注點從指標轉(zhuǎn)向研究成果的影響力，這是很好的趨勢，也是孕育重要和重大研究成果的必要條件。
所以綜合來看的話，雖然USN&WR的這份排名不是很靠譜，但是依然有一定的參考價值，以清華為代表的國內(nèi)高校近幾年在計算機科學領(lǐng)域發(fā)展勢頭迅猛，相比頂尖學校雖仍有差距，但未來數(shù)年追平甚至超越不是沒有可能。
現(xiàn)代社會，大學排名榜單的名次似乎已經(jīng)成為評判一個學校好壞的重要標準。波士頓大學國際高等教育中心主任 Philip G. Altbach曾撰文對當代大學排名進行了詳細的分析，認為高校排名在當代社會幾乎是不可避免的；如果排名不存在，也會有人發(fā)明它們。它是大眾高等教育的必然結(jié)果，也是全球高等教育競爭和商業(yè)化的必然結(jié)果。學生及其家長想要了解哪些高等教育選項可供選擇，排名為這些問題提供了一些答案。
所以不管我們喜不喜歡，大學排名都會存在下去。那么作為學者，他們會怎么看待排名呢？
1、從學生、研究人員的角度
加州大學圣克魯斯分校助理教授 Chen Qian認為排名高低并不代表什么，對于學生和研究人員重要的是你自己的科研興趣和你選擇的導師的水平：
不要總把學校分個你高我低——我上的學校排名高不說明我比你高。每個人都應該用自己的科研成果和職業(yè)發(fā)展來證明自己，而不是學校排名。讀PHD選校更不能用這些排名，而是要看自己的科研興趣和導師的水平。
南洋理工大學助理教授安波直接堅決地反對大學排名，但排名存在而又無法改變，所以要用好的排名正確地引導學術(shù)界：
我反對對大學進行排名。但是目前的現(xiàn)狀是學術(shù)界和教育機構(gòu)參考排名進行管理（如各種資源的分配），因此排名對所有的研究人員都有很大影響。 一個不好的排名會錯誤地引導學術(shù)界（特別是青年研究人員），因此大家有義務糾正錯誤，引導大家做有益的研究。
中科院計算所一位不愿透露姓名的助理研究員對大學排名有不同的看法，他認為排名就想搜索引擎的檢索結(jié)果，對領(lǐng)域內(nèi)外的人都有參考價值，所以積極作用大于消極作用：
排名能夠?qū)︻I(lǐng)域外的人起到指導作用，對領(lǐng)域內(nèi)的人有敦促作用，排名就像是搜索引擎的檢索結(jié)果，用一定的規(guī)則將最為相關(guān)的排序。當然也存在對排名進行優(yōu)化的行為，但個人認為積極作用大于消極作用。而且對于嚴重的作弊行為，領(lǐng)域內(nèi)部也存在仲裁機制進行判別。
2、對排名系統(tǒng)本身批評
北京大學萬小軍研究員認為公正的排名有利于機構(gòu)認清自己，但問題也在于排名并沒有客觀標準，很難做到絕對公正；從另外一個方面，過于頻繁的排名（例如一年一次）會導致機構(gòu)人員“急功近利”，這并不利于研究：
給大學進行排名有利有弊。一份公正客觀的排名還是有利于各單位認清形勢，做好定位，但弊在于排名本身沒有客觀答案，主觀性較大，選擇不同的因子，調(diào)整不同的權(quán)重，會得到不同的排名。另一方面，過于頻繁的排名會對學校的正常運行和正常研究造成負面影響，如果用排名名次作為考核指標，會導致學校、單位、人員“急功近利”，不利于研究，畢竟重大研究成果的獲得需要逐步積累，更需要一個良好與平靜的環(huán)境。
北京大學黃鐵軍教授認為排名無法反映一個機構(gòu)或個人的真實情況，就像分數(shù)不可能完整地反映一個學生的真實才能一樣，所以看看就好，不可太信：
所有排名都有問題，靠幾項指標評價一個機構(gòu)或一個人，都只是從部分側(cè)面描述被評對象，而決定性的因素往往都不在這些指標之列。用這些指標去衡量歷史上偉大的科學發(fā)現(xiàn)（例如愛因斯坦的相對論）和重大的技術(shù)進步（例如Linux，或者中國的超級計算機），大概都很難排名靠前，甚至排不上號。
還是那句話，很難靠幾項指標決定名次，我的意見是，指標就是指標，大家客觀看那些指標就好了。這就像學生分數(shù)，很重要，但也只是一個側(cè)面，并不能決定學生將來是否成功。
哈爾濱工業(yè)大學朱曉蕊教授則認為大學排名只是游戲，游戲規(guī)則的制定決定了這個游戲怎么玩，所以沒有太大的可取價值：
大學排名這件事本身就是個游戲而已，游戲規(guī)則的制定決定了這個游戲怎么玩。如果學校排名中突出一些對某些高校有利的條件的權(quán)重，那這些高校就會排名靠前。比如增加地方影響力的權(quán)重，那么欠發(fā)達地區(qū)最好的幾所學校的排名就會上升。再比如增加學校獲得科研經(jīng)費的權(quán)重，那么像阿拉伯因石油而暴富的國家的大學排名就會上升。
所以大學排名我基本不會看，即使偶爾看也是抱著看熱鬧的目的看的。這個只對一些想要證明什么的教育管理者有用。學生不會因為MIT沒排到前面就不報考了，研究人員也不會因為排名的原因就不去MIT計算機系任教了。
（雷鋒網(wǎng)注：一個佐證就是，在2003年由俄羅斯私人機構(gòu)發(fā)布的環(huán)球大學排名中，莫斯科大學在哈佛、斯坦福、劍橋等老牌名校之前，全球排名第五。該排名只推出一期而后斷更了。）
從諸位學者的觀點可以看出，大部分學者對大學排名或多或少持有的都是“只是看看，并不相信”的態(tài)度，畢竟所謂排名只是人為假設(shè)出來的一個不存在的零和游戲。
不過，無論相信與否，或許下面這句話更能反映出我們真實的心理——
Rankings are a guilty pleasure—we claim they don't influence us, and we know their foibles, yet we can't help looking to see where we stand.
（排名是一種罪惡的享受 —— 我們聲稱它們不會影響我們，我們也知道它們的缺點，但我們還是禁不住要看看我們排在第幾名。）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
