NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

本文作者： camel

2019-12-09 22:20

專題：NeurIPS 2019

導(dǎo)語(yǔ)：歷史之最，參會(huì)1.3萬(wàn)人~

雷鋒網(wǎng)AI科技評(píng)論按：作為最久負(fù)盛名的機(jī)器學(xué)習(xí)頂會(huì)之一，今年 NeurIPS 2019 在召開(kāi)之前就消息不斷：在今年論文審稿期間，NeurIPS 2019 程序委員會(huì)主席專門發(fā)布聲明稱，19 篇論文因一稿多投被拒收，一時(shí)造成熱議；而在會(huì)議近一個(gè)月前，多位黑人參會(huì)者們申請(qǐng)加拿大簽證被拒的消息引起了AI學(xué)者們紛紛為其發(fā)聲并對(duì)近年來(lái)簽證問(wèn)題的討論展開(kāi)了激烈討論，為本次大會(huì)的召開(kāi)埋下了一絲令人憂心的伏筆。

另一方面，無(wú)論是論文投稿期間一度導(dǎo)致 NeurIPS 服務(wù)器宕機(jī)，還是今年大會(huì)“別出心裁”地采取抽彩票的方式?jīng)Q定誰(shuí)能獲得參會(huì)門票，都暗示著今年大會(huì)的盛況不減甚至?xí)鐾辍?/p>

自昨日開(kāi)始，12月8日至14日為期7 日的NeurIPS 2019 便已如火如荼地在加拿大溫哥華舉行。據(jù)大會(huì)官方統(tǒng)計(jì)，今年參會(huì)總?cè)藬?shù)超過(guò) 13000 人，與去年不到 9000 人的參會(huì)人數(shù)相比，翻了半番。溫哥華在今年這個(gè)冒著冷氣的冬季里，一時(shí)迎來(lái)如此龐大的參會(huì)人群，溫度估計(jì)都“升了好幾度”。

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

Photo by James Kelloway

雖然正會(huì)還未正式開(kāi)始，但 NeurIPS 官方在幾個(gè)小時(shí)前已早早地公布了今年備受矚目的「杰出論文獎(jiǎng)」（Outstanding Paper Award）、「經(jīng)典論文獎(jiǎng)」（Test of Time Award）以及今年增設(shè)的「杰出新方向論文獎(jiǎng)」（Outstanding New Directions Paper Award）的獎(jiǎng)項(xiàng)結(jié)果。從獲獎(jiǎng)?wù)撐那鍐沃?，我們可以看出，除了?jīng)典論文獎(jiǎng)是由來(lái)自微軟研究院的 Lin Xiao獲得外，其他獎(jiǎng)項(xiàng)中都沒(méi)有出現(xiàn)華人身影。

一、最佳論文

按照慣例，今年NeurIPS 2019最佳論文組委會(huì)從會(huì)議接收的Oral 論文中挑選出了最值得關(guān)注的論文并授予杰出論文獎(jiǎng)項(xiàng)。據(jù)官方介紹，今年的論文獎(jiǎng)項(xiàng)評(píng)選規(guī)則如下：

具備持久影響的潛力——論文聚焦于某個(gè)主流而非邊緣化的研究領(lǐng)域，人們?cè)谖磥?lái)的幾十年時(shí)間里依舊會(huì)關(guān)注它。
有觀點(diǎn)——提供了新的（并且希望是深的）見(jiàn)解，而不僅僅是在性能上提高幾個(gè)百分點(diǎn)。
創(chuàng)造性/讓人出乎意料/令人驚奇——以創(chuàng)造性的新視角去看待問(wèn)題，并且得出了真正讓讀者驚喜的結(jié)果。
變革性——將從根本上改變未來(lái)人類思考問(wèn)題的方式。
嚴(yán)謹(jǐn)性——無(wú)懈可擊的細(xì)致和嚴(yán)謹(jǐn)。
優(yōu)雅——論文漂亮、工整、流暢并經(jīng)過(guò)很好地潤(rùn)色。
現(xiàn)實(shí)性——不過(guò)分強(qiáng)調(diào)重要性。
科學(xué)性——能夠證偽。
可重復(fù)性——結(jié)果能夠真正可重復(fù)、代碼可用并且能夠在多種機(jī)器上運(yùn)行、數(shù)據(jù)可用以及能夠提供詳細(xì)的證實(shí)。

與此同時(shí)，組委會(huì)在評(píng)選論文時(shí)，還應(yīng)該關(guān)注論文是否存在以下幾點(diǎn)問(wèn)題（并避免選擇存在這些問(wèn)題的論文）：

低效——需要以消耗大量資源為前提才能夠脫穎而出的工作（主要依賴于消耗大量資源在排行榜上獲得了更高的排名）
時(shí)髦——采用某個(gè)方法是因?yàn)榇朔椒ū容^熱門，但其實(shí)還可以采用其他更加高效的方法。
過(guò)于復(fù)雜——論文中加入了本不需要的復(fù)雜性。

以上這些因素，或許值得每一位想要拿得國(guó)際頂會(huì)最佳論文獎(jiǎng)的研究者/機(jī)構(gòu)，去思考和借鑒。

與此同時(shí)，今年最佳論文組委會(huì)還專門增加了「杰出新方向論文獎(jiǎng)」（Outstanding New Directions Paper Award）獎(jiǎng)項(xiàng)，以此表彰在「針對(duì)未來(lái)研究開(kāi)設(shè)出了創(chuàng)新路徑」方面表現(xiàn)出色的研究者。

遵循上述原則，組委會(huì)提交了一份包含三篇論文的短名單以及另一份包含8篇論文的備選名單，之后再由組委會(huì)成員獨(dú)自對(duì)備選名單中的8篇論文進(jìn)行評(píng)估并給出排名結(jié)果，接著互相交流這些結(jié)果。同時(shí)針對(duì)每篇論文，組委會(huì)成員還會(huì)額外尋求專家的意見(jiàn)（并在決策中將這些意見(jiàn)考慮進(jìn)去）。雷鋒網(wǎng)

最終組委會(huì)成員彼此達(dá)成一致意見(jiàn)，并經(jīng)過(guò)簡(jiǎn)短的討論后決定獲獎(jiǎng)名單。以下是各個(gè)最佳論文獎(jiǎng)項(xiàng)的簡(jiǎn)要介紹——

1、最佳論文獎(jiǎng)

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

論文標(biāo)題：Distribution-Independent PAC Learning of Halfspaces with Massart Noise
中文翻譯：有Massart噪聲時(shí)的不依賴分布的半空間的PAC學(xué)習(xí)
下載地址：https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise

這篇論文研究了在訓(xùn)練數(shù)據(jù)中有未知的、有界的標(biāo)簽噪聲的情況下，如何為二分類問(wèn)題學(xué)習(xí)線性閾值函數(shù)。論文中推導(dǎo)了一個(gè)在這種情境下非常高效的學(xué)習(xí)算法，解決了一個(gè)基礎(chǔ)的、長(zhǎng)期存在的開(kāi)放性問(wèn)題：在有Massart噪聲的情況下高效地學(xué)習(xí)半空間；這也是機(jī)器學(xué)習(xí)的核心問(wèn)題之一，這篇論文帶來(lái)了巨大的進(jìn)步。

論文中的一個(gè)簡(jiǎn)單的例子說(shuō)明了方法的效果。在此之前，只有1% Massart噪聲就會(huì)讓弱學(xué)習(xí)無(wú)效（達(dá)到49%的錯(cuò)誤率）。論文中展示了如何高效地讓錯(cuò)誤水平上限僅僅等于Massart噪聲水平+ε （算法的運(yùn)行時(shí)間為（1/ε）的多項(xiàng)式，正如預(yù)期）。算法的實(shí)現(xiàn)方法很精密，達(dá)到這樣的結(jié)果也有一定的技術(shù)挑戰(zhàn)。最終的結(jié)果是，能夠高效地在（1/ε）的多項(xiàng)式運(yùn)行時(shí)間內(nèi)讓錯(cuò)誤水平上限為Massart噪聲水平+ε 。

2、杰出新方向論文獎(jiǎng)

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

論文標(biāo)題：Uniform convergence may be unable to explain generalization in deep learning
中文翻譯：一致收斂性可能無(wú)法解釋深度學(xué)習(xí)中的泛化性
下載地址：https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

這篇論文展示了一些基本負(fù)面的結(jié)果，表明對(duì)深度學(xué)習(xí)算法表現(xiàn)的許多現(xiàn)有的（基于范數(shù)的）泛化邊界描述方法并不能達(dá)到聲稱的效果。論文中認(rèn)為，當(dāng)這些泛化邊界描述方法繼續(xù)依賴雙面的一致收斂性的時(shí)候，就無(wú)法達(dá)到宣稱的效果。雖然這篇論文并沒(méi)能解決（也沒(méi)打算解決）深度神經(jīng)網(wǎng)絡(luò)中的泛化性問(wèn)題，它的效果是為整個(gè)領(lǐng)域指出這個(gè)問(wèn)題需要嘗試別的方法。

3、杰出論文榮譽(yù)提名獎(jiǎng)

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

論文標(biāo)題：Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses
中文翻譯：在Besov IPM損失下研究GANs的非參數(shù)化密度估計(jì)和收斂速度
下載地址：https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

這篇論文通過(guò)嚴(yán)謹(jǐn)?shù)睦碚摲绞奖砻?，GANs在密度估計(jì)任務(wù)中可以比線性方法有更好的表現(xiàn)（以收斂速度來(lái)評(píng)價(jià)）。利用了此前小波收縮方面的成果，這篇論文讓我們對(duì)GANs的表征能力有了新的認(rèn)識(shí)。具體來(lái)說(shuō)，作者們?cè)谝淮箢惡瘮?shù)（Besov空間的）的一大類損失下（我們稱作“積分可能性指標(biāo)”），為非參數(shù)化的密度估計(jì)推導(dǎo)了最大最小收斂速度。審稿人們覺(jué)得這篇論文會(huì)對(duì)研究非參數(shù)化估計(jì)以及研究GANs的研究人員們有很大的影響。

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

論文標(biāo)題：Fast and Accurate Least-Mean-Squares Solvers
中文翻譯：又快又準(zhǔn)確的最小均方解算器
下載地址：https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

最小均方解算器（Least Mean-Square solver）是許多機(jī)器學(xué)習(xí)算法的核心組件，從線性回歸、Lasso回歸到奇點(diǎn)值分解和Elastic網(wǎng)絡(luò)，都會(huì)用到最小均方解算器。這篇文章展示了如何把最小均方解算器的計(jì)算復(fù)雜度降低一到兩個(gè)數(shù)量級(jí)，而且既沒(méi)有精度損失、還能提升數(shù)學(xué)穩(wěn)定性。他們的方法依賴于Caratheodory理論，提出一組核心的點(diǎn)集（對(duì)于d維空間，需要d^2+1個(gè)點(diǎn)）就足以刻畫(huà)凸殼中的所有n個(gè)點(diǎn)。論文的創(chuàng)新性在于，他們提出了一個(gè)“分割并解決”（divide-and-conquer）算法，能用可接受的計(jì)算復(fù)雜度提取出這組核心點(diǎn)集（計(jì)算復(fù)雜度O(nd + d5 log n)，前提是d<<n）。

審稿人們認(rèn)為論文中提出的方法非常重要，需要使用最小均方解算器的研究人員們可以輕松地實(shí)現(xiàn)這個(gè)方法，以對(duì)現(xiàn)有的算法帶來(lái)明顯改進(jìn)；這個(gè)方法也可以為其它的算法起到借鑒作用，實(shí)踐-科研的遞歸循環(huán)，天然地就擁有良好的泛化能力。

4、杰出新方向論文榮譽(yù)提名獎(jiǎng)

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

論文標(biāo)題：Putting An End to End-to-End: Gradient-Isolated Learning of Representations
中文翻譯：
下載地址：https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

這篇論文重新研究了神經(jīng)網(wǎng)絡(luò)的逐層構(gòu)建問(wèn)題，他們使用了從van Oord et al. (2018)得到啟發(fā)的自監(jiān)督條件，尤其是當(dāng)前輸入和空間或時(shí)間上臨近的輸入的表征之間的共同信息。審稿人們注意到，這種感知網(wǎng)絡(luò)中的自組織現(xiàn)象能夠?yàn)樗惴ń嵌群驼J(rèn)識(shí)角度的交叉部分提供思考的素材（算法角度，端到端優(yōu)化有巨大的存儲(chǔ)空間開(kāi)銷和計(jì)算能力問(wèn)題，有沒(méi)有方法繞過(guò)；認(rèn)知角度，能否更多地利用“慢特征”的想法，向著“模仿生物大腦”的學(xué)習(xí)過(guò)程前進(jìn)）。

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

論文標(biāo)題：Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations
中文翻譯：
下載地址：https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

這篇文章介紹了 CV 中兩種廣泛方法的綜合：多視圖幾何（ multiple view geometric ）和深層表示（ deep representations ）。

具體來(lái)說(shuō)，這篇文章做出了三點(diǎn)貢獻(xiàn)：1）每個(gè)像素的神經(jīng)渲染器，可以以3D感知的方式實(shí)現(xiàn)無(wú)分辨率的場(chǎng)景渲染；2）可微分的光線行進(jìn)算法（ ray-marching algorithm ），解決了沿著相機(jī)投射的光線尋找表面相交的難題；3）潛在場(chǎng)景表示（latent scene representation），使用自動(dòng)編碼器和超網(wǎng)絡(luò)來(lái)回歸場(chǎng)景表示網(wǎng)絡(luò)的參數(shù)。

二、經(jīng)典論文獎(jiǎng)

與之前一樣，NeurIPS的委員會(huì)從10年前發(fā)表在NeurIPS上的論文中選擇一篇對(duì)社區(qū)產(chǎn)生“重大且持久影響”的論文作為“經(jīng)典論文獎(jiǎng)”（Test of Time Award）。

“經(jīng)典論文獎(jiǎng)”的委員會(huì)成員包括Amir Globerson, Antoine Bordes, Francis Bach 和 Iain Murray。檢驗(yàn)獎(jiǎng)的選取過(guò)程是，首先選出 18 篇自發(fā)表以來(lái)引用次數(shù)最多的文章，然后再去看哪些文章即使在現(xiàn)在仍然具有影響力（即在現(xiàn)在的工作中仍然具有指導(dǎo)、參考和借鑒的意義），當(dāng)然委員會(huì)還會(huì)考慮論文是否被如今大多數(shù)社區(qū)所使用。

綜上這些因素，幾位委員會(huì)成員在今年選出了

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

論文標(biāo)題：Dual Averaging Method for Regularized Stochastic Learning and Online Optimization
中文翻譯：正則隨機(jī)學(xué)習(xí)和在線優(yōu)化的雙重平均法
論文鏈接：https://papers.nips.cc/paper/3882-dual-averaging-method-for-regularized-stochastic-learning-and-online-optimization

作為本年度的“經(jīng)典論文獎(jiǎng)”。這篇文章發(fā)表于2010年，作者是來(lái)自微軟的首席研究員 Lin Xiao，Google Scholar 統(tǒng)計(jì)的引用次數(shù)為 645。這篇文章提出了一種全新在線算法：正則化雙重平均算法（RDA）。實(shí)驗(yàn)證明，RDA 對(duì)于?1 正則化的稀疏在線學(xué)習(xí)非常有效。

NeurIPS 2019 獲獎(jiǎng)?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎(jiǎng)

Lin Xiao 曾就讀于北京航空航天大學(xué)和斯坦福大學(xué)，2006年就職于華盛頓州雷德蒙德的微軟研究院，目前擔(dān)任微軟的高級(jí)首席研究員，研究興趣包括用于大規(guī)模優(yōu)化的理論和算法、用于機(jī)器學(xué)習(xí)的隨機(jī)和在線算法以及并行和分布式計(jì)算。