NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

本文作者： camel

2019-12-09 22:20

專題：NeurIPS 2019

導(dǎo)語：歷史之最，參會1.3萬人~

雷鋒網(wǎng)AI科技評論按：作為最久負(fù)盛名的機(jī)器學(xué)習(xí)頂會之一，今年 NeurIPS 2019 在召開之前就消息不斷：在今年論文審稿期間，NeurIPS 2019 程序委員會主席專門發(fā)布聲明稱，19 篇論文因一稿多投被拒收，一時(shí)造成熱議；而在會議近一個(gè)月前，多位黑人參會者們申請加拿大簽證被拒的消息引起了AI學(xué)者們紛紛為其發(fā)聲并對近年來簽證問題的討論展開了激烈討論，為本次大會的召開埋下了一絲令人憂心的伏筆。

另一方面，無論是論文投稿期間一度導(dǎo)致 NeurIPS 服務(wù)器宕機(jī)，還是今年大會“別出心裁”地采取抽彩票的方式?jīng)Q定誰能獲得參會門票，都暗示著今年大會的盛況不減甚至?xí)鐾辍?/p>

自昨日開始，12月8日至14日為期7 日的NeurIPS 2019 便已如火如荼地在加拿大溫哥華舉行。據(jù)大會官方統(tǒng)計(jì)，今年參會總?cè)藬?shù)超過 13000 人，與去年不到 9000 人的參會人數(shù)相比，翻了半番。溫哥華在今年這個(gè)冒著冷氣的冬季里，一時(shí)迎來如此龐大的參會人群，溫度估計(jì)都“升了好幾度”。

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

Photo by James Kelloway

雖然正會還未正式開始，但 NeurIPS 官方在幾個(gè)小時(shí)前已早早地公布了今年備受矚目的「杰出論文獎」（Outstanding Paper Award）、「經(jīng)典論文獎」（Test of Time Award）以及今年增設(shè)的「杰出新方向論文獎」（Outstanding New Directions Paper Award）的獎項(xiàng)結(jié)果。從獲獎?wù)撐那鍐沃?，我們可以看出，除了?jīng)典論文獎是由來自微軟研究院的 Lin Xiao獲得外，其他獎項(xiàng)中都沒有出現(xiàn)華人身影。

一、最佳論文

按照慣例，今年NeurIPS 2019最佳論文組委會從會議接收的Oral 論文中挑選出了最值得關(guān)注的論文并授予杰出論文獎項(xiàng)。據(jù)官方介紹，今年的論文獎項(xiàng)評選規(guī)則如下：

具備持久影響的潛力——論文聚焦于某個(gè)主流而非邊緣化的研究領(lǐng)域，人們在未來的幾十年時(shí)間里依舊會關(guān)注它。
有觀點(diǎn)——提供了新的（并且希望是深的）見解，而不僅僅是在性能上提高幾個(gè)百分點(diǎn)。
創(chuàng)造性/讓人出乎意料/令人驚奇——以創(chuàng)造性的新視角去看待問題，并且得出了真正讓讀者驚喜的結(jié)果。
變革性——將從根本上改變未來人類思考問題的方式。
嚴(yán)謹(jǐn)性——無懈可擊的細(xì)致和嚴(yán)謹(jǐn)。
優(yōu)雅——論文漂亮、工整、流暢并經(jīng)過很好地潤色。
現(xiàn)實(shí)性——不過分強(qiáng)調(diào)重要性。
科學(xué)性——能夠證偽。
可重復(fù)性——結(jié)果能夠真正可重復(fù)、代碼可用并且能夠在多種機(jī)器上運(yùn)行、數(shù)據(jù)可用以及能夠提供詳細(xì)的證實(shí)。

與此同時(shí)，組委會在評選論文時(shí)，還應(yīng)該關(guān)注論文是否存在以下幾點(diǎn)問題（并避免選擇存在這些問題的論文）：

低效——需要以消耗大量資源為前提才能夠脫穎而出的工作（主要依賴于消耗大量資源在排行榜上獲得了更高的排名）
時(shí)髦——采用某個(gè)方法是因?yàn)榇朔椒ū容^熱門，但其實(shí)還可以采用其他更加高效的方法。
過于復(fù)雜——論文中加入了本不需要的復(fù)雜性。

以上這些因素，或許值得每一位想要拿得國際頂會最佳論文獎的研究者/機(jī)構(gòu)，去思考和借鑒。

與此同時(shí)，今年最佳論文組委會還專門增加了「杰出新方向論文獎」（Outstanding New Directions Paper Award）獎項(xiàng)，以此表彰在「針對未來研究開設(shè)出了創(chuàng)新路徑」方面表現(xiàn)出色的研究者。

遵循上述原則，組委會提交了一份包含三篇論文的短名單以及另一份包含8篇論文的備選名單，之后再由組委會成員獨(dú)自對備選名單中的8篇論文進(jìn)行評估并給出排名結(jié)果，接著互相交流這些結(jié)果。同時(shí)針對每篇論文，組委會成員還會額外尋求專家的意見（并在決策中將這些意見考慮進(jìn)去）。雷鋒網(wǎng)

最終組委會成員彼此達(dá)成一致意見，并經(jīng)過簡短的討論后決定獲獎名單。以下是各個(gè)最佳論文獎項(xiàng)的簡要介紹——

1、最佳論文獎

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

論文標(biāo)題：Distribution-Independent PAC Learning of Halfspaces with Massart Noise
中文翻譯：有Massart噪聲時(shí)的不依賴分布的半空間的PAC學(xué)習(xí)
下載地址：https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise

這篇論文研究了在訓(xùn)練數(shù)據(jù)中有未知的、有界的標(biāo)簽噪聲的情況下，如何為二分類問題學(xué)習(xí)線性閾值函數(shù)。論文中推導(dǎo)了一個(gè)在這種情境下非常高效的學(xué)習(xí)算法，解決了一個(gè)基礎(chǔ)的、長期存在的開放性問題：在有Massart噪聲的情況下高效地學(xué)習(xí)半空間；這也是機(jī)器學(xué)習(xí)的核心問題之一，這篇論文帶來了巨大的進(jìn)步。

論文中的一個(gè)簡單的例子說明了方法的效果。在此之前，只有1% Massart噪聲就會讓弱學(xué)習(xí)無效（達(dá)到49%的錯(cuò)誤率）。論文中展示了如何高效地讓錯(cuò)誤水平上限僅僅等于Massart噪聲水平+ε （算法的運(yùn)行時(shí)間為（1/ε）的多項(xiàng)式，正如預(yù)期）。算法的實(shí)現(xiàn)方法很精密，達(dá)到這樣的結(jié)果也有一定的技術(shù)挑戰(zhàn)。最終的結(jié)果是，能夠高效地在（1/ε）的多項(xiàng)式運(yùn)行時(shí)間內(nèi)讓錯(cuò)誤水平上限為Massart噪聲水平+ε 。

2、杰出新方向論文獎

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

論文標(biāo)題：Uniform convergence may be unable to explain generalization in deep learning
中文翻譯：一致收斂性可能無法解釋深度學(xué)習(xí)中的泛化性
下載地址：https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

這篇論文展示了一些基本負(fù)面的結(jié)果，表明對深度學(xué)習(xí)算法表現(xiàn)的許多現(xiàn)有的（基于范數(shù)的）泛化邊界描述方法并不能達(dá)到聲稱的效果。論文中認(rèn)為，當(dāng)這些泛化邊界描述方法繼續(xù)依賴雙面的一致收斂性的時(shí)候，就無法達(dá)到宣稱的效果。雖然這篇論文并沒能解決（也沒打算解決）深度神經(jīng)網(wǎng)絡(luò)中的泛化性問題，它的效果是為整個(gè)領(lǐng)域指出這個(gè)問題需要嘗試別的方法。

3、杰出論文榮譽(yù)提名獎

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

論文標(biāo)題：Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses
中文翻譯：在Besov IPM損失下研究GANs的非參數(shù)化密度估計(jì)和收斂速度
下載地址：https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

這篇論文通過嚴(yán)謹(jǐn)?shù)睦碚摲绞奖砻鳎珿ANs在密度估計(jì)任務(wù)中可以比線性方法有更好的表現(xiàn)（以收斂速度來評價(jià)）。利用了此前小波收縮方面的成果，這篇論文讓我們對GANs的表征能力有了新的認(rèn)識。具體來說，作者們在一大類函數(shù)（Besov空間的）的一大類損失下（我們稱作“積分可能性指標(biāo)”），為非參數(shù)化的密度估計(jì)推導(dǎo)了最大最小收斂速度。審稿人們覺得這篇論文會對研究非參數(shù)化估計(jì)以及研究GANs的研究人員們有很大的影響。

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

論文標(biāo)題：Fast and Accurate Least-Mean-Squares Solvers
中文翻譯：又快又準(zhǔn)確的最小均方解算器
下載地址：https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

最小均方解算器（Least Mean-Square solver）是許多機(jī)器學(xué)習(xí)算法的核心組件，從線性回歸、Lasso回歸到奇點(diǎn)值分解和Elastic網(wǎng)絡(luò)，都會用到最小均方解算器。這篇文章展示了如何把最小均方解算器的計(jì)算復(fù)雜度降低一到兩個(gè)數(shù)量級，而且既沒有精度損失、還能提升數(shù)學(xué)穩(wěn)定性。他們的方法依賴于Caratheodory理論，提出一組核心的點(diǎn)集（對于d維空間，需要d^2+1個(gè)點(diǎn)）就足以刻畫凸殼中的所有n個(gè)點(diǎn)。論文的創(chuàng)新性在于，他們提出了一個(gè)“分割并解決”（divide-and-conquer）算法，能用可接受的計(jì)算復(fù)雜度提取出這組核心點(diǎn)集（計(jì)算復(fù)雜度O(nd + d5 log n)，前提是d<<n）。

審稿人們認(rèn)為論文中提出的方法非常重要，需要使用最小均方解算器的研究人員們可以輕松地實(shí)現(xiàn)這個(gè)方法，以對現(xiàn)有的算法帶來明顯改進(jìn)；這個(gè)方法也可以為其它的算法起到借鑒作用，實(shí)踐-科研的遞歸循環(huán)，天然地就擁有良好的泛化能力。

4、杰出新方向論文榮譽(yù)提名獎

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

論文標(biāo)題：Putting An End to End-to-End: Gradient-Isolated Learning of Representations
中文翻譯：
下載地址：https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

這篇論文重新研究了神經(jīng)網(wǎng)絡(luò)的逐層構(gòu)建問題，他們使用了從van Oord et al. (2018)得到啟發(fā)的自監(jiān)督條件，尤其是當(dāng)前輸入和空間或時(shí)間上臨近的輸入的表征之間的共同信息。審稿人們注意到，這種感知網(wǎng)絡(luò)中的自組織現(xiàn)象能夠?yàn)樗惴ń嵌群驼J(rèn)識角度的交叉部分提供思考的素材（算法角度，端到端優(yōu)化有巨大的存儲空間開銷和計(jì)算能力問題，有沒有方法繞過；認(rèn)知角度，能否更多地利用“慢特征”的想法，向著“模仿生物大腦”的學(xué)習(xí)過程前進(jìn)）。

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

論文標(biāo)題：Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations
中文翻譯：
下載地址：https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

這篇文章介紹了 CV 中兩種廣泛方法的綜合：多視圖幾何（ multiple view geometric ）和深層表示（ deep representations ）。

具體來說，這篇文章做出了三點(diǎn)貢獻(xiàn)：1）每個(gè)像素的神經(jīng)渲染器，可以以3D感知的方式實(shí)現(xiàn)無分辨率的場景渲染；2）可微分的光線行進(jìn)算法（ ray-marching algorithm ），解決了沿著相機(jī)投射的光線尋找表面相交的難題；3）潛在場景表示（latent scene representation），使用自動編碼器和超網(wǎng)絡(luò)來回歸場景表示網(wǎng)絡(luò)的參數(shù)。

二、經(jīng)典論文獎

與之前一樣，NeurIPS的委員會從10年前發(fā)表在NeurIPS上的論文中選擇一篇對社區(qū)產(chǎn)生“重大且持久影響”的論文作為“經(jīng)典論文獎”（Test of Time Award）。

“經(jīng)典論文獎”的委員會成員包括Amir Globerson, Antoine Bordes, Francis Bach 和 Iain Murray。檢驗(yàn)獎的選取過程是，首先選出 18 篇自發(fā)表以來引用次數(shù)最多的文章，然后再去看哪些文章即使在現(xiàn)在仍然具有影響力（即在現(xiàn)在的工作中仍然具有指導(dǎo)、參考和借鑒的意義），當(dāng)然委員會還會考慮論文是否被如今大多數(shù)社區(qū)所使用。

綜上這些因素，幾位委員會成員在今年選出了

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

論文標(biāo)題：Dual Averaging Method for Regularized Stochastic Learning and Online Optimization
中文翻譯：正則隨機(jī)學(xué)習(xí)和在線優(yōu)化的雙重平均法
論文鏈接：https://papers.nips.cc/paper/3882-dual-averaging-method-for-regularized-stochastic-learning-and-online-optimization

作為本年度的“經(jīng)典論文獎”。這篇文章發(fā)表于2010年，作者是來自微軟的首席研究員 Lin Xiao，Google Scholar 統(tǒng)計(jì)的引用次數(shù)為 645。這篇文章提出了一種全新在線算法：正則化雙重平均算法（RDA）。實(shí)驗(yàn)證明，RDA 對于?1 正則化的稀疏在線學(xué)習(xí)非常有效。

NeurIPS 2019 獲獎?wù)撐某鰻t，微軟華人學(xué)者Lin Xiao 獲經(jīng)典論文獎

Lin Xiao 曾就讀于北京航空航天大學(xué)和斯坦福大學(xué)，2006年就職于華盛頓州雷德蒙德的微軟研究院，目前擔(dān)任微軟的高級首席研究員，研究興趣包括用于大規(guī)模優(yōu)化的理論和算法、用于機(jī)器學(xué)習(xí)的隨機(jī)和在線算法以及并行和分布式計(jì)算。