NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

本文作者：我在思考中

2021-12-02 15:31

導語：6篇獲杰出論文獎，1篇獲時間檢驗獎，還有2篇數(shù)據(jù)集和基準測試最佳論文獎。

作者 | 莓酊、杏花

編輯 | 青暮

昨日， NeurIPS 2021公布了獲獎論文名單！

NeurIPS，全稱神經(jīng)信息處理系統(tǒng)大會（Conference and Workshop on Neural Information Processing Systems），作為關于機器學習和計算神經(jīng)科學的國際會議，每年固定在12月舉行，由NIPS基金會主辦。NeurIPS是機器學習領域的頂級會議，是神經(jīng)計算方面最好的會議之一。在中國計算機學會的國際學術會議排名中，NeurIPS為人工智能領域的A類會議。

該會議最早是由連接學派（connectionist）神經(jīng)網(wǎng)絡的學者于1987年在加拿大創(chuàng)辦。之前發(fā)布在NeurIPS的論文包羅萬象，從單純的工程問題到使用計算機模型來理解生物神經(jīng)元系統(tǒng)等各種主題。而近幾年論文的主題主要以機器學習，人工智能和統(tǒng)計學為主。

一年一度，各路AI大神“華山論劍”，高手云集，備受矚目。今年NeurIPS將于下周正式拉開帷幕！

在準備會議之際，組委會決定“花點時間”宣布2021年杰出論文獎、時間檢驗獎以及數(shù)據(jù)集和基準測試最佳論文獎名單。

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

杰出論文獎（Outstanding Paper Awards）

今年共有6篇論文被選為杰出論文獎（Outstanding Paper Awards），評選委員稱贊這些論文“具有極好的清晰度、洞察力、創(chuàng)造力和影響深遠的潛力”。

下面，我們將一一介紹這6篇佳作（按論文ID順序排列）。

由微軟研究院和斯坦福大學合作完成的《A Universal Law of Robustness via Isoperimetry》

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=z71OSKqTFh7

作者：Sebastien Bubeck, Mark Sellke

獲獎理由：這篇論文提出了一個理論模型來解釋為什么許多先進的深度網(wǎng)絡需要比平滑擬合訓練數(shù)據(jù)所需更多的參數(shù)。特別是在關于training分布的某些規(guī)律性條件下，O(1)-Lipschitz 函數(shù)在標簽噪聲尺度以下插入訓練數(shù)據(jù)所需的參數(shù)數(shù)量為nd，其中n是訓練示例的數(shù)量，d是數(shù)據(jù)的分布。這個結果與傳統(tǒng)的結果形成了鮮明的對比，傳統(tǒng)的結果表明一個函數(shù)需要n個參數(shù)。對訓練數(shù)據(jù)進行插值，為了平滑地插值，這個額外的因子d顯得很必要。該理論簡單而優(yōu)雅，與一些經(jīng)驗觀察到的模型大小一致，這些模型對MNIST分類具有魯棒的泛化能力。這項工作也提供了關于為 ImageNet分類開發(fā)魯棒模型所需的模型大小的可測試預測。

由由DeepMind團隊、普林斯頓大學計算機科學系和布朗大學計算機科學系合作完成的《On the Expressivity of Markov Reward》

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=9DlCh34E1bN

作者：David Abel, Will Dabney, Anna Harutyunyan, Mark K. Ho, Michael L. Littman, Doina Precup, Satinder Singh

獲獎理由：馬爾可夫獎勵函數(shù)是不確定性和強化學習下順序決策的主要框架。這篇論文仔細、清晰地闡述了馬爾可夫獎勵何時足以使系統(tǒng)設計者能夠根據(jù)它們對特定行為的偏好、對行為的偏好或對狀態(tài)和動作序列的偏好來指定任務。論文作者通過簡單的說明性示例證明，存在一些無法指定馬爾可夫獎勵函數(shù)來引發(fā)所需任務和結果的任務。幸運的是，研究人員發(fā)現(xiàn)，可以在多項式時間內確定所需設置是否存在兼容的馬爾可夫獎勵，如果存在，也存在多項式時間算法來在有限決策過程設置中構建這樣的馬爾可夫獎勵。這項工作闡明了獎勵設計的挑戰(zhàn)，并可能開辟未來研究馬爾可夫框架何時以及如何足以實現(xiàn)人類利益相關者所需的性能的途徑。

由由蒙特利爾大學MILA實驗室和谷歌研究院大腦團隊合作的《 Deep Reinforcement Learning at the Edge of the Statistical Precipice 》

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=uqv8-U4lKBe

作者：Rishabh Agarwal, Max Schwarzer, Pablo Samuel Castro, Aaron Courville, Marc G. Bellemare

獲獎理由：

方法的嚴格比較可以加速有意義的科學進步。本文提出了提高深度強化學習算法比較嚴謹性的實用方法：具體而言，新算法的評估應提供分層的引導程序置信區(qū)間、跨任務和運行的性能概況以及四分位數(shù)均值。該論文強調，在許多任務和多次運行中報告深度強化學習結果的標準方法可能使評估新算法是否代表過去方法的一致和可觀的進步變得困難，并通過實證示例說明了這一點。所提出的性能摘要旨在通過每個任務的少量運行進行計算，這對于許多計算資源有限的研究實驗室來說可能是必要的。

由華盛頓大學、艾倫人工智能研究院、斯坦福大學合作完成的《MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers》

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文鏈接：https://openreview.net/forum?id=Tqx7nJp7PR

作者：Krishna Pillutla, Swabha Swayamdipta, Rowan Zellers, John Thickstun, Sean Welleck, Yejin Choi, Zaid Harchaoui

獲獎理由：本篇研究提出了MAUVE——一種用于比較模型生成文本分布和人工生成文本分布的散度度量。這個想法簡約而不簡單，它基本上使用了被比較的兩個文本的量化嵌入（soft）KL 散度測量連續(xù)族。他們提出的MAUVE度量基本上是對連續(xù)度量系列的集成，旨在捕獲第I類錯誤（生成不切實際的文本）和第II類錯誤（不捕獲所有可能的人類文本）。實驗表明，MAUVE識別了模型生成文本的已知模式，與之前的差異度量相比，并且與人類判斷的相關性更好。這篇論文非常優(yōu)秀，研究問題在開放式文本生成快速發(fā)展的背景下很重要，結果也很明確清晰。

由法國巴黎 PSL 研究大學、洛桑聯(lián)邦理工學院計算機與通信科學學院、洛桑聯(lián)邦理工學院和 MSR-Inria聯(lián)合中心合作完成的《 A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip 》

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=bGfDnD7xo-v

作者：Mathieu Even, Rapha?l Berthier, Francis Bach, Nicolas Flammarion, Pierre Gaillard, Hadrien Hendrikx, Laurent Massoulié, Adrien Taylor

獲獎理由：

本文描述了Nesterov加速梯度方法的“連續(xù)”版本，其中兩個獨立的向量變量在連續(xù)時間內共同演化，這很像以前使用微分方程來理解加速度的方法，但研究人員使用了由泊松點過程決定的隨機時間的梯度更新。這種新方法導致了（隨機）離散時間方法：（1）與Nesterov方法具有相同的加速收斂性；(2) 帶有利用連續(xù)時間參數(shù)的清晰透明的分析，這可以說比之前對加速梯度方法的分析更容易理解；(3) 避免了連續(xù)時間過程離散化的額外錯誤，這與之前使用連續(xù)時間過程理解加速方法的幾次嘗試形成鮮明對比。

由魏茨曼科學研究所、Facebook AI研究院和加州大學洛杉磯分校共同合作的《Moser Flow: Divergence-based Generative Modeling on Manifolds 》

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文鏈接：https://openreview.net/pdf?id=qGvMv3undNJ

作者：Noam Rozen, Aditya Grover, Maximilian Nickel, and Yaron Lipman

獲獎理由：

作者們提出了一種在黎曼流形上訓練連續(xù)歸一化流（CNF）生成模型的方法。關鍵思想是利用Moser（1965）描述了CNF（Moser稱之為流形上的方向保持自同構）的解。這個解運用一類具有幾何正則性條件的受限常微分方程，目標密度函數(shù)的散度顯式定義。Moser Flow方法使用解決方案概念來開發(fā)基于參數(shù)化目標密度估計器（可以是神經(jīng)網(wǎng)絡）的CNF方法。訓練相當于簡單地優(yōu)化密度估計器的散度，它回避運行 ODE 求解器（標準反向傳播訓練所需）。實驗表明，與之前的CNF工作相比，訓練時間更快，測試性能更好，并且在具有非恒定曲率的隱式曲面（如Stanford Bunny model）上建模密度。總的來說，利用幾何規(guī)則性條件來避開昂貴的反向傳播訓練的概念可能具有更廣泛的興趣。

時間檢驗獎（Test of Time Award）

由普林斯頓大學和法國高等國家信息與自動化研究所共同完成的《Online Learning for Latent Dirichlet Allocation》，發(fā)表時間為2010年。

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文鏈接：https://proceedings.neurips.cc/paper/2010/file/71f6278d140af599e06ad9bf1ba03cb0-Paper.pdf

作者：Matthew D. Hoffman, David M. Blei, Francis Bach

獲獎理由：

本文介紹了一種基于隨機變分梯度的推理方法，用于在超大文本語料庫上訓練潛在的Dirichlet分配（LDA）模型。在理論方面，它驗證了訓練過程收斂于局部最優(yōu)，出人意料的是，簡單隨機梯度更新對應于證據(jù)下限（ELBO）目標的隨機自然梯度。在實證方面，作者首次表明，LDA可以輕松地在幾十萬個文檔的文本語料庫上進行訓練，使其成為解決“大數(shù)據(jù)”問題的實用技術。這篇論文在ML社區(qū)產(chǎn)生了巨大的影響，因為它代表了更廣泛模型一般隨機梯度變分推理過程的第一塊墊腳石。在本文之后，再也沒有理由使用完整的批量訓練程序進行變分推理了。

評選過程：

時間測試獎的設定是授予10年前NeurIPS會議論文的。2020年，評審委員審議了時間范圍更寬泛的論文，選擇2011年而非2010年的佳作。因此，今年組委會決定將獲獎論文的選擇實現(xiàn)限制為10年或11年。因為10年此次會議上發(fā)表的任何論文都沒有獲得時間檢驗獎，經(jīng)過慎重考慮，將重點時限放在2010年。

委員會根據(jù)引文數(shù)量對NeurIPS 2010年的所有論文進行排名。制定了大約500篇引用量的臨界值。在這標準下遴選了16篇文章。會議討論中委員會的四名成員都支持一篇論文——《Online Learning for Latent Dirichlet Allocation》。每個委員會成員對這篇論文的評價排行都高于所有其他候選論文，以絕對優(yōu)勢高出第二預選論文，最終一致通過被評為時間檢驗獎。

數(shù)據(jù)集和基準測試最佳論文獎（Datasets & Benchmarks Best Paper Awards）

今年，NeurIPS 推出了全新的“數(shù)據(jù)集與基準測試”評選流程。

審稿人打出分數(shù)確定了一份簡短的論文列表，依據(jù)咨詢委員會所有成員投票，從列表中評選出兩篇最佳論文獎。

由加州大學洛杉磯分校、谷歌紐約研究院和谷歌洛杉磯研究院合作完成的《 Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research 》

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=zNQBIBKJRkd

作者：Bernard Koch, Emily Denton, Alex Hanna, Jacob Gates Foster

獲獎理由：

這篇論文分析了數(shù)千篇論文并研究了不同機器學習子社區(qū)中數(shù)據(jù)集使用的演變過程，以及數(shù)據(jù)集采用和創(chuàng)建之間的相互作用。研究人員發(fā)現(xiàn)，在大多數(shù)社區(qū)中，隨著時間的推移，使用更少的不同數(shù)據(jù)集會發(fā)生演變，并且這些數(shù)據(jù)集來自少數(shù)精英機構。這種演變是有問題的，因為基準變得不那么具有普遍性，存在于這些數(shù)據(jù)集來源中的偏見可能會被放大，新的數(shù)據(jù)集變得更難被研究團體接受。這對整個機器學習社區(qū)來說是一個重要的“警鐘”，讓他們更加批判性地思考哪些數(shù)據(jù)集可以用于基準測試，并將更多的重點放在創(chuàng)建新的、更多樣化的數(shù)據(jù)集上。

由斯坦福大學、芝加哥大學和Flatiron研究院合作完成的《ATOM3D: Tasks On Molecules in Three Dimensions》

NeurIPS 2021獲獎論文出爐！斯坦福表現(xiàn)亮眼，“隨機變分推理”獲時間檢驗獎，還有新增獎項

論文地址：https://openreview.net/pdf?id=FkDZLpK1Ml2

作者：Raphael John Lamarre Townshend, Martin V?gele, Patricia Adriana Suriana, Alexander Derry, Alexander Powers, Yianni Laloudakis, Sidhika Balachandar, Bowen Jing, Brandon M. Anderson, Stephan Eismann, Risi Kondor, Russ Altman, Ron O. Dror

獲獎理由：

本文介紹了一組具有小分子和/或生物聚合物3D表示的基準數(shù)據(jù)集，用于解決廣泛的問題，涵蓋單分子結構預測、生物分子之間的相互作用以及分子功能和設計/工程任務。然后將3D模型簡單而強大的應用與具有1D或2D表示的最新模型進行基準測試，并顯示出比低維模型更好的性能。這項研究表述了如何為給定任務選擇和設計模型的重要見解。這不僅提供了基準數(shù)據(jù)集，還提供了基線模型和開源工具來利用這些數(shù)據(jù)集和模型，大大降低了機器學習人員進入計算生物學和分子設計領域的門檻。

祝賀所有獲獎者！

參考鏈接：