7篇論文獲得杰出論文獎(jiǎng)，清華、人大、浙大等國內(nèi)高校上榜，張鈸院士、朱軍教授等人合作的論文入選！

作者｜Ailleurs

編輯｜陳彩嫻

今日，ICLR2022在官網(wǎng)上公布了杰出論文獎(jiǎng)評(píng)選結(jié)果，共有7篇論文獲獎(jiǎng)，國內(nèi)上榜高校包括清華大學(xué)、中國人民大學(xué)、浙江大學(xué)、重慶大學(xué)，國外上榜高校和機(jī)構(gòu)有谷歌研究院、安特衛(wèi)普大學(xué)、斯坦福大學(xué)、康奈爾大學(xué)、多倫多大學(xué)、DeepMind等。

今年ICLR共有3391篇投稿，接收1095篇，接收率為32.3%，其中包括54篇論文被接收為Oral，176篇論文被接收為Spolight，7篇論文因其卓越的條理性、洞察力、創(chuàng)造力和潛在的持久影響力榮獲杰出論文獎(jiǎng)。其中，華人一作論文共有3篇，張鈸院士、朱軍教授等人合作的論文獲得杰出論文獎(jiǎng)。另有3篇論文獲得杰出論文榮譽(yù)提名。

1

華人一作獲獎(jiǎng)?wù)撐?/strong>

張鈸院士、朱軍教授等人合作的獲獎(jiǎng)?wù)撐臑椤禔nalytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》。

論文地址：https://openreview.net/pdf?id=0xiJLKH-ufZ

這項(xiàng)工作的獲獎(jiǎng)理由：

擴(kuò)散概率模型（Defusion probabilistic model，DPM）是一類功能強(qiáng)大的生成模型，是機(jī)器學(xué)習(xí)領(lǐng)域中一個(gè)快速發(fā)展的研究課題。本文旨在解決 DPM 模型固有的局限性，即DPM 模型中最優(yōu)反向方差的計(jì)算速度緩慢且成本昂貴。作者首先展示了一個(gè)令人驚訝的結(jié)果，即 DPM 的最優(yōu)反向方差和相應(yīng)的最優(yōu) KL 散度都有其得分函數(shù)的解析形式。然后，他們提出了新穎且優(yōu)雅的無訓(xùn)練推理框架：Analytic-DPM，使用蒙特卡羅方法和預(yù)訓(xùn)練的基于得分模型來估計(jì)方差和 KL 散度的分析形式。

這篇論文在理論貢獻(xiàn)（表明 DPM 的最優(yōu)反向方差和 KL 散度都具有解析形式）和實(shí)際益處（提出適用于各種 DPM 模型的免訓(xùn)練推理）方面都具有重要意義，并且很可能影響未來的 DPM 研究。

圖注：張鈸

張鈸，清華大學(xué)計(jì)算機(jī)系教授，中國科學(xué)院院士，CCF 會(huì)士，2014 CCF 終身成就獎(jiǎng)獲得者，中國人工智能領(lǐng)域奠基人之一。曾任校學(xué)位委員會(huì)副主任，現(xiàn)任微軟亞洲研究院技術(shù)顧問。

張鈸院士從事人工智能、人工神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)等理論研究，以及這些理論應(yīng)用于模式識(shí)別、知識(shí)工程與機(jī)器人等技術(shù)研究。在這些領(lǐng)域，他已發(fā)表 200多篇學(xué)術(shù)論文和5篇（或章節(jié)）專著（中英文版）。他的專著獲得國家教委高等學(xué)校出版社頒發(fā)的優(yōu)秀學(xué)術(shù)專著特等獎(jiǎng)。他的科研成果分別獲得 ICL歐洲人工智能獎(jiǎng)、國家自然科學(xué)三等獎(jiǎng)、國家科技進(jìn)步三等獎(jiǎng)、國家教委科技進(jìn)步一、二等獎(jiǎng)、電子工業(yè)部科技進(jìn)步一等獎(jiǎng)以及國防科工委科技進(jìn)步一等獎(jiǎng)獎(jiǎng)勵(lì)。此外，他參與創(chuàng)建智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，于1990‐1996年擔(dān)任該實(shí)驗(yàn)室主任。1987‐1994年任國家"863"高技術(shù)計(jì)劃智能機(jī)器人主題專家組專家。

在過去30多年中，他提出問題求解的商空間理論，在商空間數(shù)學(xué)模型的基礎(chǔ)上，提出了多粒度空間之間相互轉(zhuǎn)換、綜合與推理的方法。提出問題分層求解的計(jì)算復(fù)雜性分析以及降低復(fù)雜性的方法。該理論與相應(yīng)的新算法已經(jīng)應(yīng)用于不同領(lǐng)域，如統(tǒng)計(jì)啟發(fā)式搜索、路徑規(guī)劃的拓?fù)浣稻S法、基于關(guān)系矩陣的時(shí)間規(guī)劃以及多粒度信息融合等，這些新算法均能顯著降低計(jì)算復(fù)雜性。該理論現(xiàn)已成為粒計(jì)算的的主要分支之一。在人工神經(jīng)網(wǎng)絡(luò)上，他提出基于規(guī)劃和基于點(diǎn)集覆蓋的學(xué)習(xí)算法。這些自頂向下的結(jié)構(gòu)學(xué)習(xí)方法比傳統(tǒng)的自底向上的搜索方法在許多方面具有顯著優(yōu)越性。

張鈸院士在清華執(zhí)教六十余年，已經(jīng)是桃李滿天下，在其研究領(lǐng)域也成為了絕對(duì)的權(quán)威。雖已年過花甲，卻仍精神矍鑠，如今的他還在堅(jiān)持以第一作者的身份寫作論文，令人敬佩。

圖注：朱軍

朱軍，清華大學(xué)計(jì)算機(jī)系教授，清華大學(xué)人工智能研究院基礎(chǔ)理論研究中心主任，北京智源人工智能研究院機(jī)器學(xué)習(xí)首席科學(xué)家 。獲騰訊科學(xué)探索獎(jiǎng)，入選MIT TR35中國先鋒者 、亞洲第二位IEEE AI 10 to Watch學(xué)者、國家"萬人計(jì)劃"領(lǐng)軍人才，中國首位PAMI副主編，擔(dān)任IEEE TPAMI的副主編和編委。擔(dān)任ICML2014地區(qū)聯(lián)合主席, ICML、NIPS、IJCAI、AAAI等領(lǐng)域主席20余次。

朱軍教授的研究工作圍繞機(jī)器學(xué)習(xí)基礎(chǔ)理論、高效算法和應(yīng)用展開，注重理論與實(shí)際問題結(jié)合。已連續(xù)多年在機(jī)器學(xué)習(xí)頂級(jí)國際會(huì)議和期刊ICML、NIPS、IJCAI、AAAI、 JMLR、PAMI等發(fā)表論文100余篇。研究工作得到國家973計(jì)劃、自然科學(xué)基金優(yōu)青基金和重點(diǎn)基金等項(xiàng)目的支持，入選“清華大學(xué)221基礎(chǔ)研究人才支持計(jì)劃”。

另一項(xiàng)華人一作獲獎(jiǎng)?wù)撐?/strong>來自斯坦福大學(xué) ：《Comparing Distributions by Measuring Differences that Affect Decision Making》。

論文地址：https://openreview.net/forum?id=KB5onONJIAU

這項(xiàng)工作的獲獎(jiǎng)理由：本文提出了一類新的差異，可以比較基于最優(yōu)損失的決策任務(wù)的兩種概率分布。作者證明，與各種基準(zhǔn)上的競(jìng)爭(zhēng)性基準(zhǔn)相比，所提出的方法具有更好的測(cè)試能力。委員會(huì)認(rèn)為 ，該方法不僅思維巧妙，具有特殊的經(jīng)驗(yàn)意義，它允許用戶通過決策損失來比較分布時(shí)直接指定他們的偏好，這意味著可解釋性水平將得到提高。

論文作者Shengjia Zhao是斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的博士生，研究方向?yàn)轭A(yù)測(cè)模型和自治代理、概率深度學(xué)習(xí)、不確定性量化等。他與北大2016級(jí)圖靈班本科生許逸倫等人的合作論文曾被ICLR2020“滿分”接收。

圖注：Shengjia Zhao

其導(dǎo)師為Stefano Ermon，他曾獲IJCAI2018“計(jì)算機(jī)與思想獎(jiǎng)”，在概率推理、機(jī)器學(xué)習(xí)和決策方面的研究具有重要影響。他的另一位天才學(xué)生宋飏的一作論文曾獲ICLR2021杰出論文獎(jiǎng)，宋飏14歲保送清華大學(xué)，本科就讀于數(shù)學(xué)物理專業(yè)，曾跟隨朱軍等人做研究，后在2016年赴斯坦福大學(xué)讀博。

第三篇華人一作獲獎(jiǎng)?wù)撐?/strong>為《Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path》，作者Xiaoyan Han是康奈爾大學(xué)的博士生。

論文地址：https://arxiv.org/abs/2106.02073

這項(xiàng)工作的獲獎(jiǎng)理由：

本文對(duì)當(dāng)下深度網(wǎng)絡(luò)訓(xùn)練范式中場(chǎng)景的“神經(jīng)崩潰”現(xiàn)象提出了新的理論見解。本文演示了一種新的均方誤差(MSE)損失分解方法，以分析神經(jīng)崩潰下?lián)p失的每個(gè)組成部分，而不是數(shù)學(xué)上更難分析的交叉熵?fù)p失。通過研究沿中心路徑的重整梯度流，作者推導(dǎo)出預(yù)測(cè)神經(jīng)崩潰的精確動(dòng)力學(xué)方法。本文為理解深度網(wǎng)絡(luò)的經(jīng)驗(yàn)訓(xùn)練提供了新穎而富有啟發(fā)性的理論見解。

圖注：Xiaoyan Han

2

華人一作榮譽(yù)提名論文

本次獲得杰出論文榮譽(yù)提名的論文之一《PiCO: Contrastive Label Disambiguation for Partial Label Learning》，一作是來自浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院的博士生Haobo Wang。

論文地址：https://arxiv.org/abs/2201.08984

這項(xiàng)工作的獲獎(jiǎng)理由：

本文研究了部分標(biāo)簽學(xué)習(xí)(PLL)，旨在通過在一個(gè)連貫的框架中解決PLL表示學(xué)習(xí)和標(biāo)簽消歧的兩個(gè)關(guān)鍵挑戰(zhàn)，減少PLL和有監(jiān)督的對(duì)等物之間的性能差距。作者提出了一個(gè)結(jié)合了對(duì)比學(xué)習(xí)和基于原型的標(biāo)簽消歧的新框架PiCO。本文給出了有趣的理論解釋，以證明其框架從期望最大化(EM)的觀點(diǎn)。實(shí)證結(jié)果尤其令人印象深刻，因?yàn)镻iCO在PLL中顯著優(yōu)于目前最先進(jìn)的技術(shù)，甚至達(dá)到了與完全監(jiān)督學(xué)習(xí)相當(dāng)?shù)慕Y(jié)果。

附：獲得杰出論文獎(jiǎng)和榮譽(yù)提名的論文完整名單查看地址

https://blog.iclr.cc/2022/04/20/announcing-the-iclr-2022-outstanding-paper-award-recipients/

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。