0
| 本文作者： 楊曉凡 | 2018-07-12 00:53 | 專題：ICML 2018 |
雷鋒網(wǎng) AI 科技評論按：經(jīng)過 7 月 10 日的三個 Tutorial Session 和 Opening Reception 晚宴之后，在瑞典斯德哥爾摩舉辦的機器學(xué)習(xí)頂會 ICML 2018 正式進(jìn)入第一天的正會。
當(dāng)?shù)貢r間 7 月 11 日早上 8：45，北京時間 7 月 11 日下午 2：45 開始的 Opening Remarks 上先出現(xiàn)了點小意外，會議大廳兩塊幕布、兩臺投影儀配置里的靠前的一臺壞了，在大會主席 Francis Bach 的演講途中才亮起來 —— 當(dāng)然，投影儀好起來的一瞬間，現(xiàn)場響起了熱烈的掌聲。
主席透露，明年 ICML 計劃和 CVPR 一樣在美國加州長灘舉辦，2020 年在奧地利維也納，2021 年在夏威夷火奴魯魯。
今年 ICML 的四個邀請演講分別為：來自 UC 伯克利大學(xué)電子工程與計算機系 Dawn Song 教授的《AI and Security: Lessons, Challenges and Future Directions》（AI 與安全：教訓(xùn)、挑戰(zhàn)以及未來的方向），來自阿姆斯特丹大學(xué)機器學(xué)習(xí)學(xué)院研究主席、高通副總裁 Max Welling 教授的《Intelligence per Kilowatthour》（用千瓦時衡量的智慧），來自密歇根州立大學(xué)計算機科學(xué)與工程學(xué)院 Joyce Chai 教授的《Language to Action: towards Interactive Task Learning with Physical Agents》（從語言到行動：向著與真實機器人的交互式任務(wù)學(xué)習(xí)），以及來自 MIT 認(rèn)知科學(xué)與計算學(xué)院 Joshua Brett Tenenbaum 教授的《Building Machines that Learn and Think Like People》（構(gòu)建像人類一樣學(xué)習(xí)和思考的機器）。
雷鋒網(wǎng) AI 科技評論了解到，今年的 ICML （機器學(xué)習(xí)國際會議）是與自主智能體與多智能體系統(tǒng)國際會議（AAMAS）以及人工智能國際聯(lián)合大會（IJCAI）在同一地點舉辦的，在議程安排上有聯(lián)合的大會報告 session 和聯(lián)合的 workshop。后兩個邀請演講就是在聯(lián)合的大會報告 session 中的。
與其他機器學(xué)習(xí)會議一樣，今年 ICML 的投稿數(shù)量也是繼續(xù)暴漲。ICML 2017 的數(shù)字是 1676 篇投稿、434 篇接受論文，今年則是 2473 / 621，投稿數(shù)增加了 45%。對所有論文統(tǒng)計關(guān)鍵詞做成詞云，毫不意外地看到 learning、Deep、Network、Model、reinforcement learning、optimization 等詞匯。
最熱門的投稿領(lǐng)域是神經(jīng)網(wǎng)絡(luò)架構(gòu)，有超過 200 篇投稿。其后的大類依次是強化學(xué)習(xí)、深度學(xué)習(xí)理論研究、對抗性深度學(xué)習(xí)、凸優(yōu)化、非凸優(yōu)化、監(jiān)督學(xué)習(xí)、在線學(xué)習(xí)、生成式模型、統(tǒng)計學(xué)習(xí)理論、無監(jiān)督學(xué)習(xí)、遷移與多任務(wù)學(xué)習(xí)等。
之前 NIPS 由于投稿數(shù)量多、審稿人水平參差不齊，論文初審和 AC 審經(jīng)常大相徑庭而引發(fā)討論，ICML 組委會此次也統(tǒng)計了 Rebuttal 前后的分?jǐn)?shù)差異，給大家提供一個討論評審過程公平性的參考依據(jù)。經(jīng)過 Rebuttal 后，審稿意見更新的比例有 45.7%，分?jǐn)?shù)得到更新的論文有 9.2%。而在接收分?jǐn)?shù)邊界線附近的論文有 16%。
最佳論文獎、最佳論文提名獎、時間檢驗將獲獎?wù)撐拿麊我苍诂F(xiàn)場再次公布。
Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
模糊梯度防御帶來的只是安全的假象：繞過對抗性樣本的防御
論文摘要：作者們提出，模糊梯度（obfuscated gradients）這種梯度遮蔽方法，對于對抗性樣本的防御并不是真正的安全。雖然引發(fā)模糊梯度的防御方法似乎能夠抵御基于迭代優(yōu)化方法的攻擊，但是作者們發(fā)現(xiàn)依賴這種模糊梯度效果的防御方法其實可以被繞過。作者們描述了造成模糊梯度效果的防御方法的特點，把它們分為了三類，然后針對每一類防御方法設(shè)計了可以繞過它們的攻擊方法。作者們?nèi)?nbsp;ICLR 2018 論文中的白盒防御方法作為案例研究對象，他們發(fā)現(xiàn)梯度模糊是一種普遍的做法，那篇論文中研究的 9 種防御方法中有 7 種都依靠的是模糊梯度方法。作者們提出的新的攻擊方法發(fā)可以完全繞過其中的 6 種方法，部分繞過 1 種。
Delayed Impact of Fair Machine Learning
研究公平的機器學(xué)習(xí)的延遲影響
論文摘要：之前的研究者們主要是在靜態(tài)分類的場景下進(jìn)行機器學(xué)習(xí)中的公平性問題研究，并沒有研究這些決定會如何隨著時間流逝而影響其中深層的人群分布變化。傳統(tǒng)觀念一般認(rèn)為給機器學(xué)習(xí)模型施加公平性的限制以后能夠更好地保護(hù)受到不公平待遇的人群的長期利益。
這篇論文中，作者們研究了靜態(tài)的公平性限制與會隨時間變化的利益指標(biāo)之間的相互作用，這些利益指標(biāo)包括一系列研究變量的長時間尺度中的上升、停滯或者下降。作者們表明即便只是對于一階的反饋模型，平常的公平性限制總的來說都并不會提高利益；實際上，當(dāng)一個完全無限制的目標(biāo)能夠帶來正常的結(jié)果時，公平性限制施加以后在某些情況下反倒有可能造成傷害。
作者們完全分析了三種標(biāo)準(zhǔn)的公平性限制帶來的延遲的影響，三種環(huán)境中表現(xiàn)出了可以量化的不同行為。出自之外，作者們還發(fā)現(xiàn)了一種自然形式的測量誤差，它可以拓展環(huán)境，讓公平性限制的表現(xiàn)比較符合人意。
作者們的結(jié)果顯著體現(xiàn)出了公平性限制的評估中測量指標(biāo)的選擇以及基于時間建模的重要性，這同時也揭示了一組新的挑戰(zhàn)和新的取舍。
The Mechanics of n-Player Differentiable Games
可微分多玩家博弈的機制研究
論文摘要：深度學(xué)習(xí)最根本的基石是一個對象的梯度下降最終可以保證收斂到某個局部最小值。然而不幸的是，這種保證在某些設(shè)定下會失效，比如對抗性生成網(wǎng)絡(luò)，其中有多個互相影響的損失函數(shù)?；谔荻鹊姆椒ㄔ诓┺闹械男袨椴]有得到很好的研究，而隨著對抗性以及多目標(biāo)的模型架構(gòu)的發(fā)展，這方面的研究也越來越重要。在這篇論文中，作者們開發(fā)了一種新的方法以便理解與控制一般博弈中的動態(tài)表現(xiàn)。其中的關(guān)鍵成果是把二階動態(tài)特性分解為兩個項。第一項與可能的博弈有關(guān)，它可以根據(jù)隱式的函數(shù)梯度下降而減??；第二項與哈密頓博弈有關(guān)，這是一類新的遵循守恒定律的博弈，和經(jīng)典機械系統(tǒng)中的守恒定律很類似。這種分解手段也帶來了辛梯度調(diào)節(jié)（Symplectic Gradient Adjustment）算法，這是一種可以在普通博弈中尋找穩(wěn)定固定點的新算法?；A(chǔ)性的實驗表明 SGA 與近期提出的在 GANs 中尋找穩(wěn)定固定點的算法有同等的表現(xiàn)，同時也可以運用于更多一般的博弈中，而且還有求解的保證。
Near Optimal Frequent Directions for Sketching Dense and Sparse Matrices
用于密集、稀疏矩陣的接近最優(yōu)的頻繁方向算法
這篇論文的唯一作者是復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院副教授黃增峰
論文摘要：對于一個大矩陣
，我們考慮計算這個矩陣的梗概矩陣（sketch matrix）
的問題。這個矩陣應(yīng)當(dāng)明顯更小，但同時也與 A 足夠接近。我們考慮最小化如下的協(xié)方差誤差
我們在流模型中考慮這個問題，在這里算法只有有限的工作空間，而且只能對輸入進(jìn)行一次計算得到結(jié)果。流行的頻繁方向算法（Frequent Directions）和它的各種變體在空間和誤差之間取得了最佳取舍。然而，算法的運行時間是否可以得到改進(jìn)還是一個尚未研究的問題。
在這篇論文中，我們幾乎解決了這個問題的時間復(fù)雜性。尤其是，我們提出了新的空間最優(yōu)的算法，它具有更快的運行時間。并且，我們展現(xiàn)了我們算法的運行時間是接近最優(yōu)的，除非目前最優(yōu)的矩陣乘法的運行時間可以得到大幅度的提升。
Fairness Without Demographics in Repeated Loss Minimization
在反復(fù)的損失最小化中，無需人口特征統(tǒng)計實現(xiàn)平等
斯坦福大學(xué)教授 Percy Liang 是這篇論文的作者之一
論文摘要：機器學(xué)習(xí)模型（比如語音識別模型）在訓(xùn)練時通常都是要讓平均損失最小化，這樣會帶來表征懸殊的問題 —— 少數(shù)群體（比如非母語的講話者）由于對訓(xùn)練目標(biāo)的貢獻(xiàn)較少，這些樣本的損失值也就更高。更糟糕的是，隨著模型的準(zhǔn)確率下降而影響到用戶留存的話，使用模型的少數(shù)群體會越來越少。在這篇論文中，作者們首先展示了經(jīng)驗風(fēng)險最小化（ERM）的方法會讓表征懸殊的問題變得越來越嚴(yán)重的狀況，這甚至?xí)屪畛踹€平等的模型變得不平等。為了減緩這種問題，作者們開發(fā)了一種基于分布魯棒優(yōu)化（DRO）的新方法，它會把所有數(shù)據(jù)分布中的最糟糕的情況風(fēng)險都最小化到接近經(jīng)驗分布。作者們證明了這種方法在每一個時間步中都控制了少數(shù)群體的風(fēng)險，根據(jù)羅爾斯的分配正義思想評價的話，同時也能夠忽略不同組之間的身份差異。作者們展現(xiàn)了 DRO 能夠在 ERM 不能阻止表征懸殊增大的情況下阻止它發(fā)生，同時也在真實世界的文本自動完成任務(wù)中成功增加了少數(shù)群體的用戶滿意程度。
A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning
一個自然語言處理的統(tǒng)一架構(gòu)：多任務(wù)學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)
這篇論文來自 ICML 2008
作者們描述了一種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，只靠一個語言模型網(wǎng)絡(luò)就可以基于給定的句子輸出一系列語言處理預(yù)測結(jié)果，包括語句的一部分的標(biāo)簽、語料段、可命名的實體標(biāo)簽、語義角色、語義類似的詞，以及句子有意義的似然值（語法角度以及語義角度）。整個網(wǎng)絡(luò)是在所有這些任務(wù)上以權(quán)重共享的方式聯(lián)合訓(xùn)練的，這樣也成為了多任務(wù)學(xué)習(xí)的一個實例。所有任務(wù)都使用了標(biāo)注數(shù)據(jù)，除了語言模型是從無標(biāo)注文本學(xué)習(xí)的，并且它也為這些共享的任務(wù)提供了一種新的半監(jiān)督學(xué)習(xí)形式。作者們展示了多任務(wù)學(xué)習(xí)和半監(jiān)督學(xué)習(xí)都可以增加這些共享的任務(wù)的泛化性，最終帶來了頂級的表現(xiàn)。
資料地址：http://videolectures.net/icml08_collobert_uanl/（帶視頻和 PPT）
目前 ICML 2018 還在如火如荼地進(jìn)行中，正會會進(jìn)行到 7 月 13 日。雷鋒網(wǎng) AI 科技評論會繼續(xù)發(fā)出相關(guān)報道，請繼續(xù)關(guān)注。前方照片感謝吳立偉。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
