0
| 本文作者： JocelynWang | 編輯：幸麗娟 | 2019-11-18 10:30 |
圖：研究人員在 3D 打印的烏龜上添加一些顏色，AI 的識別結(jié)果為「來復(fù)槍」。（ICML 2018）
一輛自動駕駛汽車在接近停車標志的時候，沒有進行減速，反而加速駛?cè)肓藫矶碌氖致房?。隨后一份事故報告表明，該停車標志表面粘有四個小矩形，這個信息欺騙了車載人工智能（AI），將“停止”一詞誤讀為“限速45”。
雖然該事件并未在現(xiàn)實中發(fā)生，但人為擾亂 AI 判斷的潛在可能性是真實存在的。研究人員已經(jīng)展示了如何通過細致地在停車標志的某些位置上貼上貼紙以此愚弄人工智能系統(tǒng)，使其對停車標志產(chǎn)生誤讀[1]。此外，他們還通過在眼鏡或帽子上貼印刷圖案來欺騙人臉識別系統(tǒng)，并且通過在音頻中插入白噪聲模式，讓語音識別系統(tǒng)聽取虛假短語以實現(xiàn)欺騙系統(tǒng)的目的。
擊敗 AI 中被稱為深度神經(jīng)網(wǎng)絡(luò)（DNN）的這一先進的模式識別技術(shù)是件多么容易的事情，而以上僅是此類案例中的一部分。深度神經(jīng)網(wǎng)絡(luò)方法在正確分類包括圖像，語音和消費者偏好數(shù)據(jù)等在內(nèi)的各種輸入方面，大獲成功。它們已經(jīng)成為是日常生活的一部分，正在自動電話系統(tǒng)到流媒體服務(wù)網(wǎng)飛（Netflix）的用戶推薦功能上運行著。然而，當以人們難以察覺的微小變化形式更改輸入時，往往可能會混淆其周圍效果最好的神經(jīng)網(wǎng)絡(luò)。
加利福尼亞大學(xué)伯克利分校計算機科學(xué)專業(yè)的博士生 DanHendrycks 說到，這些問題比不完美的技術(shù)造成的“莫名其妙”的結(jié)果更令人擔(dān)憂。像許多科學(xué)家一樣，他開始將這些問題看作證明“DNN 從根本上而言是脆性的”的直觀例證：它們即便此前在某一任務(wù)上表現(xiàn)得再出色，一旦進入到陌生的領(lǐng)域，就會以無法預(yù)料的方式遭遇失敗。
來源：Stop sign: Ref. 1; Penguin: Ref. 5
這將可能會導(dǎo)致嚴重的問題。深度學(xué)習(xí)系統(tǒng)越來越多地走出實驗室而進入現(xiàn)實世界：從駕駛無人駕駛汽車到犯罪制圖和疾病診斷領(lǐng)域。但今年一項研究報告稱，惡意添加到醫(yī)學(xué)掃描中的像素可能會使 DNN 誤檢癌癥[2]。另一項研究表明，黑客可以利用這些弱點劫持一個基于在線 AI 的系統(tǒng)，使其運行入侵者自己的算法[3]。
在努力找出問題所在的同時，研究人員也發(fā)現(xiàn)了招致 DNN 失敗的諸多原因。來自加利福尼亞山景城的谷歌 AI 工程師 Fran?oisChollet 認為：“目前尚無解決深度神經(jīng)網(wǎng)絡(luò)根本脆弱性的方法”。他和其他研究者認為，要克服這些缺陷，研究人員需要使用額外的能力來增強模式匹配 DNN ：例如，使 AI 能夠自己探索世界，編寫自己的代碼并保留記憶。一些專家認為，這類系統(tǒng)將構(gòu)成 AI 研究領(lǐng)域未來十年的新篇章。
2011年，谷歌推出了一種可以識別 YouTube 視頻中貓的系統(tǒng)，不久之后，出現(xiàn)了一系列基于 DNN 的分類系統(tǒng)。任職懷俄明大學(xué)拉勒米分校、兼任加利福尼亞州舊金山 Uber AI 實驗室的高級研究經(jīng)理 JeffClune 感慨道：“所有人都在說，‘哇，這太神奇了，計算機終于可以理解世界了’?！?/p>
但是 AI 研究人員知道 DNN 實際上并不了解世界。它們實際上是大腦結(jié)構(gòu)的粗糙模型，是由許多數(shù)字神經(jīng)元組成的軟件結(jié)構(gòu)，這些數(shù)字神經(jīng)元分布在許多層中，每個神經(jīng)元都在其上方和下方各層的其他神經(jīng)元相互連接。
它的思路大致如下，首先將原始輸入的特征放入底層，例如圖像中的像素，這將觸發(fā)其中一些神經(jīng)元，這些神經(jīng)元隨后根據(jù)簡單的數(shù)學(xué)規(guī)則將信號傳遞到上一層神經(jīng)元。DNN 網(wǎng)絡(luò)的訓(xùn)練過程包括使其接觸大量的示例，并在每次接觸時都調(diào)整神經(jīng)元的連接方式，從而最終能夠在頂層輸出所需的答案——例如它可以始終將圖片中的獅子識別為獅子，即使DNN之前從未見過這張圖片。
2013 年，谷歌研究員 Christian Szegedy 和他的同事發(fā)布了一張名為“神經(jīng)網(wǎng)絡(luò)的有趣特性”[4]的預(yù)印本，這是首個重大的現(xiàn)實檢測。該團隊表明了這一事件的可能性：輸入一張 DNN 可識別的圖像，例如獅子的圖像，然后通過改變部分像素可使機器確信自己正在查看另外一個不同的東西，比如一個開發(fā)庫。該研究小組稱篡改后的圖像為“對抗樣本”。
一年后，Clune 和他當時的博士生 Anh Nguyen 聯(lián)合紐約伊薩卡康奈爾大學(xué)的 Jason Yosinski 進行的研究表明，也可能使 DNN看到不存在的東西，例如波紋線形式的企鵝 [5]。深度學(xué)習(xí)領(lǐng)域的先驅(qū)、加拿大蒙特利爾大學(xué)的YoshuaBengio表示：“任何跟機器學(xué)習(xí)打過交道的人都知道這些系統(tǒng)偶爾會犯一些愚蠢的錯誤......然而令人驚訝的是所犯錯誤的類型......其中有一些真是令人震驚，并且是我們難以想象會實際發(fā)生的錯誤?！?/p>
新出現(xiàn)的錯誤類型越來越多，并且出現(xiàn)的速度越來越快。去年，現(xiàn)就職于阿拉巴馬州奧本大學(xué)的 Nguyen表明，僅僅是圖像中正在轉(zhuǎn)動的目標就足以讓周圍一些表現(xiàn)最佳的圖像分類器失效[6]。 Hendrycks 和他的同事在今年的報告中指出，即使是純樸的自然圖像也仍然可以騙過最先進的分類器，使其產(chǎn)生無法預(yù)測的失誤，例如將蘑菇識別為椒鹽脆餅或?qū)Ⅱ唑炎R別為井蓋[7]。
問題不僅僅存在于目標識別領(lǐng)域：任何使用DNN來分類輸入（例如語音）的 AI 都可以被愚弄。玩游戲的 AI 也可能會遭到攻擊：2017年，加州大學(xué)伯克利分校的計算機科學(xué)家桑迪·黃（Sandy Huang）以及她的同事，重點研究了經(jīng)過強化學(xué)習(xí)訓(xùn)練最終打敗了電子游戲 Atari的 DNN[8]。這種方法給 AI 設(shè)定了一個目標，與此同時，通過反復(fù)試驗和糾錯來學(xué)習(xí)能夠?qū)崿F(xiàn)目標的內(nèi)容以響應(yīng)一系列輸入 。它是AlphaZero和撲克機器人Pluribus等表現(xiàn)超越了人類的游戲 AI 背后的技術(shù)。即便如此，Huang 的團隊仍然可以通過在屏幕上添加一個或兩個隨機像素來使 AI 輸?shù)粲螒颉?/p>
今年早些時候，加利福尼亞大學(xué)伯克利分校的AI博士生 AdamGleave 和他的同事們證明，有可能將智能體概念引入 AI 環(huán)境中，以執(zhí)行旨在干擾 AI 反應(yīng)的“對抗策略”[9]。例如，在一個模擬環(huán)境中訓(xùn)練一個 AI 足球運動員來將足球踢過 AI 守門員，一旦守門員發(fā)生它無法預(yù)料到的行為（例如倒在地上）時，那它就失去了將足球踢進球門得分的能力。
圖注：一名模擬罰球的AI足球運動員在AI守門員制定“對抗策略”跌倒在地（見右圖）時（見右圖）感到困惑。圖片來源：Adam Gleave / Ref.9
知道 DNN 的弱點在哪里，黑客甚至可以掌控強大的AI。去年就有一個例子，當時谷歌的一個團隊表明，使用對抗樣本不僅可能讓 DNN犯特定的錯誤，而且還可以對其完全重新編程，從而有效地再次利用接受過一項任務(wù)訓(xùn)練的AI 去完成另外一項任務(wù)[3]。
原則上，許多神經(jīng)網(wǎng)絡(luò)，例如那些學(xué)習(xí)理解語言的神經(jīng)網(wǎng)絡(luò)，可以被用于對任何其他計算機程序進行編碼。Clune 對此表示：“從理論上講，您可以將聊天機器人轉(zhuǎn)成任何所需的程序，這是讓你覺得難以置信的地方?！彼O(shè)想在不久的將來，黑客可能會劫持云中的神經(jīng)網(wǎng)絡(luò)來運行其設(shè)計的能夠躲過篩掉垃圾郵件的機器人的算法。
對于加州大學(xué)伯克利分校的計算機科學(xué)家 Dawn Song 而言，DNN就像坐著的鴨子一樣。她說：“攻擊系統(tǒng)的方式有很多，而防守非常非常困難?！?/p>
DNN具有強大的功能，它們的多層結(jié)構(gòu)意味著它們在嘗試對輸入進行分類時可以選擇輸入許多不同特征中的模式。經(jīng)訓(xùn)練用來識別飛機的 AI 能夠發(fā)現(xiàn)，諸如色塊、紋理或背景之類的特征，其實跟我們所認為的非常直觀的東西（如機翼）一樣都是很強的預(yù)測器 。但這也意味著即便輸入只發(fā)生了很小的變化，AI 都可能將其視為情況明顯不同的東西。
一個解決方案就是給 AI 提供更多數(shù)據(jù)，特別是在要使 AI 反復(fù)面臨存在問題的示例并糾正其錯誤時。在這種“對抗訓(xùn)練”形式下，一個網(wǎng)絡(luò)學(xué)會識別物體，第二個網(wǎng)絡(luò)試圖改變第一個網(wǎng)絡(luò)的輸入，以使其出錯。這樣的話，對抗樣本便成為DNN訓(xùn)練數(shù)據(jù)的一部分。
Hendrycks和他的同事建議通過測試DNN在各種對抗性樣例中的表現(xiàn)，來量化DNN預(yù)防出錯的魯棒性，以此來防止其出錯。但是，訓(xùn)練網(wǎng)絡(luò)抵御一種攻擊可能會削弱它對抗其他攻擊的能力。倫敦谷歌 DeepMind 的 PushmeetKohli 領(lǐng)導(dǎo)的研究人員正在嘗試增強DNN規(guī)避錯誤的能力。許多對抗性攻擊通過對輸入的組成部分進行細微調(diào)整，例如巧妙地更改圖像中像素的顏色以此來起作用，直到使得DNN進行錯誤分類為止。 Kohli的團隊建議，強大的DNN不應(yīng)因其輸入的微小變化而改變輸出，并且從數(shù)學(xué)層面來看，這種屬性可能會并入網(wǎng)絡(luò)，這樣會限制其學(xué)習(xí)的方式。
然而，目前還沒有人提出從整體上解決 AI 脆弱性問題的方案。Bengio說，問題的根源在于DNN并沒有很好的模型來識別到底什么才是重要的內(nèi)容。當AI將被篡改的獅子圖像看作開發(fā)庫時，人們看到的仍然會是獅子，因為他們對于動物的心智模型基于一系列高級特征，如耳朵，尾巴，鬃毛等，這讓他們能夠得以從底層任意或次要的細節(jié)中將這些特征抽象出來。Bengio表示：“我們從先前的經(jīng)驗中知道哪些特征是主要的，而這來自對世界結(jié)構(gòu)的深刻理解?！?/p>
解決此問題的一種嘗試是將 DNN 與符號 AI 結(jié)合起來，這是人工智能領(lǐng)域在機器學(xué)習(xí)出現(xiàn)之前所使用的主要范式。借助符號AI，機器就可以使用關(guān)于世界如何運作的硬編碼規(guī)則進行推理，比如說這個世界涵蓋了離散目標，而這些離散目標又彼此以各種方式相互關(guān)聯(lián)。
一些研究人員，例如紐約大學(xué)的心理學(xué)家 Gary Marcus 認為，混合 AI 模型才是深度學(xué)習(xí)未來發(fā)展的方向?！吧疃葘W(xué)習(xí)在短期內(nèi)是如此有用，以至于人們對它的長期發(fā)展視而不見。”長期以來對當前深度學(xué)習(xí)方法持批判態(tài)度的 Marcus 如是說道。今年 5 月，他在加利福尼亞州帕洛阿爾托與人共同創(chuàng)立了一家名為 Robust AI 的初創(chuàng)公司，旨在將深度學(xué)習(xí)與基于規(guī)則的 AI 技術(shù)相結(jié)合，以開發(fā)可以與人協(xié)同安全操作的機器人。公司目前開展的確切工作內(nèi)容仍處于秘密狀態(tài)。
即使可以將規(guī)則嵌入到DNN中，它們的表現(xiàn)也仍然只能達到與它們學(xué)習(xí)的數(shù)據(jù)一樣好的程度。Bengio說，AI 智能體需要在可進行探索的更加豐富的環(huán)境中學(xué)習(xí)。例如，大多數(shù)計算機視覺系統(tǒng)無法識別一罐啤酒是圓柱形的，這是因為它們是在 2D 圖像的數(shù)據(jù)集上進行訓(xùn)練的。這就是 Nguyen 及其同事發(fā)現(xiàn)“通過從不同角度呈現(xiàn)熟悉的目標來愚弄 DNN ”如此簡單的原因。而讓智能體在真實或模擬的3D環(huán)境中學(xué)習(xí)，會對提高它們的表現(xiàn)有所幫助。
但是，AI 學(xué)習(xí)的方式也需要改變。Bengio 就曾提出：“ 學(xué)習(xí)因果關(guān)系這件事，應(yīng)該由能夠在現(xiàn)實世界執(zhí)行任務(wù)以及可進行試驗和探索的智能體來做?！?/p>
另一位深度學(xué)習(xí)的先驅(qū)、位于瑞士曼諾市的 DalleMolle 人工智能研究所的 JürgenSchmidhuber 的思路也類似。他指出，模式識別非常強大——強大到足以使阿里巴巴、騰訊、亞馬遜、Facebook和Google等公司成為世界上最有價值的公司。他還說道：“但還將有更大的浪潮到來，那就是將會出現(xiàn)能夠操控這個世界并且能夠通過其自身行為創(chuàng)造它們自己的數(shù)據(jù)的機器?！?/p>
從某種意義上說，使用強化學(xué)習(xí)擊敗電腦游戲的 AI 也已經(jīng)在人工環(huán)境中做到了：通過試驗和試錯，它們以允許的方式操縱屏幕上的像素，直到達到目標為止。但是實際環(huán)境比當下訓(xùn)練大多數(shù)DNN 所依據(jù)的模擬或策展數(shù)據(jù)集要豐富得多。
在加州大學(xué)伯克利分校的一個實驗室里，一條機械臂在混亂中翻騰。它拿起一個紅色的碗，并用它在右邊幾厘米處輕推一個藍色的烤箱手套。隨后，它放下碗拿起一個空的塑料噴霧瓶。再然后它摸索了一本平裝書的重量和形狀。經(jīng)過幾天的不間斷篩選，機器人開始對這些陌生物體以及它們可以做什么有了一定了解。
機器人手臂正在使用深度學(xué)習(xí)來自學(xué)使用工具。給定一系列物體，它會撿起并輪流觀察每個物體，看看當它們四處移動并用一個物體撞擊另一個物體時會發(fā)生什么。
機器人使用深度學(xué)習(xí)來探索如何使用3D工具。圖片來源：AnnieXie
當研究人員給機器人一個目標（例如，給它展示一個幾乎空的托盤的圖像并指定機器人布置與該狀態(tài)匹配的物體）時，它即興發(fā)揮，并且可以處理以前從未見過的物體，例如使用海綿擦拭桌子上的物品。它還發(fā)現(xiàn)，使用塑料水瓶清理物體的方法比直接撿起這些物體要快得多。“與其他機器學(xué)習(xí)技術(shù)相比，深度學(xué)習(xí)能夠?qū)崿F(xiàn)的通用性持續(xù)給我留下深刻的印象，”曾在伯克利實驗室工作的Chelsea Finn 說道，現(xiàn)在他正在加利福尼亞州斯坦福大學(xué)繼續(xù)進行這項研究。
Finn 還認為，這種學(xué)習(xí)使 AI對于物體和整個世界有更豐富的理解。如果你僅在照片中看到過水瓶或海綿，則也許可以在其他圖像中認出它們。但是你不會真正理解它們是什么以及它們應(yīng)該用來做什么。她說：“如果沒有真正與這些物體進行互動，你對世界的了解要淺得多?！?/p>
但是，這種學(xué)習(xí)是一個緩慢的過程。在模擬環(huán)境中，AI 可以以閃電般的速度完成某個示例任務(wù)。2017年，DeepMind 旗下自學(xué)游戲軟件的最新版本——AlphaZero 在短短一天內(nèi)先后被訓(xùn)練成一個圍棋、國際象棋和將棋（一種日本象棋）的超人類玩家。在那段時間，它已經(jīng)在每場游戲比賽接受了超過 2000萬次訓(xùn)練。
AI 機器人無法快速學(xué)習(xí)。加利福尼亞州伯克利的 AI 機器人技術(shù)公司 Ambidextrous 的聯(lián)合創(chuàng)始人 JeffMahler 指出，深度學(xué)習(xí)所獲得了多數(shù)成功很大程度上都依賴于大量的數(shù)據(jù)?！皢蝹€機器人要想收集數(shù)千萬個數(shù)據(jù)點，即便連續(xù)執(zhí)行任務(wù)也需要花費數(shù)年的時間。” 此外，數(shù)據(jù)可能會不可靠，因為傳感器的標定會隨著時間而變化，并且硬件可能會退化。
因此，大多數(shù)涉及深度學(xué)習(xí)的機器人工作仍使用模擬環(huán)境來加快訓(xùn)練速度?！皺C器人究竟能學(xué)到什么依賴于模擬器的性能，”亞特蘭大喬治亞理工學(xué)院機器人學(xué)博士生DavidKent 說。模擬器的性能一直在提高，與此同時研究人員也越來越擅長讓機器人將在虛擬世界中學(xué)到的經(jīng)驗遷移到現(xiàn)實世界中。但是，這種模擬仍然無法滿足現(xiàn)實世界的復(fù)雜性。
Finn 認為，與使用人工數(shù)據(jù)進行學(xué)習(xí)相比，使用機器人進行學(xué)習(xí)最終更容易實現(xiàn)規(guī)?；?。她的一臺能夠使用工具的機器人花了幾天時間來學(xué)習(xí)一個相對簡單的任務(wù)，但不需要繁瑣的監(jiān)控。她說：“你只需要運行機器人，然后偶爾檢查一次即可?！彼胂笾幸惶欤澜缟蠒霈F(xiàn)很多能夠自行完成任務(wù)并進行全天候?qū)W習(xí)的機器人。這應(yīng)該是可能的——畢竟，這也是人類理解這個世界的方式。Schmidhuber 說：“嬰兒不會通過從 Facebook下載數(shù)據(jù)來進行學(xué)習(xí)?！?/p>
嬰兒也可以從僅僅幾個數(shù)據(jù)點中識別出新的樣本：即使他們以前從未見過長頸鹿，但在看過一次或兩次之后，他們?nèi)阅軌蛘J出這就是他們剛剛看過的物體。嬰兒之所以能夠迅速做出反應(yīng)，部分原因是因為他們看過許多其他生物，即使（看到的）不是長頸鹿，也已經(jīng)熟悉了它們的主要特征。
授予 AI 這類能力的一個統(tǒng)稱術(shù)語是遷移學(xué)習(xí)，即將前幾輪訓(xùn)練中獲得的知識遷移到另一項任務(wù)。一種實現(xiàn)的方法是在訓(xùn)練新任務(wù)時，重復(fù)使用部分或全部預(yù)訓(xùn)練的網(wǎng)絡(luò)作為起點。例如，在識別長頸鹿的學(xué)習(xí)過程中，重復(fù)使用訓(xùn)練過的部分DNN來識別一種動物，例如識別基本身體形狀的那些層，從而在學(xué)習(xí)識別長頸鹿時，為新的網(wǎng)絡(luò)提供邊緣特征。
遷移學(xué)習(xí)的一種極端形式是通過僅使用很少甚至有時候僅為一個的樣本來訓(xùn)練新網(wǎng)絡(luò)。這被稱為“小樣本學(xué)習(xí)”或”多次學(xué)習(xí)”，它嚴重依賴于預(yù)訓(xùn)練的DNN。
假設(shè)你想要創(chuàng)建一個面部識別系統(tǒng)來識別罪犯數(shù)據(jù)庫中的人，一種快速的方法是使用已經(jīng)看到過數(shù)百萬張面孔（不一定是數(shù)據(jù)庫中的面孔）的DNN，以便它對一些顯著特征，如鼻子和下巴的形狀，有一個很好的了解。現(xiàn)在，當網(wǎng)絡(luò)僅查看一張新面孔的樣本時，它可以從該圖像中提取有用的特征集。然后，它可以比較該特征集與罪犯數(shù)據(jù)庫中單個圖像特征集的相似程度，并找到最接近的匹配項。
擁有利用這種經(jīng)過預(yù)訓(xùn)練的記憶可以幫助 AI 在無需查看很多額外的新模式來識別新樣本，從而加快機器人的學(xué)習(xí)速度。但是，當此類DNN面臨與其經(jīng)驗相距太遠的樣本時，仍然可能會無所適從。目前關(guān)于這些網(wǎng)絡(luò)擁有怎樣的泛化能力，尚未明晰。
即使是最成功的 AI 系統(tǒng)，例如 DeepMind 的AlphaZero，其專業(yè)領(lǐng)域也非常狹窄。雖然可以訓(xùn)練AlphaZero的算法來下圍棋和國際象棋，但兩個訓(xùn)練是不能同時進行的。需要利用之前在圍棋上的經(jīng)驗對模型的關(guān)聯(lián)性和反應(yīng)能力重新訓(xùn)練，從而能夠利用此前在圍棋上積累的經(jīng)驗在國際象棋上取勝。Finn說：“如果你從人的角度來考慮問題，就會覺得這太荒謬了?！比藗儾粫p易忘記自己所學(xué)到的東西。
AlphaZero 在游戲中的成功不僅取決于有效的強化學(xué)習(xí)，還依賴于幫助其學(xué)習(xí)的算法（使用一種稱為“蒙特卡洛樹搜索”技術(shù)的變體），以縮小選擇范圍[10]。 換句話說，就是指導(dǎo) AI 以最佳方法從其周圍的環(huán)境中學(xué)習(xí)。Chollet 認為，人工智能接下來重要的一步將是使DNN 擁有能夠編寫自己的此類算法的能力，而不是使用人類提供的代碼。
他認為，用推理能力補充基本的模式匹配將讓 AI 更好地處理超出其舒適范圍的輸入。多年來，計算機科學(xué)家一直在研究可以使計算機自動生成代碼的綜合程序。Chollet 認為，將該領(lǐng)域與深度學(xué)習(xí)相結(jié)合可能會導(dǎo)致 DNN 系統(tǒng)更接近人類所用的抽象心理模型。
例如，在機器人技術(shù)方面，位于加利福尼亞州門洛帕克 Facebook 人工智能研究所的計算機科學(xué)家 KristenGrauman 和得克薩斯州奧斯汀的德州大學(xué)研究人員都正在教機器人如何最佳地自行探索新環(huán)境。例如，這可能涉及到機器人在遇到一個新場景時選擇該往哪個方向看以及選擇用哪種方法來操作這個物體從而更好地理解這個物體的形狀或用途。這一思路是，讓 AI 預(yù)測出：哪個新的視角或角度將能給予它更多可以從中學(xué)習(xí)的有效的新數(shù)據(jù)。
該領(lǐng)域的研究人員表示，他們在解決深度學(xué)習(xí)的缺陷方面，正在取得進展，但也承認他們?nèi)栽趯で笮录夹g(shù)以減輕該過程的艱巨性。正如 Dawn Song 所說的，深度學(xué)習(xí)背后沒有太多理論支撐，深度學(xué)習(xí)背后沒有太多理論。她說：“一旦失效，便很難找出原因” “整個領(lǐng)域仍然非常依賴經(jīng)驗來進行指導(dǎo)，你要做的只是去嘗試一下?！?/p>
目前，盡管科學(xué)家認識到DNN的脆弱性及其對大量數(shù)據(jù)的依賴性，但是大多數(shù)人還是認為該技術(shù)將繼續(xù)存在。近十年來，人們意識到訓(xùn)練神經(jīng)網(wǎng)絡(luò)利用龐大的計算資源可以很好地進行模式識別，這仍然是讓人們覺得出乎意料的。然而也正如 Clune 所說的： “沒有人真正知道如何改善它。”。
參考文獻
[1] Eykholt, K. et al. IEEE/CVF Conf. Comp. Vision Pattern Recog. 2018, 1625–1634 (2018)
[2] Finlayson, S. G. et al. Science 363, 1287–1289 (2019)
[3] Elsayed, G.F., Goodfellow, I.&Sohl-Dickstein, J. Preprint at https://arxiv.org/abs/1806.11146 (2018)
[4] Szegedy, C. et al. Preprint at https://arxiv.org/abs/1312.6199v1(2013)
[5] Nguyen, A., Yosinski, J. & Clune, J. IEEE Conf. Comp. Vision Pattern Recog. 2015, 427–436 (2015)
[6] Alcorn, M. A. et al. IEEE Conf. Comp. Vision Pattern Recog. 2019, 4845–4854 (2019)
[7] Hendrycks, D., Zhao, K., Basart, S., Steinhardt, J. & Song, D. Preprint at https://arxiv.org/abs/1907.07174 (2019).
[8] Huang, S., Papernot, N., Goodfellow, I., Duan, Y. &Abbeel, P. Preprint at https://arxiv.org/abs/1702.02284 (2017)
[9] Gleave, A. et al. Preprintat https://arxiv.org/abs/1905.10615(2019)
[10] Silver, D. et al. Science 362, 1140–1144 (2018)
via https://www.nature.com/articles/d41586-019-03013-5
雷鋒網(wǎng) AI 科技評論編譯。 雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
