3
雷鋒網(wǎng) AI 科技評論按：我們經(jīng)常見到介紹計算機(jī)視覺領(lǐng)域的深度學(xué)習(xí)新進(jìn)展的文章，不過針對深度學(xué)習(xí)本身的研究經(jīng)常告訴我們：深度學(xué)習(xí)并不是那個最終的解決方案，它有許多問題等待我們克服。
曾經(jīng)在 UCLA 任教，如今來到約翰霍普金斯大學(xué)的認(rèn)知科學(xué)與計算機(jī)科學(xué)教授 Alan L. Yuille 撰寫了一篇學(xué)術(shù)報告（arxiv.org/abs/1805.04025）分析總結(jié)了他眼中深度學(xué)習(xí)在計算機(jī)視覺領(lǐng)域的優(yōu)勢和不足，也介紹了自己認(rèn)為有潛力的解決辦法。經(jīng)過近期的一次修訂之后，他也在 thegradient.pub 上發(fā)表了這篇論文的通俗介紹文章《The Limitations of Deep Learning for Vision and How We Might Fix Them》（視覺深度學(xué)習(xí)有哪些限制，我們要如何克服它們）。雷鋒網(wǎng) AI 科技評論全文翻譯如下。
如今的深度學(xué)習(xí)熱潮已經(jīng)是第三次來臨了。上世紀(jì) 50 年代和 80 年代的兩次 AI 熱潮雖然也產(chǎn)生了不小的熱度，但很快就歸于冷清，因為那時的神經(jīng)網(wǎng)絡(luò)既無法帶來多少性能提升，也沒能幫助我們增加對生物視覺系統(tǒng)的理解。2010 年之后愈演愈烈的這次新浪潮就不一樣了，如今的神經(jīng)網(wǎng)絡(luò)在各種各樣的 bechmark 中都取得了前所未有的成績，也在真實世界中得到了不少應(yīng)用。其實我們現(xiàn)在在深度學(xué)習(xí)中用到的許多基礎(chǔ)思路在第二次浪潮中就已經(jīng)出現(xiàn)了，不過，也只有到了第三波浪潮中出現(xiàn)了大規(guī)模數(shù)據(jù)集、高性能計算設(shè)備（GPU）之后，它們的威力才得以發(fā)揮出來。
神經(jīng)網(wǎng)絡(luò)的起起落落也反應(yīng)了人類對智慧的研究、以及熱門的學(xué)習(xí)算法的不斷變化。在第二次浪潮中，我們見證了傳統(tǒng) AI 如何夸下?？?、又如何交不出及格的答卷。1980 年代的第二次寒冬就這樣來了。這次寒冬中我們也見證了 SVM、核方法等機(jī)器學(xué)習(xí)方法的興起。如今我們會稱贊那些在寒冬中不顧反對之聲一直堅持研究神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)的研究人員們，但走向另一個極端的是，當(dāng)年很難發(fā)表一篇關(guān)于神經(jīng)網(wǎng)絡(luò)的論文，如何則很難發(fā)表一篇不是關(guān)于神經(jīng)網(wǎng)絡(luò)的論文。這并不是什么好的發(fā)展方式。如果研究者們能夠積極探索各種不同的方法和技術(shù)，而不是一窩蜂地涌入深度學(xué)習(xí)的話，也許整個 AI 領(lǐng)域可以進(jìn)步得更快一些。而且還有一件事令人擔(dān)心，如今的 AI 課程有不少已經(jīng)完全省略了舊時代的 AI 技術(shù)，僅僅關(guān)注當(dāng)前趨勢的走向。
直到 2011 年 AlexNet 在 ImageNet 上帶來跨越式的表現(xiàn)提升之前，計算機(jī)視覺研究領(lǐng)域都對深度學(xué)習(xí)抱著懷疑的態(tài)度。這之后，深度學(xué)習(xí)越來越成為圖像分類、物體檢測等許多任務(wù)中的標(biāo)準(zhǔn)工具，研究人員們提出的各種網(wǎng)絡(luò)架構(gòu)和建模、訓(xùn)練技巧也讓深度學(xué)習(xí)的表現(xiàn)越來越好。
相比于圖像分類，物體檢測任務(wù)針對的圖像通常含有一個或更多的物體，背景也更大。用于解決目標(biāo)識別任務(wù)的神經(jīng)網(wǎng)絡(luò)通常會分為兩個階段工作，第一個階段會為物體位置和大小選出一些候選邊界框，然后在第二階段中挑選出正確地包含了物體的邊界框并進(jìn)行分類。在 ImageNet 出現(xiàn)之前，這項任務(wù)上表現(xiàn)最佳的方法是 PASCAL 物體檢測競賽中的 Deformable Part Models，它也是那時候主流的物體檢測和圖像分類算法。在各種其他計算機(jī)視覺任務(wù)中，不同架構(gòu)的深度學(xué)習(xí)模型也分別帶來了大規(guī)模的表現(xiàn)提升。
但是，即便深度學(xué)習(xí)相比于以往的方法有很大優(yōu)勢，它也并不是一種通用的解決方案。在這里，我們重點(diǎn)分析它面對的三方面的限制。
首先，深度學(xué)習(xí)絕大多數(shù)時候都需要大量標(biāo)注數(shù)據(jù)。這種方法本身的偏向性也就使得研究人員們更多研究的是那些「有充足數(shù)據(jù)的、獲取標(biāo)注很容易的任務(wù)」，而不是「真正重要的任務(wù)」。
目前我們也確實有一些方法可以降低對監(jiān)督的需求，比如遷移學(xué)習(xí)、小樣本學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)等等。但目前為止，這些方法的表現(xiàn)并不如監(jiān)督學(xué)習(xí)那樣令人滿意。
其次，深度學(xué)習(xí)在研究人員們構(gòu)建的評價數(shù)據(jù)集上表現(xiàn)良好，但對于數(shù)據(jù)集之外的真實世界圖像可能會表現(xiàn)得非常糟糕。所有的數(shù)據(jù)集都有偏向，早期的視覺數(shù)據(jù)中的偏向尤其明顯，研究人員們也很快就學(xué)會了如何利用這些偏向（比如在 Caltech101 數(shù)據(jù)集中檢測「魚」就很簡單，因為只有這一類物體的背景是水，這種情境偏向就可以被利用起來）。隨著數(shù)據(jù)集變得更大、深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)越來越好，這些問題如今稍有緩解，但仍然不容樂觀。比如下圖中，在 ImageNet 上訓(xùn)練一個能夠檢測沙發(fā)的模型，如果展示給它的圖像的視角是 ImageNet 中很少出現(xiàn)的，那么它就不一定能檢測出圖中的沙發(fā)。更具體地說，深度神經(jīng)網(wǎng)絡(luò)的偏向是對于數(shù)據(jù)集中很少出現(xiàn)的情況會表現(xiàn)很糟糕。然而在真實世界應(yīng)用中，這種偏向尤其可能帶來很多問題，在某些情況下如果視覺系統(tǒng)出現(xiàn)失效可能會帶來嚴(yán)重的后果。舉個例子，用來訓(xùn)練自動駕駛汽車的數(shù)據(jù)集從來就不會包含路面上坐著一個嬰兒的狀況。
第三，深度學(xué)習(xí)對于圖像中的變化過于敏感，人類則難以被欺騙得多。我們不僅已經(jīng)知道標(biāo)準(zhǔn)的對抗性攻擊可以對圖像做出人類無法感知的微小改變，但可以讓深度神經(jīng)網(wǎng)絡(luò)的識別結(jié)果發(fā)生徹底的變化，同時神經(jīng)網(wǎng)絡(luò)還對背景環(huán)境的變化過于敏感。下圖中，研究人眼們把不同的物體拼貼到一張森林中的猴子的照片上。這會讓深度神經(jīng)網(wǎng)絡(luò)把猴子誤識別為人，同時也把吉他誤識別為鳥，我們猜測這大概是因為「拿著吉他的更有可能是人類而不是猴子」以及「樹林中的猴子周圍更有可能出現(xiàn)一只鳥而不是吉他」。深度神經(jīng)網(wǎng)絡(luò)記憶相關(guān)性的能力在此時反倒成了累贅。近期有許多研究都挖掘了深度神經(jīng)網(wǎng)絡(luò)對于背景環(huán)境變化過于敏感的問題。
這種敏感問題也可以歸因到數(shù)據(jù)集的大小上。對于每種物體，它在數(shù)據(jù)集中出現(xiàn)的時候?qū)?yīng)的背景也就只有很少的幾種，所以神經(jīng)網(wǎng)絡(luò)會對它們有所偏向。比如人們發(fā)現(xiàn)，早期的圖像轉(zhuǎn)文字?jǐn)?shù)據(jù)集中長頸鹿總是和樹一起出現(xiàn)，用這樣的數(shù)據(jù)集訓(xùn)練出的模型就無法識別單獨(dú)出現(xiàn)的長頸鹿，即便它在圖像中占據(jù)主體位置也不行。
但是我們畢竟沒有能力把各種各樣的背景環(huán)境收集齊全，對模型表現(xiàn)有影響的因素除了這個也還有很多別的，所以深度神經(jīng)網(wǎng)絡(luò)這樣的數(shù)據(jù)驅(qū)動的方法就面臨了不小的問題。想全面改善模型在這些方面的表現(xiàn)需要大得驚人的數(shù)據(jù)集，這又為構(gòu)建訓(xùn)練和測試數(shù)據(jù)集帶來了很多挑戰(zhàn)。下文我們還會聊到這個問題。
組合爆炸
雖然上面提到的幾個問題都還不至于否定了深度學(xué)習(xí)的成功，但我們認(rèn)為這些都是存在問題的早期警示信號。具體來說，真實世界的圖像是無數(shù)多種物體在無數(shù)多種背景環(huán)境中的組合，所以不管多大的數(shù)據(jù)集都無法完全代表真實世界的復(fù)雜性。
相比于人類天然地就對視覺環(huán)境的變化有高度的適應(yīng)性，深度神經(jīng)網(wǎng)絡(luò)要敏感脆弱得多、對錯誤的容忍度要低得多，就像上面猴子的那張圖表明的。值得說明的是，不同物體和不同環(huán)境的各種組合在有一些視覺任務(wù)中并不會出現(xiàn)，比如醫(yī)療圖像應(yīng)用，背景環(huán)境的變化要小得多（比如胰腺總是在十二指腸的附近），這時深度神經(jīng)網(wǎng)絡(luò)就可以發(fā)揮出十分優(yōu)異的表現(xiàn)。但是對于許多真實世界應(yīng)用來說，沒有隨著變量數(shù)據(jù)而指數(shù)級增加的數(shù)據(jù)集，就沒辦法捕捉到真實世界的復(fù)雜性。
這種狀況會帶來很大的挑戰(zhàn)，因為「在有限數(shù)量的隨機(jī)樣本上進(jìn)行訓(xùn)練和測試」的標(biāo)準(zhǔn)范式會變得不夠?qū)嵱?，因為樣本?shù)量永遠(yuǎn)不夠大、永遠(yuǎn)無法完全代表數(shù)據(jù)的內(nèi)在分布狀況。
這迫使我們思考這兩個問題：
我們?nèi)绾卧跇颖緮?shù)量有限的數(shù)據(jù)集上訓(xùn)練算法，以便讓它們在（假想）能夠完全捕捉真實世界復(fù)雜度的無限大數(shù)據(jù)集上也能發(fā)揮出好的表現(xiàn)；
如果我們手中只有有限的數(shù)據(jù)集，我們要如何高效地測試這些算法才能確保它們在無限大數(shù)據(jù)集上也有好的表現(xiàn)
目前形式的數(shù)據(jù)驅(qū)動方法，比如深度神經(jīng)網(wǎng)絡(luò)，可能永遠(yuǎn)也無法完善解決組合爆炸的問題。下面我們列出一些別的有潛力的解決方案。
復(fù)合性（Compositionality）
復(fù)合性是一條通用原則，我們可以把它描述為「一種相信世界是可知的信念，我們可以把事物分解、理解它們，然后在意念中自由地重新組合它們」。這其中的關(guān)鍵假設(shè)是，事物都是按照某一套法則從基礎(chǔ)的子結(jié)構(gòu)復(fù)合成更大的結(jié)構(gòu)的。這意味著，我們可以從有限的數(shù)據(jù)中學(xué)習(xí)到子結(jié)構(gòu)和組合法則，然后把它們泛化到復(fù)合性的情境中。
和深度神經(jīng)網(wǎng)絡(luò)不同，復(fù)合性模型需要結(jié)構(gòu)化的表征，其中要顯式地表示出對象的結(jié)構(gòu)和子結(jié)構(gòu)。復(fù)合性模型也就擁有了外推到未曾見過的數(shù)據(jù)，對系統(tǒng)做推理、干涉和診斷，以及對于同樣的知識結(jié)構(gòu)回答不同問題的能力。值得指出的是，雖然深度神經(jīng)網(wǎng)絡(luò)也能捕捉到某種復(fù)合性（比如高級別的特征可以來自地級別特征的相應(yīng)的復(fù)合），但這與這里討論的復(fù)合性不是一回事。
復(fù)合性模型這個概念的優(yōu)點(diǎn)已經(jīng)在一些任務(wù)上得到了初步驗證，比如用同一個模型執(zhí)行多種任務(wù)，以及識別 CAPTCHA 驗證碼；深度神經(jīng)網(wǎng)絡(luò)就無法維持高水平的表現(xiàn)。還有一些非平凡的視覺任務(wù)也表現(xiàn)出了相同的趨勢，比如用深度神經(jīng)網(wǎng)絡(luò)做 IQ 測試就不怎么成功。這項測試的具體內(nèi)容是，9 張圖像組成一個 3x3 的網(wǎng)格，但只給出其中的 8 張，要推測最后一張的內(nèi)容；圖像之間的變化規(guī)律是復(fù)合性的，而且會有干擾。對于神經(jīng)模塊網(wǎng)絡(luò)之類的自然語言模型，由于它們具有動態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)，可以捕捉到一些有意義的組合，就可以在這樣的任務(wù)中擊敗傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。實際上，我們最近也實驗驗證了其中的不同模塊確實能夠在聯(lián)合訓(xùn)練后各自發(fā)揮原本設(shè)計的復(fù)合功能（比如執(zhí)行與、或、過濾操作等等）。
復(fù)合性模型也還有許多理想的理論屬性，比如可解釋，還可以用來生成樣本。這可以讓我們更方便地診斷錯誤，也就比深度神經(jīng)網(wǎng)絡(luò)這樣的黑盒模型更難以被欺騙。但是復(fù)合性模型也很難學(xué)習(xí)，因為它需要同時學(xué)習(xí)基礎(chǔ)結(jié)構(gòu)和復(fù)合方法（但復(fù)合方法的本質(zhì)是什么都還有待討論）。而且，為了能夠以生成的方式進(jìn)行分析，復(fù)合性模型還需要搭配物體和場景的生成式模型。按分類生成圖像到現(xiàn)在都還是一個有難度的課題。
更基礎(chǔ)地，處理組合爆炸的問題還需要學(xué)習(xí)到三維世界事物的常識模型，以及學(xué)會這些模型和圖像的對應(yīng)關(guān)系。對人類嬰兒的研究表明他們的學(xué)習(xí)方式是構(gòu)建能夠預(yù)測他們所在的環(huán)境（包括其中的簡單幾何體）的常識模型。這種常識理解的方式讓他們能夠從有限的數(shù)據(jù)中學(xué)習(xí)，并真正地泛化到全新的環(huán)境中。這就好比是牛頓的萬有引力定律，從一些基本的數(shù)字就可以猜測出引力公式的基本形式，并推廣到太陽系內(nèi)行星的運(yùn)動規(guī)律，不過計算公式中的常數(shù)和精確的運(yùn)動周期還需要大量的數(shù)據(jù)。
在組合性的數(shù)據(jù)上測試
測試視覺算法的一個潛在的挑戰(zhàn)是我們只能在有限的數(shù)據(jù)上測試，即便我們測試的算法是為了解決真實世界中巨大的組合復(fù)雜度而設(shè)計的。博弈論中對這種問題的思考方式是關(guān)注于那些最糟糕的情況解決得如何，而不那么關(guān)注平均難度的狀況解決得如何。正如我們前面談到的，有限數(shù)據(jù)集中的平均難度的結(jié)果意義并不高，尤其是當(dāng)數(shù)據(jù)集無法完全捕捉到問題的組合復(fù)雜性的時候。更為關(guān)注最糟糕的情況當(dāng)然是有一定理由的，比如目標(biāo)是設(shè)計自動駕駛汽車的視覺系統(tǒng)，或者在醫(yī)療圖像中診斷癌癥，失誤都是更容易在復(fù)雜的情況下出現(xiàn)，出現(xiàn)以后也更可能帶來嚴(yán)重的后果。
如果失效模式可以在低維空間中捕捉到，比如可以縮小到只有兩三個因素的影響，我們就可以通過計算機(jī)圖形學(xué)和網(wǎng)格搜索的方法進(jìn)行研究。但是對于多數(shù)視覺任務(wù)，尤其是涉及組合性數(shù)據(jù)的任務(wù)，我們就很難分辨出來一小組影響因素并獨(dú)立地研究它們。一種策略是在標(biāo)準(zhǔn)的對抗性訓(xùn)練的基礎(chǔ)上進(jìn)行拓展，讓它也可以作用于非局部的結(jié)構(gòu)，方法是允許模型對圖像的主要結(jié)構(gòu)、場景做復(fù)雜的操作（比如遮擋、改變圖像中對象的物理屬性），但同時不顯著改變?nèi)祟惖挠^感。把這種方法拓展到視覺算法用來解決組合復(fù)雜度的問題仍然有不小挑戰(zhàn)。不過，如果我們設(shè)計算法的時候心里就注意著復(fù)合性的事情，它們的顯式結(jié)構(gòu)也可以讓我們更方便地進(jìn)行診斷并判斷它們是如何失效的。
2011 年，Aude Oliva 和 Alan Yuille 共同在 MIT 的計算機(jī)視覺前沿研討會上組織了一個美國國家科學(xué)基金會資助的 workshop，他們鼓勵完全開放地表達(dá)意見，尤其是那時候許多人對深度神經(jīng)網(wǎng)絡(luò)的潛力還持有懷疑態(tài)度。Yann LeCun 大膽地預(yù)測所有人都很快就會開始使用深度學(xué)習(xí)；后來證明他是對的。深度神經(jīng)網(wǎng)絡(luò)非常成功，它也幫助計算機(jī)視覺變成了一個熱門的領(lǐng)域，極大地增進(jìn)了學(xué)術(shù)界和工業(yè)界之間的互動，讓計算機(jī)視覺技術(shù)進(jìn)入了許多其他的學(xué)科，還引發(fā)了許多其他重要發(fā)展。
盡管已經(jīng)獲得了這樣的成功，但是在達(dá)到通用人工智能和理解生物視覺系統(tǒng)的目標(biāo)之前，深度學(xué)習(xí)的這條路上還有重大的挑戰(zhàn)等待解決。其他批評深度神經(jīng)網(wǎng)絡(luò)的文章中也表達(dá)了和我們類似的擔(dān)憂。按理說，當(dāng)現(xiàn)在的研究人員們在越來越逼近現(xiàn)實的環(huán)境中嘗試解決越來越復(fù)雜的問題的時候，最重大的挑戰(zhàn)就是如何開發(fā)出能夠應(yīng)對組合爆炸問題的算法。雖然神經(jīng)網(wǎng)絡(luò)很有可能還是那個解決方案的一部分，但我們認(rèn)為我們還需要一些其他的補(bǔ)充方法，包括能夠捕捉數(shù)據(jù)中隱藏的結(jié)構(gòu)的組合性原則和因果模型。更重要的是，面對組合爆炸的問題，我們需要仔細(xì)重新想想如何訓(xùn)練以及評價視覺算法。
原報告全文可見 https://arxiv.org/abs/1805.04025
via thegradient.pub，雷鋒網(wǎng) AI 科技評論編譯
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
