【編者按】本文來自CSDN翻譯文章。在解決視覺、聽覺問題方面表現(xiàn)出色的深度學習系統(tǒng)中，分類器和特征模塊都是自動學習的，神經(jīng)網(wǎng)絡可解釋性問題就成了一個灰色區(qū)域，思考這個問題對神經(jīng)網(wǎng)絡效率的保證是有必要的。在這篇博客文章中，機器學習PhD、軟件架構師Adnan Masood針對這個問題進行了多方面的反思。

深度學習的成就

在昨天與軟件架構師David Lazar關于“how everything old is new again”的討論中，我們討論到了關于深度神經(jīng)網(wǎng)絡及其優(yōu)越效果方面的話題。

一個人如果不是與世隔絕5年，那么他一定會發(fā)現(xiàn)我們人類在人工神經(jīng)網(wǎng)絡（ANN）方面已經(jīng)取得了顯著的成就。由于走出了人工智能的冬天（AI winter），在解決各種問題方面，人工智能已經(jīng)有了顯著成效并且發(fā)展成為一種不可或缺的技術。

從過去對人工神經(jīng)網(wǎng)絡的有趣猜測到現(xiàn)在使用ConvNets和谷歌翻譯將深度學習濃縮到一部手機中，這其中取得了重大進展。我們已經(jīng)見識到了Inceptionism（谷歌的人工神經(jīng)網(wǎng)絡）帶來的夢幻般的景象，在圖像分類和語音識別上使用調校好的網(wǎng)絡參數(shù)，我們可以對神經(jīng)網(wǎng)絡有更深層次的理解。相比使用非監(jiān)督式特征學習經(jīng)典模型將自然圖像轉換成可讀數(shù)字輸入，深度神經(jīng)網(wǎng)絡在圖像識別方面表現(xiàn)的更加出色。現(xiàn)在，我們已經(jīng)在MNIST、深度卷積神經(jīng)網(wǎng)絡圖像分類和有效利用深度神經(jīng)網(wǎng)絡進行對象檢測方面取得了卓越成就。

谷歌的Otavio Good說的很好：

五年前，如果你向計算機中輸入一張貓或者狗的圖片，它分辨不出這張圖片是貓還是狗。多虧了卷積神經(jīng)網(wǎng)絡，計算機不僅能夠分辨貓和狗之間的區(qū)別，還能夠識別不同品種的狗。

Geoffrey Hinton等人指出：

2010年最好的系統(tǒng)在第一次選擇時，錯誤率高達47%，在前五次選擇中，錯誤率有25%。一個深度神經(jīng)網(wǎng)絡（Krizhevsky等）在第一次選擇中可以得到低于40%的錯誤率，在前五次選擇中則低于20%。

Courtesy: XKCD

深度學習的可解釋性問題

那么，經(jīng)過這番大張旗鼓地介紹，深度神經(jīng)網(wǎng)絡在什么方面可能出問題？

在深度學習系統(tǒng)中，分類器和特征模塊都是自動學習的，神經(jīng)網(wǎng)絡就有了一個灰色區(qū)域：可解釋性問題（explain-ability problem）。

可解釋性和確定性在機器學習系統(tǒng)方面是一個寬泛的話題，但在神經(jīng)網(wǎng)絡中，當你看到Unreasonable Effectiveness of Recurrent Neural Networks （遞歸神經(jīng)網(wǎng)絡的不合理的有效性）的時候，它們就不是那么寬泛了。

停下來思考它為什么起作用是很重要的，它是否足夠好，可以通過網(wǎng)絡的啟發(fā)式方法來窺探到黑盒內部，又或者是通過大規(guī)模非監(jiān)督式學習得到的高層次特征訓練出的神經(jīng)網(wǎng)絡，是如何抽象出“貓”這個概念的？如果我們可以在高維度空間的網(wǎng)絡中得出文字嵌入的方法，然后為機器翻譯提供語言間的相似性，它會形成一個“灰盒”嗎？這種非確定性的本質是棘手的；在你如何選擇初始化參數(shù)，比如為梯度下降算法選擇起始點來訓練反向傳播的時候，了解非確定性的本質是至關重要的。那么可維持性（retain-ability）又如何呢？至少可以說，不通透性（imperviousness）使得分析解決問題更困難。

你可能沒注意到，我努力使這篇科普文章不那么危言聳聽，不過我將從下面這幾個方面講起。

解釋性和神經(jīng)網(wǎng)絡固有的透明性缺少相關性（研究界因為“它能正確工作”而對相關性感到自滿）。我對黑盒智能的想法可能會引出更深層次的問題，這些問題是由Gates、Hawking和Musk提出來的。我可能是第一個指出，這可能是導致世界末日技術缺點的延伸或一般化，并且我們可能可以解密這些信息以驅除人們的恐懼。但是，我的基本原則是，如果技術是不可解釋的，并且加上如今增長的機器學習技術，那些意想不到的結果是不容忽視的。

強人工智能和弱人工智能的組合，加大了對解釋性的關注。無可否認，設法了解神經(jīng)網(wǎng)絡在那些層的函數(shù)中具體在做什么是一大挑戰(zhàn)。一個樂觀的場景是，一個網(wǎng)絡訓練良好，并且多次給我們帶來高質量的結果。但是，試圖理解底層是如何做到的還一直困擾著我們。更讓人擔憂的是，如果網(wǎng)絡失敗了，那么很難理解是到底是哪里出錯了。我們真的可以擺脫那些對人工智能危險感到恐懼而持懷疑態(tài)度的人嗎？

正如比爾蓋茨所說的那樣（實際上是反駁埃里克·霍維茨的立場）

我很關心超級智能的發(fā)展。最開始機器可以為我們完成許多任務，而且它們也不是超級智能。如果我們管理得當，那么可以得到良好效果。幾十年后，智能強大到足以引起人們的關注。我同意Elon Musk等人在這方面的看法，而且我也不明白為什么有的人對此并不關注。

像神經(jīng)網(wǎng)絡這種具有非確定性本質的技術，會給理解分類器置信度帶來更大的關注嗎？神經(jīng)網(wǎng)絡在何時收斂并不清楚，但是對于SVM而言，驗證何時收斂就顯得微不足道了。將沒有文檔的函數(shù)描述成黑盒在本質上可能就是一個有缺陷的想法。如果我們將這種想法作為生物的思維過程，有了信號和相應的訓練行為，我們可以得到基于訓練數(shù)據(jù)的期望結果，這些期望結果將作為一個觀察器。然而，在非識別模型中，由神經(jīng)網(wǎng)絡提供的近似值對所有意圖來說都是令人費解的。

我認為對人工智能和機器學習有著深刻理解的人會擔心“天網(wǎng)”的出現(xiàn)，關于這點，吳恩達糾正道：

擔心殺人機器的出現(xiàn)就像是擔心火星人口過多。

這些擔憂都與“但是它能工作啊”的想法分不開，即如果適合我那我就坐下（If-It-fits-I-sits ，下面貓的圖片形象解釋了這句話）。

與自駕車、出租車、快遞員以及就業(yè)相關的社會學挑戰(zhàn)都是是真實的，但是這些都只是監(jiān)管問題。了解神經(jīng)網(wǎng)絡解釋性的關鍵在于技術的核心部分以及我們對核心部分的理解。斯坦福大學的Katie Malone在“神經(jīng)網(wǎng)絡中的線性分離”的講話中說的很好。

雖然這聽起來好像我們希望在沒有人工干預的自動機器不允許進行某些任務的情況下發(fā)揮指揮作用，就好像Hawking、Musk和Wozniak想要禁止自動武器和敦促AI專家設計安全的系統(tǒng)，我們對黑盒方法的依賴可能只是一廂情愿。正如斯蒂芬·霍金所說：

我們已經(jīng)有的最原始的人工智能是非常有用的。但我認為全人工智能的發(fā)展可能會毀滅全人類。一旦人類發(fā)明這種人工智能，它將會以前所未有的速度重新設計自己來提升性能。而人類，受到緩慢進化的限制，無法與之抗衡而將被取代。

我們可以這么說，因為我們無法完全理解一項新技術，因此我會產(chǎn)生（變化帶來的）恐懼，但是隨著逐步研究，我們將會慢慢適應。對于非黑盒模型或可解釋模型，如回歸（封閉式逼近）和決策樹/信念網(wǎng)絡（確定性和概率信念圖形表示），我們有著良好的理解。如今我們知道，神經(jīng)網(wǎng)絡中微小的改變都會對結果帶來巨大的變化，正如“Intriguing” properties of neural networks中所說。在這篇論文中，作者證明了微小的改變可以引發(fā)更大的問題。

我們發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡學習輸入輸出映射關系是相當不連續(xù)的。我們可以通過加入一些幾乎不可觀察的微擾讓網(wǎng)絡錯誤分類一張圖像，這是通過最大化網(wǎng)絡預測誤差發(fā)現(xiàn)的。我們發(fā)現(xiàn)，神經(jīng)網(wǎng)絡與各個語義單位和間斷點有著相對立的屬性。這種對抗性的負面性質似乎與網(wǎng)絡達到高泛化性能的能力相矛盾。確實如此，如果一個網(wǎng)絡的泛化能力優(yōu)越，它為什么還會出現(xiàn)這種對抗的負面性質，而且在常規(guī)例子中還難以分辨？對此問題可能的解釋是，這種對抗性的負面性質出現(xiàn)的概率極低。但是，我們不知道這種對抗性的負面性質多久會出現(xiàn)。

我們要清楚的是，在討論人工神經(jīng)網(wǎng)絡的黑盒特性時，我們討論的不是單感知器只能用于學習線性可分模式的問題（Minsky等人，69年）。我們都知道，XOR方法不能在單層網(wǎng)絡上使用，但是在多層感知器（MLP）上并非如此。卷積神經(jīng)網(wǎng)絡（CNN）就是最好的證明；受生物學的靈感而產(chǎn)生的多層感知器有著明確的假設，即帶有圖像的輸入數(shù)據(jù)可以得到確定的屬性，這些屬性可以嵌入到感知器架構中。問題的關鍵是針對一種快速適應的技術，它有著黑盒的性質，有更大的計算負擔，固有的非確定性，以及過度擬合并傾向于比其他技術表現(xiàn)得“更好”。以非懷疑論者的態(tài)度來復述Jitendra Malik的話，沒有理由認為多層隨機森林或SVM不能達到相同的結果。在AI冬天的時候我們遺棄了人工神經(jīng)網(wǎng)絡，我們在其他技術方面是否又在重蹈覆轍呢？

最近Elon Musk發(fā)表推文說：

Bostrom的超級智能值得一讀。我們必須對AI十分謹慎。它的潛在危害比核武器更可怕。

雖然現(xiàn)在情況并不是那么糟糕，讓我們以下面這段話來結束此文，引自IEEE spectrum的Michael Jordan。

有些時候，那些成果的確代表了進步。特別是在深度學習方面，這在很大程度上是80年代神經(jīng)網(wǎng)絡的代名詞。而如今，主要成就是卷積神經(jīng)網(wǎng)絡，但是這種構想在前期技術中早已出現(xiàn)。而且其中一個問題是人們不斷推斷某些包含神經(jīng)科學的知識在背后支撐著這些技術，而人們對大腦如何處理信息、學習、決策和組織大量數(shù)據(jù)的理解，奠定了深度學習基礎。這種想法明顯是錯誤的。

這又給我們留下了一個根本問題，模仿生物神經(jīng)網(wǎng)絡的網(wǎng)絡是否真的是一個模擬只能的好方法？或者是Noam Chomsky關于人工智能的看法在哪里出錯了嗎？

我們以后再討論這個話題。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。