0
| 本文作者： 我在思考中 | 2022-09-27 11:13 |
作者 | Walid S. Saba
編輯 | 陳彩嫻
隨著深度神經(jīng)網(wǎng)絡(luò) (DNN) 用于決定貸款批準(zhǔn)、工作申請(qǐng)、批準(zhǔn)法院保釋等與人們利益息息相關(guān)或者一些生死攸關(guān)的決定（例如在高速公路上突然停車），去解釋這些決定，而不僅僅是產(chǎn)生一個(gè)預(yù)測(cè)分?jǐn)?shù)，是至關(guān)重要的。
可解釋人工智能 (XAI) 的研究最近集中在反事實(shí)（counterfactual）例子的概念上。這個(gè)想法很簡(jiǎn)單：首先制造一些有預(yù)期輸出的反事實(shí)樣例并輸入到原來的網(wǎng)絡(luò)中；然后，讀取隱層單元解釋為什么網(wǎng)絡(luò)會(huì)產(chǎn)生一些其他輸出。更正式地說：
下面則是更加具體的一個(gè)例子：
然而，一篇由Browne 和 Swift提出的論文[1] (以下簡(jiǎn)稱 B&W）最近表明，反事實(shí)示例只是稍微更有意義的對(duì)抗性示例，這些示例是通過對(duì)輸入執(zhí)行小的且不可觀察的擾動(dòng)而產(chǎn)生的，從而導(dǎo)致網(wǎng)絡(luò)對(duì)它們進(jìn)行錯(cuò)誤分類具有很高的自信度。
此外，反事實(shí)的例子「解釋」了一些特征應(yīng)該是什么才能得到正確的預(yù)測(cè)，但「沒有打開黑匣子」；也就是說，沒有解釋算法是如何工作的。文章繼續(xù)爭(zhēng)辯說，反事實(shí)的例子并沒有為可解釋性提供解決方案，并且「沒有語義就沒有解釋」。
事實(shí)上，文章甚至提出了更強(qiáng)有力的建議：
2）承認(rèn)我們失敗。
而Walid S. Saba本人則對(duì)（1）持悲觀態(tài)度，換句話說他遺憾地承認(rèn)我們的失敗，以下是他的理由。
雖然大眾完全同意B&W的觀點(diǎn)，即“沒有語義就沒有解釋”，但解釋深度神經(jīng)網(wǎng)絡(luò)中隱藏層表示的語義為深度學(xué)習(xí)系統(tǒng)產(chǎn)生令人滿意的解釋的希望之所以不能夠?qū)崿F(xiàn)，作者認(rèn)為，原因正是出自三十多年前Fodor 和 Pylyshyn [2]中概述的原因。
Walid S. Saba接著論證到：在解釋問題出在哪里之前，我們需要注意到，純粹的外延模型（例如神經(jīng)網(wǎng)絡(luò)）不能對(duì)系統(tǒng)性（systematicity）和組合性（compositionality）進(jìn)行建模，因?yàn)樗鼈儾怀姓J(rèn)具有可再衍生的句法和相應(yīng)語義的符號(hào)結(jié)構(gòu)。
因此，神經(jīng)網(wǎng)絡(luò)中的表示并不是真正與任何可解釋的事物相對(duì)應(yīng)的“符號(hào)”——而是分布的、相關(guān)的和連續(xù)的數(shù)值，它們本身并不意味著任何可以在概念上解釋的東西。
用更簡(jiǎn)單的術(shù)語來說，神經(jīng)網(wǎng)絡(luò)中的子符號(hào)表示本身并不指代人類在概念上可以理解的任何事物（隱藏單元本身不能代表任何形而上學(xué)意義的對(duì)象）。相反，它是一組隱藏單元，它們通常共同代表一些顯著特征（例如，貓的胡須）。
但這正是神經(jīng)網(wǎng)絡(luò)無法實(shí)現(xiàn)可解釋性的原因，即因?yàn)閹讉€(gè)隱藏特征的組合是不可確定的——一旦組合完成（通過一些線性組合函數(shù)），單個(gè)單元就會(huì)丟失（我們將在下面展示）。
可解釋性是“反向推理”
作者討論過為什么 Fodor 和 Pylyshyn 得出的結(jié)論是 NN 不能對(duì)系統(tǒng)性（因此是可解釋的）推論進(jìn)行建模[2]。
在符號(hào)系統(tǒng)中，有定義明確的組合語義函數(shù)，它們根據(jù)成分的意義計(jì)算復(fù)合詞的意義。但是這種組合是可逆的——
也就是說，人們總是可以得到產(chǎn)生該輸出的(輸入)組件，并且正是因?yàn)樵诜?hào)系統(tǒng)中，人們可以訪問一種“句法結(jié)構(gòu)”，這一結(jié)構(gòu)含有如何組裝組件的地圖。而這在 NN 中都并非如此。一旦向量（張量）在 NN 中組合，它們的分解就無法確定（向量（包括標(biāo)量）可以分解的方式是無限的?。?/span>
為了說明為什么這是問題的核心，讓我們考慮一下 B&W 提出的在 DNN 中提取語義以實(shí)現(xiàn)可解釋性的建議。B&W 的建議是遵循以下原則：
輸入圖像被標(biāo)記為“建筑”，因?yàn)橥ǔ＜せ钶嗇炆w的隱藏神經(jīng)元 41435 的激活值為 0.32。如果隱藏神經(jīng)元 41435 的激活值為 0.87，則輸入圖像將被標(biāo)記為“汽車”。
要了解為什么這不會(huì)導(dǎo)致可解釋性，只需注意要求神經(jīng)元 41435 的激活為 0.87 是不夠的。為簡(jiǎn)單起見，假設(shè)神經(jīng)元 41435 只有兩個(gè)輸入，x1 和 x2。我們現(xiàn)在所擁有的如下圖 1 所示：
圖注：擁有兩個(gè)輸入的單一神經(jīng)元的輸出為0.87
現(xiàn)在假設(shè)我們的激活函數(shù) f 是流行的 ReLU 函數(shù)，那么可以產(chǎn)生 z = 0.87 的輸出。這意味著對(duì)于下表中顯示的 x1、x2、w1 和 w2 的值，可以得到 0.87 的輸出。
表注：多種輸入方式都可以產(chǎn)生0.87的數(shù)值
查看上表，很容易看出 x1、x2、w1 和 w2 的線性組合有無數(shù)個(gè)，它們會(huì)產(chǎn)生輸出 0.87。這里的重點(diǎn)是 NN 中的組合性是不可逆的，因此無法從任何神經(jīng)元或任何神經(jīng)元集合中捕獲有意義的語義。
為了與 B&W 的口號(hào)“沒有語義就沒有解釋”保持一致，我們聲明永遠(yuǎn)無法從 NN 獲得任何解釋。簡(jiǎn)而言之，沒有組合性就沒有語義，沒有語義就沒有解釋，DNN 無法對(duì)組合性進(jìn)行建模。這可以形式化如下：
3. DNN 中的組合性是不可逆的[2]
=> DNN 無法解釋（沒有 XAI）
結(jié)束。
順便說一句，DNN 中的組合性是不可逆的這一事實(shí)除了無法產(chǎn)生可解釋的預(yù)測(cè)之外還有其他后果，尤其是在需要更高層次推理的領(lǐng)域，如自然語言理解 (NLU)。
特別是，這樣的系統(tǒng)確實(shí)無法解釋一個(gè)孩子如何僅從 (<human> <likes> <entity>) 之類的模板中學(xué)習(xí)如何解釋無限數(shù)量的句子，因?yàn)椤凹s翰”、“鄰居女孩”、 “總是穿著T恤來這里的男孩”等都是<human>的可能實(shí)例化，還有“經(jīng)典搖滾”、“成名”、“瑪麗的奶奶”、“在海灘上跑步”、 等都是 <entity> 的所有可能的實(shí)例。
因?yàn)檫@樣的系統(tǒng)沒有“記憶”，而且它們的組成不能顛倒，理論上它們需要無數(shù)個(gè)例子來學(xué)習(xí)這個(gè)簡(jiǎn)單的結(jié)構(gòu)?！揪幷咦ⅲ哼@一點(diǎn)正好是喬姆斯基對(duì)于結(jié)構(gòu)主義語言學(xué)的質(zhì)疑，并由此開啟了影響語言學(xué)半個(gè)多世紀(jì)的轉(zhuǎn)化生成語法?！?/span>
最后，作者強(qiáng)調(diào)，三十多年前Fodor 和 Pylyshyn [2]提出了對(duì) NN 作為認(rèn)知架構(gòu)的批評(píng)——他們展示了為什么 NN 不能對(duì)系統(tǒng)性、生產(chǎn)力和組合性進(jìn)行建模，所有這些都是談?wù)撊魏巍罢Z義”所必須的——而這一令人信服的批評(píng)從未得到完美的回答。
隨著解決人工智能可解釋性問題的需求變得至關(guān)重要，我們必須重新審視那篇經(jīng)典論文，因?yàn)樗@示了將統(tǒng)計(jì)模式識(shí)別等同于人工智能進(jìn)步的局限性。
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
