0
| 本文作者： 我在思考中 | 2022-05-05 11:38 |
作者 | ?；w
人工智能目前最大的“攔路虎”是不可信賴性，以深度學習為基礎(chǔ)的算法，在實驗室環(huán)境下可以達到甚至超過人類的水平，但在很多實際應(yīng)用場景下的性能無法保證，而且存在對抗魯棒性、解釋性、公平性等問題。
4月8日，在AI TIME青年科學家——AI 2000學者專場論壇上，北京交通大學計算機科學系教授、系主任?；w在報告《“超”人的機器學習：非語義特征的得與失》中，從兩類虛假相關(guān)性角度解釋了這種現(xiàn)象：
機器學習其實不管是目標，還是學習方式，都是類人的，是對人的知識蒸餾。這種知識蒸餾會出現(xiàn)兩種情況：學的不夠好，稱為虛假相關(guān)性-1（欠蒸餾）；學的太好了，稱之為虛假相關(guān)性-2（過蒸餾）。
欠蒸餾，因為數(shù)據(jù)不完備，模型只學習到了訓練數(shù)據(jù)的局部相關(guān)性，會存在分布外泛化和公平性等問題；過蒸餾是機器學習到了人難以感知/理解的模式，影響到了模型的對抗魯棒性和解釋性。
此外，桑教授還提出了將虛假相關(guān)性統(tǒng)一，探索非語義特征的學習和利用。以下是演講全文，AI科技評論做了不改變原意的整理：
今天分享多媒體分析特別是計算機視覺中非語義特征的現(xiàn)象，分為三個部分：得、失和失而復得。報告內(nèi)容受了很多工作的啟發(fā)，其中有一些是我不成熟的思考，希望能和大家交流討論。
回顧人工智能和機器學習的發(fā)展史，在圍繞和人類經(jīng)典任務(wù)PK的過程中，AI已經(jīng)超越了人類的表現(xiàn)。從1997年國際象棋深藍”以3.5:2.5戰(zhàn)勝人類國際象棋世界冠軍卡斯帕羅夫，到2021年AlphaFold蛋白質(zhì)結(jié)構(gòu)預測超過人類，都在表明，AI已經(jīng)可以模擬分析、推理、決策等人類重要能力。
但在“超人”的能力之外，也體現(xiàn)了AI在對抗攻擊下的脆弱性。上圖第二張圖片，人類加了一些噪聲之后，同樣一個網(wǎng)絡(luò)卻給出了兩種截然不同的答案：elephant與koala。
不僅是圖像分類，對于對抗攻擊下的決策、表示，AI也非常脆弱。例如，通過加入一些對抗噪聲，以上圖片經(jīng)過神經(jīng)網(wǎng)絡(luò)能得到完全一致的特征表示，也就是人視覺不同、對抗攻擊后表示完全相同。目前，對抗攻擊有很多作惡的地方，例如無人駕駛中攻擊路標識別；刷卡機中攻擊人臉識別。
回顧對抗樣本的發(fā)展，在2014年，Szegedy首次提出對抗樣本問題的10年前，2003年就有欺騙算法，也叫敵手模型，攻擊垃圾郵件檢測器。2014年提出的深度學習對抗樣本，重要的特點是其強調(diào)“人類察覺不到擾動”。此后，對抗樣本研究發(fā)展，呈現(xiàn)“貓鼠游戲”的狀態(tài)，沒有絕對成功的攻擊，也沒有絕對的防御。
2017年有兩個工作值得一提，對抗樣本實體化，在各個視角欺騙神經(jīng)網(wǎng)絡(luò)的現(xiàn)實世界3D物體；通用對抗噪聲UAP，對于不同的樣本添加通用的噪聲，都可以讓模型出錯。
2019年MIT Madry團隊的工作給了我們很大啟發(fā)：對抗噪聲本質(zhì)是模型特征，對抗樣本的分類器可以泛化到攻擊類測試樣本。具體而言，Madry通過兩個實驗得出兩個結(jié)論：
1.對抗噪聲可以作為目標類特征。如上圖，是一張干凈的小狗圖片，通過加入“代表貓（特征）”的對抗噪聲，讓AI將其識別成貓。基于這些對抗攻擊污染后的對抗樣本訓練的貓分類器在識別干凈貓圖像的任務(wù)中，卻有不錯的泛化。這就是利用對抗噪聲訓練的目標類分類器可以較好地泛化于真實的目標類樣本。
2.非魯棒特征對模型泛化性有貢獻。把圖像分成兩類特征，一類是人可以理解，稱為魯棒特征，另一類是噪聲，稱為非魯棒特征。當把圖像非魯棒特征去掉時，只利用這一部分特征去進行訓練時候，會發(fā)現(xiàn)模型在樣本上的準確性、泛化性是下降的。因此，可以得出結(jié)論非魯棒特征對模型泛化性有貢獻，有些信息人類不易理解但可以輔助模型推斷。
除了對抗噪聲能夠體現(xiàn)人與AI算法的不同，是否關(guān)注物體的形狀和紋理也是區(qū)別之一。如上圖，在處理一個8*8拼圖的圖片時，人類很難識別出物體本來的面目；如果是4*4，我們勉強能看出邊緣。因此，人在判斷物體的時候，其實是需要借助形狀信息。但是對于CNN模型，當形狀信息缺失的時候，完全可以根據(jù)紋理進行準確的判斷。
同時，該現(xiàn)象在頻域里也有表現(xiàn)。如上圖，高頻重建的圖像人眼幾乎無法識別，模型卻能準確預測類別。這篇論文中指出：數(shù)據(jù)包含兩類信息，一類是語義信息，一類是以高頻為代表的非語義信息。
在這兩類信息里，人只能利用語義信息進行判斷，模型同時可以利用這兩部分信息。這篇論文和Madry團隊論文中的觀點引發(fā)了激烈的討論：這部分信息是過擬合的噪聲，還是真實任務(wù)的特征？我更傾向于后者，下面提供幾個證據(jù)。
1.對抗樣本的遷移性，其實就說明了非語義特征可以跨模型、跨數(shù)據(jù)集。換句話說，它不是針對模型和數(shù)據(jù)集過擬合的。
2.非哺乳動物的四色視覺，也表明一種視覺的信息對于某些物種，可能是不可見、不可感知的，但是對于其他物種是可感知的，而且是非常重要的。例如紫外光譜人不可感知，但鳥類可以看見，其中包含了鳥類求偶的真實特征。
3.AlphaFold：蛋白質(zhì)折疊中的非語義特征。學者發(fā)現(xiàn)，折疊配置依賴于分布于整個多肽鏈的交互指紋，而交互指紋由于其全局分布性，結(jié)構(gòu)非常復雜，人難以用規(guī)則進行定義。但其對于預測是有效的。因此，交互指紋這種非語義特征，顯然對于蛋白質(zhì)折疊的任務(wù)是有益的。
以上這些非語義特征的存在，也是當前很多機器學習任務(wù)超過人類的一個原因。
從另外角度看，這種非語義特征有哪些問題？從一種假設(shè)說起：“把機器學習看成對人的知識蒸餾”。這一假設(shè)可以用監(jiān)督學習進行理解，監(jiān)督學習要求“人去打標簽”，然后模型會基于標簽去學習從樣本到標簽的映射。在無監(jiān)督和自監(jiān)督任務(wù)中，其實也是人為去設(shè)定目標和學習機制。換句話說，機器學習其實不管是目標，還是學習方式，都是類人的，是對人的知識蒸餾。
但這種知識蒸餾有時會出現(xiàn)兩種情況：學的不夠好，稱為虛假相關(guān)性-1（欠蒸餾）；學的太好了，稱之為虛假相關(guān)性-2（過蒸餾）。
其中，虛假的相關(guān)性是指統(tǒng)計機器學習基于訓練數(shù)據(jù)中存在的相關(guān)性學習特征構(gòu)建模型，其中某些相關(guān)性特征在系統(tǒng)和人使用過程中會出現(xiàn)錯誤。
這種欠蒸餾可以從機器學習過擬合的角度理解，因為數(shù)據(jù)不完備，模型學習到了訓練數(shù)據(jù)的局部相關(guān)性。這會導致分布外泛化問題，訓練集和測試集來自不同分布時，測試性能大幅下降，“聰明的漢斯”、“坦克都市傳奇”都是分布外泛化的例子。
2017年，ICLR一篇最佳論文提出隨機標簽現(xiàn)象也可理解為欠蒸餾的體現(xiàn)，即隨機打亂訓練集樣本標簽，泛化gap隨隨機標簽比例上升而增加，導致測試性能下降。這反映了深度網(wǎng)絡(luò)甚至可以記憶訓練集中的噪聲信息，但這種噪聲不是任務(wù)的本質(zhì)特征，無法保證泛化性能。
總結(jié)一下，欠蒸餾會導致模型學習到一些任務(wù)無關(guān)特征，即訓練集強關(guān)聯(lián)，但測試集無法泛化。我們嘗試對任務(wù)無關(guān)特征給出更為嚴謹?shù)亩x，并分析它的性質(zhì)。如上圖，從數(shù)據(jù)生成的角度，從標簽Y到樣本X的生成過程中間引入一個變量G。G分成兩部分，一部分是和任務(wù)相關(guān)的生成變量，也就是說當變量改變的時候，整個任務(wù)都會改變；另一部分是，它不會影響Y的分布，但是會影響x的呈現(xiàn)，例如對于生成“狗”的任務(wù)里面，模型會關(guān)注狗的位置，尺寸、光照等和任務(wù)無關(guān)的變量。這其實是對IID的放松，更符合數(shù)據(jù)集的實際分布情況。
任務(wù)無關(guān)特征除了有泛化性問題，在因果框架中，還可以看做混淆變量，同時如果這種特征帶有社會屬性，還可以看做偏見變量，會導致公平性問題。
前面提到過蒸餾是機器學習到了人難以感知/理解的模式，我們將其定義為非語義特征。簡單來說，這種非語義特征是模型可利用的、人類難以理解的信息。值得指出的是，目前對于非語義特征尚沒有統(tǒng)一的認識，我們正嘗試結(jié)合人類視覺感知特點和信息理論建立一個嚴謹?shù)?、可以量化的定義。目前可以借助非語義特征的兩種表現(xiàn)形式來理解：從內(nèi)容結(jié)構(gòu)角度可稱為弱結(jié)構(gòu)化特征，比如高頻、小奇異值對應(yīng)的信息都是人難以感知的；從模型知識角度即對應(yīng)了Madry論文中提到的非魯棒特征，可大致理解為攻擊模型產(chǎn)生的對抗噪聲。
上圖（左）是在亞馬遜眾包平臺上請工人對字符驗證碼進行識別的例子。我們在里面加入了8種程度的對抗噪聲，可以看出人類和OCR識別算法的變化：最高尺度的噪聲對人類沒有變化，但由于擾動了非語義信息，算法性能會下降很快。
上圖（右） 是加入高斯白噪聲的情況?？梢钥吹?，人和算法雖然隨著噪聲程度的增加都有下降，但是人受影響會更大。原因可能是，當白噪聲的等級增加，人類所主要依賴的語義信息就被遮蓋掉了，但是模型可以同時挖掘非語義信息進行輔助判斷。
過蒸餾，其實還影響到了模型的解釋性，有研究發(fā)現(xiàn)，對抗魯棒模型可能依賴語義特征進行推斷，因此具有更好的梯度解釋性。
這兩種虛假相關(guān)性擴展到可賴機器學習有哪些啟示？可信賴機器學習大概對應(yīng)了可信計算的應(yīng)用層。它有兩個核心的概念：按照預期的目標執(zhí)行，按照預期的方式執(zhí)行。按照預期的目標要求任務(wù)理解準確，但只通過訓練數(shù)據(jù)描述的任務(wù)往往不夠全面、準確；以預期的方式執(zhí)行，要求執(zhí)行準確，即推斷過程可理解、推斷結(jié)果可預測。
如上圖，上述兩個目標和兩類虛假相關(guān)性有一個大致的對應(yīng)關(guān)系?；趦深愄摷傧嚓P(guān)性可以將視覺信息劃分為四個象限，而可信賴機器學習希望模型只利用第一象限的信息：即任務(wù)相關(guān)的語義特征。
我們提出一個可信賴機器學習框架，以最終讓模型依賴任務(wù)相關(guān)的語義特征。有三步，第一步是傳統(tǒng)的訓練器，目的是在測試數(shù)據(jù)可以泛化，學到任務(wù)相關(guān)的特征，這部分特征可以滿足不需要和人進行交互的系統(tǒng)應(yīng)用場景。第二部分是解釋器，目標是人可以理解，從任務(wù)相關(guān)特征進一步提取出面向語義的特征，可以同時滿足和人的交互；第三部分是算法測試，目標是評估真實性能+診斷發(fā)現(xiàn)bug。我們注意到，把機器學習當成軟件系統(tǒng)的話，其實缺少了軟件工程里成熟的測試和調(diào)試的模塊，引入測試模塊，能進一步針對性地發(fā)現(xiàn)模型中利用的兩類虛假相關(guān)特征，與訓練器和解釋器形成閉環(huán)，通過測試-調(diào)試共同保證機器學習算法從實驗室級向工業(yè)級的可信賴應(yīng)用。在這一框架下，我們對應(yīng)在三個階段探索了一些基礎(chǔ)問題，并圍繞視覺識別、多模態(tài)預訓練、用戶建模等應(yīng)用場景開展了一些研究工作，這些工作我們整理成開源代碼包供調(diào)用，并會集成到一個統(tǒng)一測試-診斷-調(diào)試平臺上，將作為工具發(fā)布，以供對可信賴性有需求的算法設(shè)計、開發(fā)和使用人員使用。
根據(jù)以上的討論，圍繞非語義特征，實際存在兩個矛盾。一是“棄之可惜，用之不可信”。非語義特征丟掉很可惜，但拿來用又有風險。有用之處在于：模型可以利用非語義特征輔助推斷，完全移除非語義特征使模型泛化性下降。風險在于：使用非語義特征的模型存在對抗魯棒性、解釋性等機器學習的可信賴問題。
第二個矛盾是：機器學習能力“超”人 ，但學習目標和方式“類”人。非語義特征包含了人類難以感知、機器可以利用的信息，而學習目標和方式是類人，比如深度神經(jīng)網(wǎng)絡(luò)受人類視覺系統(tǒng)啟發(fā)，包括層次化網(wǎng)絡(luò)結(jié)構(gòu)、感受野逐層增加、簡單細胞、復雜細胞等。
圍繞“棄之可惜，用之不可信”矛盾，以泛化性和對抗魯棒性為例，它背后代表的是兩類虛假相關(guān)性之間的矛盾：泛化性的提高很大程度上來自非語義特征的利用，而在目前訓練范式下，限制非語義特征會影響泛化性。
有沒有可能將兩類虛假相關(guān)性進行統(tǒng)一？我們提出一個假設(shè)，對抗魯棒性問題不是因為模型利用了非語義特征，而是因為沒有很好地利用非語義特征，非語義特征在提供有限泛化性貢獻的同時，增加了被對抗攻擊的風險。
我們也從頻域入手，暫且將高頻信息大致對應(yīng)非語義特征。如上圖，相比中低頻，特征提取后，高頻分量的類間距比較小，對最終分類的貢獻也就比較弱。而實際上，在特征提取前，原始圖像的高頻分量中存在著相當?shù)念惻袆e信息。如下圖，原始圖像不同頻率的HOG特征分布情況，右邊是高頻，左邊是中低頻。
經(jīng)過特征提取之后，可以明顯看出：高頻信息被抑制了，而中低頻經(jīng)過特征提取得到了增強。這告訴我們，高頻信息對于模型泛化性的貢獻是有限的。
但是和對抗魯棒性有很強的關(guān)聯(lián)性。如上圖中間是無目標對抗攻擊過程的動圖，可以看出對抗攻擊有一個階段明顯沿高頻分量的分布方向移動，換句話說，高頻分量很可能引導了對抗攻擊在特征空間的行為。
這里我們有一個初步的假設(shè)，對抗攻擊過程可能分為兩個階段：第一階段，它會尋找正交于數(shù)據(jù)流形的決策邊界，并跨過類決策邊界；在第二個階段對抗攻擊繼續(xù)向目標類中心集中。我們最近發(fā)現(xiàn)這個假設(shè)和兩個階段互信息的變化有很強的一致性，后續(xù)有進一步的結(jié)果，我們會專門進行介紹。從這個角度來看，高頻信息代表的非語義特征，在模型訓練過程中并沒有得到重視，非語義特征不是天然容易被攻擊，只是它沒有被學習得很好，導致了對抗攻擊有機可乘。
圍繞“能力超人，學習類人”矛盾，對于非語義特征的學習和提取，可能要區(qū)別對待單獨設(shè)計。這里以受人類視覺處理系統(tǒng)的層次化網(wǎng)絡(luò)設(shè)計為例。今天的CNN設(shè)計，嘗試借鑒逐層的網(wǎng)絡(luò)結(jié)構(gòu)，包括感受野逐層變化。如上圖可視化的呈現(xiàn)，相比中低頻特征，高頻特征逐層差異小、感受野相對固定幾乎是全局的。我們初步的實驗發(fā)現(xiàn)，淺層、大卷積核更有利于高頻特征學習。
最后，人類為什么會聚焦語義信息，而忽略非語義信息？我們“猜測”是進化的低成本目標所致。一個是學習代價?。喝祟惖膶W習首先通過群體大數(shù)據(jù)積累形成結(jié)構(gòu)先驗，然后個體小樣本遷移，從而能夠舉一反三。上圖的實驗中我們發(fā)現(xiàn)高頻特征的學習需要消耗較多的樣本，在典型的小樣本學習設(shè)置下，模型無法實現(xiàn)良好擬合。另一個是推斷代價?。和瓿梢粋€任務(wù)所需要調(diào)用的神經(jīng)元盡可能少，然而我們發(fā)現(xiàn)高頻神經(jīng)元總激活消耗大且不同高頻神經(jīng)元激活的差異大造成利用率低。高頻特征處理的這些特點都和生物神經(jīng)系統(tǒng)的低成本進化方向是相違背的。
我們知道AlphaGo的能量消耗相當于一個人的5萬倍，如果我們拋開對于低成本的約束，對于非語義特征的學習和提取似乎也應(yīng)該突破“類人”的約束。這啟發(fā)我們根據(jù)所處理信息的特點，重新設(shè)計模型結(jié)構(gòu)；參考其他生物神經(jīng)系統(tǒng)，啟發(fā)設(shè)計模型結(jié)構(gòu)等。如果我們認可非語義特征的存在，機器學習關(guān)于數(shù)據(jù)集、模型結(jié)構(gòu)、損失函數(shù)、優(yōu)化方法等的先驗假設(shè)是否都存在著新的理解和可能？同時，如何平衡類人和超人以避免非語義特征在現(xiàn)階段帶來的不可信賴風險？如果是需要人理解/交互的任務(wù)，我們希望是“類人”方式，定義好邊界；如果是需要新知識發(fā)現(xiàn)的任務(wù)，就可以允許“超人”，大膽探索人所不能。當然，也有可能，對于非語義特征，只是目前不可理解，希望通過更多人投入相關(guān)研究，我們理解了背后的原理和機制后，不僅能可靠地利用這些信息設(shè)計機器學習算法和系統(tǒng)，更能拓展和提高我們自己的認知。
雷峰網(wǎng)雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
