0
| 本文作者： 我在思考中 | 2021-08-31 11:32 | 專題：ICML 2019 |
作者 | 任潔
編輯 | 王曄
隨著深度神經網絡的應用日益廣泛，可解釋性也逐漸受到更多學者的關注。目前對神經網絡的可解釋性研究主要分為兩個方面，一方面是語義層面的解釋，另一方面是數學層面對網絡表達能力推導。
在語義層面，最直接的方法是可視化神經網絡的中層特征，同時很多研究也致力于估計輸入樣本中不同單元對于神經網絡輸出的重要性（attribution/importance/saliency）。
在數學推導的層面，很多研究嘗試從各個角度推導出神經網絡表達能力的邊界。然而，這兩類解釋性研究往往各自為戰(zhàn)，語義層面的解釋往往缺乏堅實的理論支撐，數學層面的推導又難以對接到人的認知，讓人真正地理解神經網絡。
在本文中，作者從特征復雜度的角度出發(fā)，嘗試將語義解釋與神經網絡的表達能力相結合。神經網絡的中層特征往往是混雜的，包含非常豐富的信息，其中，一些特征是簡單的，另一些特征則是非常復雜的，需要經過復雜變換才能學習到。受這一點啟發(fā)，本文內容：
1.定義了神經網絡中層特征的復雜度；
2.在語義層面，實現了對簡單特征、復雜特征的拆分及可視化，發(fā)現簡單特征往往表示物體的主體形狀，而復雜特征則是一些細節(jié)、噪聲信息；
3.在表達能力層面，本文用可靠性、有效性，及過擬合程度評測了神經網絡特征，量化了特征表達能力與特征復雜度、訓練樣本數等因素之間的聯系；
4.基于上述結論，本文利用拆分出的特征向量進一步提升了神經網絡的性能，并解釋了經典學習算法的效果。
論文標題：“Interpreting and Disentangling Feature Components of Various Complexity from DNNs” in ICML 2021
論文鏈接：http://proceedings.mlr.press/v139/ren21b.html
點擊觀看論文視頻解讀：
將神經網絡中層特征解構并可視化出不同復雜度的特征分量：神經網絡從輸入樣本中抽取得到了非常豐富的特征，而這些特征既包含簡單的特征分量，也包含復雜的特征分量。簡單的特征分量往往經過簡單的變換就能得到，例如通過一個較淺的神經網絡，而復雜的特征分量則需要較深的神經網絡才能擬合。即，給定一個訓練好的神經網絡f，和輸入x，其中層特征f(x)中包含了不同復雜度的特征分量：
其中c(1)(x)表示不同復雜度的特征分量。我們利用學習某個特征分量所需要的最少的非線性變換數來量化這個特征分量的復雜度。例如，單層神經網絡（只包含一個非線性層）所能擬合的特征分量c(1)(x)的復雜度階數定義為1階，c(1)(x)稱為f(x)的一階復雜度分量。包含連個非線性層的神經網絡所能夠擬合的特征c(2)(x)稱為二階復雜度分量，以此類推。
為了從f(x)中拆分出不同復雜度的特征分量，我們通過知識蒸餾的方法訓練多個不同深度（包含不同多個非線性層）的拆分網絡，淺層的神經網絡只能學習到簡單特征，而深層網絡所擬合的特征包含了簡單特征和復雜特征。因此，深度為l-1的拆分網絡和深度為l的拆分網絡所擬合的特征的差值，就是復雜度為l階的特征分量。
下圖展示了不同階特征分量的可視化結果?？梢钥闯?，簡單特征往往包含與輸入物體形狀相關的信息，而復雜的特征分量包含了更多的細節(jié)信息和噪聲信息。
探索實驗
基于上述特征復雜度的定義，我們提出了一系列指標，量化分析了不同特征分量的可靠性、有效性和過擬合程度。
原論文鏈接：https://arxiv.org/abs/1908.01581
本文中，我們從各階復雜度的特征分量中進一步提取出了可靠的特征子分量，從而量化了不同復雜度特征分量的可靠性。
實驗中，我們發(fā)現，增加神經網絡的訓練樣本量，能夠有效提升特征的可靠性，但不會顯著影響特征復雜度的分布，這在一定程度上與人們的直覺是相反的。
2. 有效性：基于Shapley value，我們量化了特征分量是否有效地幫助了神經網絡的分類（或其他任務）。我們用每個特征分量對分類任務的損失函數的下降的Shapley value量化特征分量的有效性，發(fā)現特征不是越復雜越有效的，相反，當特征復雜度為網絡深度的一半時，特征分量的有效性最高。
3. 過擬合程度：與有效性類似，我們利用特征分量對訓練損失與測試損失差值的Shapley value，量化特征分量是否是過擬合的。實驗發(fā)現，當增加訓練樣本量時，往往能夠降低簡單特征（低復雜度的特征分量）的過擬合程度，而這一規(guī)律對于復雜特征并不適用。
拓展應用
基于以上實驗發(fā)現，我們進一步利用特征復雜度去提升網絡性能，并解釋了知識蒸餾、網絡壓縮這兩種經典的深度學習算法。
1. 提升網絡性能
前文中我們已經發(fā)現，當特征分量的復雜度為網絡深度一半時，該分量是對任務最有效的。因此，我們將神經網絡原始特征f(x)替換為所拆分出的有效特征分量，使神經網絡的分類性能最高提升了5%；并且，我們發(fā)現中階復雜度的特征對神經網絡性能的提升更加有效。
2. 解釋經典算法
本文中，我們解釋了網絡壓縮和知識蒸餾兩種算法對神經網絡特征復雜度的影響，發(fā)現知識蒸餾使神經網絡學到了更可靠、更有效的特征，從而在一定程度上提升了網絡性能；網絡壓縮則主要作用于網絡中的簡單特征，且不會影響特征可靠性，因此能夠保證網絡性能不受顯著破壞。
掃碼添加小助手微信（AIyanxishe3），備注ICML2021拉你進群。
贈書福利
AI科技評論本次聯合Springer為大家?guī)?strong style="outline: 0px;">5本周志華教授親筆簽名的《Machine Learning》正版新書。
在AI科技評論8月28日頭條文章“周志華《西瓜書》上線英文版！”（注意不是本文，僅限AI科技評論微信公眾號端）留言區(qū)留言，歡迎大家暢所欲言，談一談你對本書的看法和期待。在綜合留言質量（留言是敷衍還是走心）和留言點贊最高（注：點贊最高的前5不意味著一定會中獎）的讀者中選出5位讀者獲得贈書。獲得贈書的讀者請聯系 AI 科技評論客服（aitechreview）。
留言內容會有篩選，例如“選我上去”、“這書寫的很棒（僅僅幾個字）”等內容將不會被篩選，亦不會中獎。
留言送書活動時間為2021年8月28日 - 2021年9月01日（23:00），活動推送時間內僅允許贈書福利中獎一次。
雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
專題
