1
| 本文作者： 楊曉凡 | 2019-06-14 10:11 |
雷鋒網(wǎng) AI 科技評論按：深度神經(jīng)網(wǎng)絡(luò)中有許多連接權(quán)重，這些權(quán)重的值對網(wǎng)絡(luò)表現(xiàn)有巨大影響；通過反向傳播可以定向優(yōu)化這些權(quán)重，提高網(wǎng)絡(luò)的表現(xiàn)，這個過程被稱作「訓(xùn)練」；訓(xùn)練過程通常需要多輪迭代，需要大量的稠密矩陣運算；這些都是領(lǐng)域內(nèi)的常識。因為訓(xùn)練過程如此地重要，深度學(xué)習(xí)研究人員們都會設(shè)立多 GPU 陣列加速訓(xùn)練過程，關(guān)于訓(xùn)練技巧的論文連篇累牘，甚至還有「深度學(xué)習(xí)調(diào)參師」、「玄學(xué)調(diào)參」、「希望上帝給我一個好的初始隨機種子」之類的調(diào)侃。
那么連接權(quán)重是影響神經(jīng)網(wǎng)絡(luò)表現(xiàn)的唯一因素嗎？應(yīng)該也不是。不僅近幾年中人類手工設(shè)計的許多網(wǎng)絡(luò)架構(gòu)以更少的參數(shù)、更高的表現(xiàn)證明了網(wǎng)絡(luò)架構(gòu)重要性，神經(jīng)架構(gòu)搜索（NAS）更在各種任務(wù)中分別找到了可以達到更高表現(xiàn)的網(wǎng)絡(luò)架構(gòu)。不過，這些網(wǎng)絡(luò)架構(gòu)都仍然需要經(jīng)過適當(dāng)?shù)挠?xùn)練才能得到好的表現(xiàn)，似乎只是說明了「適當(dāng)?shù)募軜?gòu)和適當(dāng)?shù)挠?xùn)練可以相得益彰」。
本著對照實驗的精神，我們似乎應(yīng)該設(shè)計另一組實驗：為了說明訓(xùn)練的影響，我們在相同架構(gòu)的網(wǎng)絡(luò)上做不同的訓(xùn)練；那為了說明架構(gòu)的影響，我們需要在不同架構(gòu)的網(wǎng)絡(luò)上做相同的訓(xùn)練；根據(jù)實驗結(jié)果我們就可以定性、定量地分析訓(xùn)練和架構(gòu)各自的影響，厘清這場神經(jīng)網(wǎng)絡(luò)的「氣宗與劍宗之爭」（網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練的影響之爭）。
說明架構(gòu)影響的這件事并不好做，如何在不同架構(gòu)的網(wǎng)絡(luò)上做相同的訓(xùn)練就首先是一個難題。谷歌大腦的研究人員 Adam Gaier 和 David Ha 在近期的論文《Weight Agnostic Neural Networks》（https://arxiv.org/abs/1906.04358）中做出了自己的嘗試，得到了有趣的結(jié)果。雷鋒網(wǎng) AI 科技評論簡單介紹如下。
之前就有研究人員展示了權(quán)重隨機初始化的 LSTM 和 CNN 網(wǎng)絡(luò)具有意外地好的表現(xiàn)，在這篇論文中兩位作者更進一步地提出要尋找 weight agnostic neural networks，WANN，權(quán)重不可知的神經(jīng)網(wǎng)絡(luò)，即具有強大的歸納偏倚、以至于只使用隨機權(quán)重就能夠執(zhí)行多種任務(wù)的神經(jīng)網(wǎng)絡(luò)。
為了能夠完成實驗，作者們提出了新的實驗思路：
網(wǎng)絡(luò)中的每個連接都使用同一個隨機參數(shù)作為權(quán)重 —— 最小化權(quán)重（也就是訓(xùn)練過程）的影響，同樣也最大程度簡化了模型表現(xiàn)的采樣空間
在很大的范圍內(nèi)取這個參數(shù)的值，多次評估網(wǎng)絡(luò)的表現(xiàn) —— 不再以最優(yōu)的權(quán)重設(shè)置作為網(wǎng)絡(luò)表現(xiàn)評價的唯一目標(biāo)
根據(jù)算法信息理論，作者們并不滿足于能夠找到滿足要求的網(wǎng)絡(luò)，而是能最簡單地描述的網(wǎng)絡(luò)。比如，有兩個不同的網(wǎng)絡(luò)能帶來類似的表現(xiàn)的話，他們會留下更簡單的那個 —— 網(wǎng)絡(luò)大小也就成為了搜索過程中的一個附加目標(biāo)。結(jié)合連接計算成本以及其它一些技巧，他們希望最終找到的網(wǎng)絡(luò)要盡可能簡單、模塊化以及可演化，并且更復(fù)雜的網(wǎng)絡(luò)必須能夠帶來更好的表現(xiàn)。
具體搜索過程請參見論文原文。
作者們在多個連續(xù)控制任務(wù)中評估了搜索得到的網(wǎng)絡(luò)。
CartPoleSwingUp，一個小車上用鉸鏈懸掛一根棍子，小車只能通過橫向移動把棍子在上方直立起來并保持；這個過程里小車只能在有限的范圍內(nèi)運動。這個任務(wù)無法通過一個簡單的線性控制器解決。
BipedalWalker，控制一個雙足機器人的兩個髖關(guān)節(jié)和兩個膝關(guān)節(jié)，讓它在隨機地形上行走。
CarRacing，根據(jù)上帝視角的畫面像素輸入控制賽車在賽道上運動。
上圖表格展示的是 WANN 找到的網(wǎng)絡(luò)在超過 100 次試驗中的表現(xiàn)（所以分?jǐn)?shù)呈現(xiàn)為范圍）?？v向?qū)Ρ鹊氖莻鹘y(tǒng)的強化學(xué)習(xí)算法，橫向的四項子分?jǐn)?shù)分別是：
Random weights，每個連接權(quán)重分別從 (-2,2) 范圍隨機取值；
Random shared weight，所有連接使用同一個權(quán)重，從 (-2,2) 范圍隨機取值；
Tuned shared weight，所有連接使用同一個權(quán)重，從 (-2,2) 范圍內(nèi)取值時的最好表現(xiàn)；
Tuned weights，有權(quán)重優(yōu)化過程，不同的權(quán)重允許有不同的變化（也就是傳統(tǒng)的訓(xùn)練）
根據(jù)表格可以看到，傳統(tǒng)強化學(xué)習(xí)算法中的權(quán)重必須經(jīng)過訓(xùn)練以后才能得到好的表現(xiàn)，相比之下 WANN 尋找到的網(wǎng)絡(luò)只需要所有連接都使用同一個隨機權(quán)重就有機會得到好的表現(xiàn)。
所有連接使用同一個權(quán)重時得到的最好表現(xiàn)是喜人的，晃悠幾次就可以讓小棍平衡，走路時可以有高效的步法，開賽車的時候甚至還能從內(nèi)側(cè)切彎。而進一步進行傳統(tǒng)意義上的訓(xùn)練以后，網(wǎng)絡(luò)的表現(xiàn)還能有進一步的改善。
另外，作者們也做了監(jiān)督學(xué)習(xí)（MNIST 數(shù)字識別）實驗，也找到了能夠比隨機權(quán)值 CNN 得到更好表現(xiàn)的網(wǎng)絡(luò)。
由于 WANN 搜索到的網(wǎng)絡(luò)相對簡單，作者們也嘗試解讀這些網(wǎng)絡(luò)架構(gòu)。首先，網(wǎng)絡(luò)架構(gòu)中明顯地為任務(wù)編碼了強大的偏倚，在如此淺層的連接中可以明顯看到網(wǎng)絡(luò)對不同輸入信號的處理加工過程；但同時，找到的網(wǎng)絡(luò)的表現(xiàn)也并不是與權(quán)重的值完全無關(guān)，在某些隨機值下還是會出現(xiàn)不好的表現(xiàn)?？梢钥醋?，WANN 搜索到的網(wǎng)絡(luò)對輸入輸出間的關(guān)系進行了強大的編碼，雖然權(quán)值的大小相比之下變得不重要，但信號的連續(xù)性、符號一致性還是有影響的。觀察搜索過程中網(wǎng)絡(luò)如何一步步變得復(fù)雜的也能得到類似的感受。
WANN 搜索到的網(wǎng)絡(luò)的最佳表現(xiàn)最終還是比不上 CNN 的最佳表現(xiàn)，這并不奇怪，畢竟 CNN 本身也是帶有很強的視覺偏倚的架構(gòu)，而且經(jīng)過了如此多年的持續(xù)優(yōu)化改進。
在這項研究中雷鋒網(wǎng) AI 科技評論感覺到的是，解決指定任務(wù)所需的偏倚總需要通過某種方式編碼到網(wǎng)絡(luò)內(nèi)。傳統(tǒng)的深度學(xué)習(xí)研究中都是固定網(wǎng)絡(luò)架構(gòu)（基礎(chǔ)模塊和連接方式），用連接權(quán)重的更新體現(xiàn)這些偏倚；在 WANN 中，架構(gòu)和權(quán)重的位置調(diào)換，用隨機取值且不要求優(yōu)化過程的共享權(quán)重限制了偏倚在權(quán)重中的儲存，從而得以讓偏倚顯式地體現(xiàn)為架構(gòu)的更新。從另一個角度看：網(wǎng)絡(luò)結(jié)構(gòu)占據(jù)絕對支配地位以后，連接權(quán)重可以不必關(guān)注，只需要考慮如何解釋結(jié)構(gòu)，這就容易多了。這也是神經(jīng)網(wǎng)絡(luò)可解釋性的一大步。
作者們也在論文的討論章節(jié)中指出，這種思路在小樣本學(xué)習(xí)、在線學(xué)習(xí)、終生學(xué)習(xí)中都可能能夠派上用場（持續(xù)地優(yōu)化更新網(wǎng)絡(luò)架構(gòu)）。這不僅新奇，也是繼續(xù)探索神經(jīng)網(wǎng)絡(luò)潛力的一條新的道路?！笟狻购汀竸Ψā共⒅?，也許未來我們有機會能夠改進神經(jīng)網(wǎng)絡(luò)的更多弱點。
雷鋒網(wǎng) AI 科技評論報道。
論文原文地址：https://arxiv.org/abs/1906.04358
互動式論文頁面（帶有 demo）：https://weightagnostic.github.io/
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
