0
| 本文作者： 伍文靚 | 2020-05-15 15:59 |
在致力于實(shí)現(xiàn)邊緣AI全球領(lǐng)導(dǎo)者的征程上，地平線始終堅(jiān)持“研”以致用，通過賦能產(chǎn)業(yè)，讓每個(gè)人都能夠享受技術(shù)進(jìn)步的成果。在這一過程中，地平線也希望通過分享最新研究成果，與 AI 領(lǐng)域的同行者一起前行。
有鑒于此，我們推出了#地平線CVPR 2020系列論文分享#，以下為本系列第二篇分享。
近年來，網(wǎng)絡(luò)結(jié)構(gòu)搜索（NAS）在自動(dòng)化設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上發(fā)揮了巨大作用，并逐步成為深度學(xué)習(xí)的重要發(fā)展方向。雖然NAS算法取得了比較卓越的性能，但其搜索空間的設(shè)計(jì)依舊需要比較強(qiáng)的人為先驗(yàn)。
在探索如何構(gòu)建更加靈活、自動(dòng)化程度更高的搜索方法上，地平線聯(lián)合華中科技大學(xué)在原有的DenseNAS解決方案上，提出全新的鏈?zhǔn)酱鷥r(jià)估計(jì)（Chained Cost Estimation）算法，能夠更加準(zhǔn)確地估計(jì)密集連接搜索空間中結(jié)構(gòu)的代價(jià)（FLOPs/latency），同時(shí)帶來更好的優(yōu)化效果。
相關(guān)論文< Densely Connected Search Space for More Flexible Neural Architecture Search>已被收錄于CVPR 2020，以下為論文導(dǎo)讀：
NAS搜索元素的梳理
在以往的NAS方法中，搜索空間起著不可或缺的作用，不僅在很大程度上決定著搜索出來的模型性能，靈活的搜索空間還能帶來更多高性能的可能性結(jié)構(gòu)以及算法自動(dòng)化程度的大幅提升，從而進(jìn)一步減少人為調(diào)整元素解放工程師。
在原有的搜索空間設(shè)計(jì)中，Block (塊) 代表網(wǎng)絡(luò)中輸出特征擁有相同分辨率和相同通道數(shù)的層或操作的集合；Stage (階段) 代表輸出特征在相同分辨率下的串聯(lián)的Block的集合。相同Stage中的不同Block可以擁有不同的寬度（即輸出通道數(shù)）。最近許多工作通過堆疊MobileNet v2中的反轉(zhuǎn)殘差模塊（MBConv）來構(gòu)建搜索空間，通過搜索卷積核尺寸以及MBConv中的膨脹系數(shù)取得了計(jì)算量/latency較小的高性能結(jié)構(gòu)。
但該方法中，每個(gè)Stage里Block的數(shù)量以及每個(gè)Block的寬度均為人為設(shè)定，并且在搜索過程中是固定的，這意味著深度搜索被局限于Block內(nèi)部（即搜索每個(gè)Block內(nèi)的層數(shù)），而寬度搜索無法被開展。
神經(jīng)網(wǎng)絡(luò)的規(guī)模設(shè)計(jì)（深度和寬度）往往對(duì)結(jié)構(gòu)的性能起著很大的作用，最近很多工作也通過人為調(diào)整寬度來獲取更優(yōu)的性能，但寬度的調(diào)整仍然需要較大的人為先驗(yàn)以及大量的試驗(yàn)。DenseNAS的提出則旨在實(shí)現(xiàn)高靈活度的網(wǎng)絡(luò)結(jié)構(gòu)搜索。
DenseNAS對(duì)于網(wǎng)絡(luò)規(guī)模搜索的新思路
在DenseNAS方法的搜索空間設(shè)計(jì)中，更多不同寬度的Block存在于一個(gè)Stage里，Block之間相互密集連接，最終Block之間的一條最佳路徑會(huì)被搜索出來，網(wǎng)絡(luò)結(jié)構(gòu)將通過這條路徑被導(dǎo)出，不存在于這條路徑的Block將被舍棄。這樣一來網(wǎng)絡(luò)中Block的寬度和數(shù)量被自動(dòng)分配，DenseNAS將深度搜索擴(kuò)展到更廣的空間，并且使能了寬度搜索。不僅每個(gè)Block內(nèi)的層數(shù)可以被搜索，每個(gè)Stage內(nèi)的Block數(shù)量和寬度都能被搜索，同時(shí)下采樣的位置也因?yàn)锽lock數(shù)量搜索被自動(dòng)決定。
DenseNAS提出的密集連接的搜索空間可以被松弛為一個(gè)超級(jí)網(wǎng)絡(luò)，基于梯度更新的Differentiable NAS能夠基于其被開展，這樣的大規(guī)模搜索空間則不會(huì)引入巨大的搜索代價(jià)。相較于該工作的上一個(gè)版本，本文還提出了一個(gè)鏈?zhǔn)酱鷥r(jià)估計(jì)（Chained Cost Estimation）的算法，在搜索過程中該算法可以用來估計(jì)密集連接搜索空間中結(jié)構(gòu)的代價(jià)（FLOPs/latency），結(jié)構(gòu)的精度和代價(jià)均可以被優(yōu)化。
以下為具體方法：
構(gòu)建密集連接的搜索空間
首先，本文定義基礎(chǔ)層（basic layer）為搜索空間中最基本的元素，其被設(shè)計(jì)為搜索候選操作項(xiàng)的集合。
然后，本文提出了路由塊（routing block），其負(fù)責(zé)匯聚來源于前繼路由塊的數(shù)據(jù)，并將數(shù)據(jù)傳遞給后續(xù)的路由塊。每個(gè)路由塊包括尺寸對(duì)齊層（shape-alignment layers）和基礎(chǔ)層兩個(gè)部分：尺寸對(duì)齊層以幾個(gè)并行分支的形式存在，每個(gè)分支即一組候選操作項(xiàng)的集合，其負(fù)責(zé)將來源于前繼路由塊不同尺寸的輸入數(shù)據(jù)轉(zhuǎn)換到相同尺寸；后續(xù)的基礎(chǔ)層將繼續(xù)提取來源于尺寸對(duì)齊層的特征，且其深度可搜索。
最后，整個(gè)密集超級(jí)網(wǎng)絡(luò)由一系列不同寬度的路由塊組成。從超級(jí)網(wǎng)絡(luò)頭部到尾部，路由塊的寬度逐漸增加。每個(gè)路由塊可以連接到其后續(xù)的M個(gè)塊，且只有分辨率相差倍數(shù)在兩倍及以內(nèi)的塊之間可被連接，整個(gè)搜索空間遵從該范式被構(gòu)建為密集連接的超級(jí)網(wǎng)絡(luò)。
松弛密集連接的搜索空間
對(duì)于基礎(chǔ)層，每個(gè)候選操作項(xiàng)被賦予一個(gè)結(jié)構(gòu)參數(shù)，基礎(chǔ)層的輸出由所有候選操作輸出的加權(quán)和得到：
對(duì)于路由塊層次，每個(gè)路由塊的數(shù)據(jù)會(huì)輸出到其后繼的幾個(gè)塊，每條輸出的路徑同樣會(huì)被賦予一個(gè)結(jié)構(gòu)參數(shù)，并通過softmax歸一化為輸出路徑概率。每個(gè)路由塊會(huì)接受前繼幾個(gè)塊的輸出數(shù)據(jù)，尺寸對(duì)齊層會(huì)對(duì)來自不同塊的數(shù)據(jù)利用路徑的概率值進(jìn)行加權(quán)求和：
鏈?zhǔn)酱鷥r(jià)估計(jì)算法
在傳統(tǒng)的級(jí)聯(lián)式搜索空間和本工作的上一個(gè)版本中，整個(gè)網(wǎng)絡(luò)的代價(jià)（latency/FLOPs）通過對(duì)每一個(gè)塊的估計(jì)代價(jià)求和得到。然而在密集連接搜索空間中，塊之間的連接狀態(tài)對(duì)整個(gè)網(wǎng)絡(luò)代價(jià)估計(jì)的全局效應(yīng)需要被考慮到，本文提出了一種鏈?zhǔn)酱鷥r(jià)估計(jì)算法來更好的計(jì)算搜索過程中的結(jié)構(gòu)代價(jià)。
首先，一個(gè)代價(jià)查詢表會(huì)被構(gòu)建以記錄搜索空間中每一個(gè)操作候選項(xiàng)的代價(jià)。在搜索過程中，每個(gè)基礎(chǔ)層的代價(jià)計(jì)算如下：
鏈?zhǔn)酱鷥r(jià)估計(jì)算法如下：
搜索中模型精度和代價(jià)通過以下?lián)p失函數(shù)被同時(shí)優(yōu)化：
搜索方法
整個(gè)搜索過程分為兩階段，在第一階段操作項(xiàng)參數(shù)被訓(xùn)練一定周期，第二階段操作項(xiàng)參數(shù)和結(jié)構(gòu)參數(shù)通過梯度交替更新。當(dāng)搜索過程結(jié)束，最終的結(jié)構(gòu)將通過結(jié)構(gòu)參數(shù)的分布被導(dǎo)出。對(duì)于每一個(gè)層而言，只有結(jié)構(gòu)參數(shù)權(quán)重最大的候選操作項(xiàng)會(huì)被選中；對(duì)于整個(gè)網(wǎng)絡(luò)，本文利用維特比算法來推導(dǎo)塊之間的連接路徑，不存在于推導(dǎo)路徑的塊會(huì)被舍棄。最終結(jié)構(gòu)中每個(gè)塊只與其后續(xù)的一個(gè)塊相連接。
以更小的代價(jià)取得更優(yōu)的精度
相較于上一版本（<DenseNAS：密集連接搜索空間下的高靈活度網(wǎng)絡(luò)結(jié)構(gòu)搜索>），本文實(shí)驗(yàn)更加全面。DenseNAS基于MobileNetV2和ResNet都開展了實(shí)驗(yàn)，相較于其他方法以更小的代價(jià)（FLOPs/latency）取得了更優(yōu)的精度。其搜索到的結(jié)構(gòu)在檢測(cè)上也取得了優(yōu)異的性能。
DenseNAS通過構(gòu)建密集連接的搜索空間，并將該搜索空間松弛到Differentiable NAS的框架內(nèi)，以較小的搜索代價(jià)實(shí)現(xiàn)了更加靈活的網(wǎng)絡(luò)結(jié)構(gòu)搜索。目前NAS算法已經(jīng)取得了比較卓越的性能，但是NAS算法中搜索空間的設(shè)計(jì)依然需要比較強(qiáng)的人為先驗(yàn)，如何構(gòu)建更靈活、更高自動(dòng)化程度的搜索方法值得被關(guān)注，DenseNAS則針對(duì)該問題提供了解決方案。
DenseNAS 更新版本論文解讀基本如上，感興趣的同學(xué)可以點(diǎn)擊以下鏈接閱讀論文。
論文地址：https://arxiv.org/pdf/1906.09607.pdf
論文代碼：https://github.com/JaminFong/DenseNAS
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
