0
雷鋒網(wǎng)AI科技評論按：本文對悉尼科技大學博士生董宣毅發(fā)表于 ICLR 2020 的錄用Spotlight論文《NAS-BENCH-201: Extending the Scope of Reproducible Neural Architecture Search》進行解讀。這篇論文提出的NAS-Bench-201，可在很大程度上提高NAS算法的可復現(xiàn)性，并降低了NAS算法的計算需求（例如僅用0.1秒便可以完成搜索）。
論文鏈接：https://arxiv.org/abs/2001.00326
神經(jīng)網(wǎng)絡結構對深度學習領域的各個應用的性能都起著至關重要的作用，目前，網(wǎng)絡結構的設計范式已經(jīng)逐漸的從專家手動設計轉(zhuǎn)變?yōu)榱藱C器自動搜索。網(wǎng)絡結構搜索 (Neural Architecture Search，NAS) 旨在研究如何在一個給定的搜索空間內(nèi)自動地發(fā)現(xiàn)高性能高精度高效率的網(wǎng)絡結構。
在過去的幾年內(nèi)，越來越多的科研人員投入到NAS這一研究領域，越來越多的NAS方法被提出，整個領域也取得了許多突破性的進展?，F(xiàn)在是時候回顧一下NAS領域好的一面和不好的一面了。NAS除了以良好的性能著稱，還因為海量的計算需求而讓眾多研究員望而卻步，同時目前各個NAS算法的實驗設置不盡相同，難以去公平的衡量一個NAS算法的真實好壞。
為了進一步推動NAS算法的可復現(xiàn)性，為了降低NAS算法的計算需求，為了讓大家著眼于NAS算法的本質(zhì)，且啟發(fā)后續(xù)的NAS算法，我們提出了NAS-Bench-201。
NAS-Bench-201把15000多個神經(jīng)網(wǎng)絡在三個數(shù)據(jù)集（CIFAR-10，CIFAR-100，ImageNet-16-120）上基于不同的隨機數(shù)種子基于不同的超參數(shù)訓練了多次。提供了每個訓練epoch之后的訓練和測試耗時，模型在訓練集/驗證集/測試集的損失函數(shù)和準確度，訓練之后的模型參數(shù)，模型大小，模型計算量等重要信息。NAS-Bench-201將這些有用的診斷信息整理起來，提供了方便的API來獲取他們。執(zhí)行 “pip install nas-bench-201”可以一鍵安裝NAS-Bench-201的API，你將會擁有15000+個神經(jīng)網(wǎng)絡的全部信息！下圖是15000+個網(wǎng)絡性能可視化。
1，加速NAS算法，利用NAS-Bench-201，Regularized Evolutionary Algorithm / Random Search / REINFORCE等NAS算法可以在0.1秒內(nèi)完成搜索過程并給出發(fā)現(xiàn)的網(wǎng)絡的性能。
2，實時跟蹤NAS算法表現(xiàn)，對于One-shot NAS算法，利用NAS-Bench-201就可在任意時間節(jié)點，觀測當前預測的網(wǎng)絡結構的性能表現(xiàn)而無需重新訓練該結構。
3，公平對比每一個NAS算法。不同的文章在重訓練搜索出的網(wǎng)絡結構時，使用的超參數(shù)/數(shù)據(jù)增強/正則/等都不盡相同?，F(xiàn)在利用NAS-Bench-201的API，每位科研人員可以公平地對比搜索出來的網(wǎng)絡結構。
我們在一個codebase下實現(xiàn)且開源了10種不同的NAS算法。我們盡可能地公平地對比檢驗了這些算法的性能。結果如下圖：
REA / REINFORCE / RANDOM / BOHB的500次運行結果
六種One-shot NAS算法的3次運行結果
NAS-Bench-201旨在提供一個公平的計算友好型的環(huán)境給NAS社區(qū)。因為利用我們的API可以很容易的獲取每個網(wǎng)絡的性能，這個便利的條件可能會隱形的讓設計的新NAS算法過擬合到最好的結構。為此，我們設置了一些規(guī)則來防止過擬合。
1，不能對某一個具體的操作進行正則化。比如限制skip-connection操作的數(shù)量等。
2，使用我們的提供的網(wǎng)絡性能。訓練策略影響著一個網(wǎng)絡結構最終的性能。我們建議NAS-Bench-201的用戶使用我們這個benchmark提供的每個網(wǎng)絡的性能，即使使用別的訓練策略可以得到更好的性能。以此來保證公平性。
3，公布多組搜索實驗的結果。多次反復搜索過程能夠更穩(wěn)定地展示一個NAS算法的效果。
使用NAS-Bench-201的數(shù)據(jù)非常容易，無需自己整理數(shù)據(jù)，我們提供了方便的API接口，可以輕松調(diào)用各種對NAS算法有用的診斷信息。下面我們暫時了一些基本用法：
各位小伙伴快來試一試吧！代碼，數(shù)據(jù)，算法分析總有一款你需要的哦 。
NAS-Bench-201的相關資源
10+種NAS算法的PyTorch實現(xiàn)：https://github.com/D-X-Y/AutoDL-Projects
NAS-Bench-201復現(xiàn)指南：https://github.com/D-X-Y/AutoDL-Projects/blob/master/docs/NAS-Bench-201.md
NAS-Bench-201 API的pip安裝：https://pypi.org/project/nas-bench-201/1.0/
NAS-Bench-201文章鏈接：https://openreview.net/forum?id=HJxyZkBKDr
優(yōu)秀NAS文章列表：https://github.com/D-X-Y/Awesome-NAS
雷鋒網(wǎng)報道。雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
