本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

AutoML: Automating the design of machine learning models for autonomous driving

作者 | Waymo TeamFollow

翻譯 | ciky奇、Ophria、謝玄xx           

校對 | 鄧普斯?杰弗        審核 | 醬番梨       整理 | 立魚王

原文鏈接：

https://medium.com/waymo/automl-automating-the-design-of-machine-learning-models-for-autonomous-driving-141a5583ec2a

作者: Shuyang Cheng and Gabriel Bender*

在Waymo，機器學(xué)習(xí)幾乎在自動駕駛系統(tǒng)的每個部分都起著關(guān)鍵作用。它可以讓汽車看到周圍環(huán)境，感知和了解世界，預(yù)測其他人的行為方式，并決定他們的下一步行動。
感知：我們的系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)的組合，以便我們的車輛能夠識別傳感器數(shù)據(jù)、識別物體并隨著時間的推移跟蹤它們，以便它能夠深入了解周圍的世界。這些神經(jīng)網(wǎng)絡(luò)的構(gòu)建通常是一項耗時的任務(wù);優(yōu)化神經(jīng)網(wǎng)絡(luò)架構(gòu)以實現(xiàn)在自動駕駛汽車上運行所需的質(zhì)量和速度是一個復(fù)雜的微調(diào)過程，我們的工程師要完成一項新任務(wù)可能要花費數(shù)月時間。
現(xiàn)在，通過與Brain團(tuán)隊的谷歌AI研究人員合作，我們將前沿研究付諸實踐，用來自動生成神經(jīng)網(wǎng)絡(luò)。更重要的是，這些最先進(jìn)的神經(jīng)網(wǎng)絡(luò)比工程師手動微調(diào)的質(zhì)量更高，速度更快。
為了將我們的自動駕駛技術(shù)帶到不同的城市和環(huán)境，我們需要以極快的速度優(yōu)化我們的模型以適應(yīng)不同的場景。AutoML使我們能夠做到這一點，高效，持續(xù)地提供大量的ML解決方案。

   傳輸學(xué)習(xí)：使用現(xiàn)有的AutoML架構(gòu)

我們的合作始于一個簡單的問題：AutoML能否為汽車生成高質(zhì)量和低延遲的神經(jīng)網(wǎng)絡(luò)？

“質(zhì)量”可以衡量神經(jīng)網(wǎng)絡(luò)產(chǎn)生結(jié)果的準(zhǔn)確性?！把舆t”可以測量網(wǎng)絡(luò)提供答案的速度，也稱為“推理時間”。由于駕駛是一項活動，要求我們的車輛使用實時反饋并考慮到我們系統(tǒng)的安全--關(guān)鍵性質(zhì)，因此我們的神經(jīng)網(wǎng)絡(luò)需要低延遲運行。大多數(shù)直接在我們車上運行的網(wǎng)絡(luò)都可以在不到10毫秒的時間內(nèi)提供結(jié)果，這比在數(shù)千臺服務(wù)器上運行的數(shù)據(jù)中心部署的許多網(wǎng)絡(luò)更快。

在他們最初的AutoML論文[1]中，我們的Google AI同事能夠自動探索出超過12,000種架構(gòu)來解決CIFAR-10這種經(jīng)典圖像識別任務(wù)：將一張小圖像識別為10個類別中的一種，如一輛汽車，一架飛機，一只狗等。在后續(xù)的一篇文章[2]中，他們發(fā)現(xiàn)了一系列神經(jīng)網(wǎng)絡(luò)構(gòu)建塊，稱為NAS單元，它可自動構(gòu)建出比手工制作的用于CIFAR-10以及相似任務(wù)更好的網(wǎng)絡(luò)。通過這次合作，我們的研究人員決定使用這些單元自動構(gòu)建用于自動駕駛特定任務(wù)的新模型，從而將在CIFAR-10上學(xué)習(xí)到的知識遷移到我們領(lǐng)域中。我們的第一個實驗是使用語義分割任務(wù)：將LiDAR點云中的每個點識別為汽車，行人，樹等。

One example of a NAS cell. This cell processes inputs from the two previous layers in a neural net.

為此，我們的研究人員搭建了一種自動搜索算法，用于在卷積網(wǎng)絡(luò)架構(gòu)（CNN）中探索數(shù)百種不同NAS單元的組合，為我們的LiDAR分割任務(wù)訓(xùn)練和評估模型。當(dāng)我們的工程師手工對這些網(wǎng)絡(luò)進(jìn)行微調(diào)時，他們只能探索有限數(shù)量的架構(gòu)，但是通過搭建自動搜索算法，我們可以自動探索數(shù)百種架構(gòu)。我們發(fā)現(xiàn)模型較之前手工制作的模型有兩方面的改進(jìn)：

• 有些在相似質(zhì)量情況下具有顯著低延遲;
  

• 其他在相似延遲情況下具有更高的質(zhì)量；
  

鑒于此初步的成功，我們將相同的搜索算法應(yīng)用于與交通車道檢測和定位相關(guān)的兩個附加任務(wù)中。遷移學(xué)習(xí)技術(shù)也適用于這些任務(wù)，我們能在汽車上部署三個新訓(xùn)練和改進(jìn)的神經(jīng)網(wǎng)絡(luò)。

我們受初步實驗結(jié)果鼓舞，因此我們決定進(jìn)一步更廣泛地搜索可以提供更好結(jié)果的全新架構(gòu)。不將自己限制于已經(jīng)發(fā)現(xiàn)的NAS單元中，我們可以直接考慮那些有嚴(yán)格延遲性要求考慮的架構(gòu)。

進(jìn)行端到端搜索通常需要手動探索數(shù)千種架構(gòu)，這會帶來很大計算成本。探索單一架構(gòu)需要在具有多GPU卡的數(shù)據(jù)中心計算機上進(jìn)行數(shù)天訓(xùn)練，這意味著需要數(shù)千天的計算才能搜索這個單一任務(wù)。相反，我們設(shè)計了一個代理任務(wù)：減輕LiDAR分割任務(wù)，使任務(wù)可以在幾個小時內(nèi)解決。

團(tuán)隊必須克服的一個挑戰(zhàn)是找到一個與原始分割任務(wù)足夠相似的代理任務(wù)。在確定該任務(wù)的體系結(jié)構(gòu)質(zhì)量與原始任務(wù)的體系結(jié)構(gòu)質(zhì)量之間的良好相關(guān)性之前，我們嘗試了幾種代理任務(wù)設(shè)計。然后我們啟動了一個類似于原始AutoML論文的搜索，但現(xiàn)在在代理任務(wù)：一個代理端到端的搜索。這是首次將此概念應(yīng)用于激光雷達(dá)數(shù)據(jù)。

代理端到端搜索：在縮小的代理任務(wù)上探索數(shù)千種架構(gòu)，將100種最佳架構(gòu)應(yīng)用于原始任務(wù)，驗證和部署汽車上最好的架構(gòu)。

我們使用了幾種搜索算法，對質(zhì)量和延遲進(jìn)行了優(yōu)化，因為這對車輛至關(guān)重要。我們觀察了不同類型的CNN架構(gòu)，并使用了不同的搜索策略，例如隨機搜索和強化學(xué)習(xí)，我們能夠為代理任務(wù)探索超過10000種不同的架構(gòu)。通過使用代理任務(wù)，在一個Google TPU集群上花費一年的計算時間只花了兩周。我們發(fā)現(xiàn)了比我們剛轉(zhuǎn)移NAS細(xì)胞時更好的網(wǎng)絡(luò)：

• 神經(jīng)網(wǎng)絡(luò)具有20-30%的低潛伏期和相同質(zhì)量的結(jié)果。

• 神經(jīng)網(wǎng)絡(luò)的質(zhì)量更高，錯誤率低至8-10%，與以前的體系結(jié)構(gòu)具有相同的延遲。

1）第一個圖顯示了在一組簡單的架構(gòu)上隨機搜索發(fā)現(xiàn)的大約4000個架構(gòu)。每一點都是經(jīng)過培訓(xùn)和評估的體系結(jié)構(gòu)。實線標(biāo)記了不同推理時間約束下的最佳體系結(jié)構(gòu)。紅點表示使用傳輸學(xué)習(xí)構(gòu)建的網(wǎng)絡(luò)的延遲和性能。在這個隨機搜索中，網(wǎng)絡(luò)不如轉(zhuǎn)移學(xué)習(xí)中的網(wǎng)絡(luò)好。

2）在第二個圖中，黃色和藍(lán)色點顯示了其他兩種搜索算法的結(jié)果。黃色的是對一組精煉的架構(gòu)的隨機搜索。Blue One使用了如[1]所示的強化學(xué)習(xí)，探索了6000多個架構(gòu)。結(jié)果最好。這兩個額外的搜索發(fā)現(xiàn)網(wǎng)絡(luò)比轉(zhuǎn)移學(xué)習(xí)的網(wǎng)絡(luò)要好得多。

搜索中發(fā)現(xiàn)的一些架構(gòu)顯示了卷積、池和反卷積操作的創(chuàng)造性組合，如下圖所示。這些架構(gòu)最終非常適合我們最初的激光雷達(dá)分割任務(wù)，并將部署在Waymo的自動駕駛車輛上。

代理端到端搜索發(fā)現(xiàn)的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

我們的汽車試驗才剛剛開始。對于我們的激光雷達(dá)分割任務(wù)，傳輸學(xué)習(xí)和代理端到端搜索都提供了優(yōu)于手工制作的網(wǎng)絡(luò)。我們現(xiàn)在也有機會將這些機制應(yīng)用于新類型的任務(wù)，這可以改善許多其他神經(jīng)網(wǎng)絡(luò)。

這一發(fā)展為我們未來的ML工作開辟了新的令人興奮的途徑，并將提高我們的自驅(qū)動技術(shù)的性能和能力。我們期待著繼續(xù)我們的工作與谷歌人工智能，所以請繼續(xù)關(guān)注更多！

[ 1 ] Barret Zoph and Quoc V. Le. 搜索的神經(jīng)結(jié)構(gòu)與強化學(xué)習(xí)。ICLR，2017年。

[ 2 ] Barret Zoph, Vijay Vasudevan, Jonathon Shlens, Quoc V. Le, 學(xué)習(xí)可擴(kuò)展圖像識別的可轉(zhuǎn)移體系結(jié)構(gòu)。CVPR，2018年。

Waymo和Google之間的合作是由Waymo的Matthieu Devin和Google的Quoc Le發(fā)起和贊助的。這項工作由Waymo的Shuyang Cheng和Google的Gabriel Bender和Pieter Jan Kindermans共同完成。多謝維?！ぬ狒旕R拉什蒂的支持。

Waymo和Google團(tuán)隊成員（左起）：Gabriel Bender、Shuyang Cheng、Matthieu Devin和Quoc Le

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？

點擊【AutoML：無人駕駛機器學(xué)習(xí)模型設(shè)計自動化】或長按下方地址：

https://ai.yanxishe.com/page/TextTranslation/1441

AI研習(xí)社今日推薦：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

CMU 2018 秋季《深度學(xué)習(xí)》課程將教你學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，以及它們在眾多 AI 任務(wù)中的應(yīng)用。課程結(jié)束后，期望學(xué)生能對深度學(xué)習(xí)有足夠的了解，并且能夠在眾多的實際任務(wù)中應(yīng)用深度學(xué)習(xí)。

加入小組免費觀看視頻：https://ai.yanxishe.com/page/groupDetail/18