編者按：以深度學習架構(gòu)為基礎(chǔ)的人工智能技術(shù)（如深度神經(jīng)網(wǎng)絡(luò)，DNN）早已在全球鋪開，其應用范圍覆蓋了汽車市場、計算機視覺、自然語言處理、傳感器融合、物體識別和自動駕駛等領(lǐng)域。眼下，自動駕駛新創(chuàng)公司、互聯(lián)網(wǎng)公司和 OEM 商都在探索圖形處理單元（GPU）在神經(jīng)網(wǎng)絡(luò)中的應用，推動車輛早日進入自動駕駛時代。 

如今，業(yè)界最先進的高級駕駛輔助系統(tǒng)（ADAS）一般都建立在集成或開放平臺之上。想要獲得更智能更復雜的ADAS系統(tǒng)并邁向完全自動駕駛時代，我們需要開發(fā)、模擬并最終拿出一套完整的解決方案。這篇論文描述了以深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學習架構(gòu)發(fā)展現(xiàn)狀，該架構(gòu)將充當汽車上的超級電腦，成為集成在自動駕駛車輛平臺的驅(qū)動核心。本文主要對人工智能技術(shù)在自動駕駛車輛中的運用進行介紹。

| 什么是深度學習？

深度學習是當下推動 AI 發(fā)展最受歡迎的方法，它讓機器能認識并理解這個世界。神經(jīng)網(wǎng)絡(luò)是一大批簡單、可訓練的數(shù)學單位，它們可攜起手來學習復雜的動作，如本篇提到的駕駛。[3]

深度學習還是一個過程，在這一過程中，數(shù)據(jù)被轉(zhuǎn)換成了電腦程序做出的決定。它與那類基于算法的系統(tǒng)的最大不同就是一旦搭建起基礎(chǔ)模型，深度學習系統(tǒng)就能靠自己學習來完成既定任務(wù)。[4]這些任務(wù)的范圍也十分寬泛，包括為圖片加標簽、理解人類語言、保證無人機獨立執(zhí)行任務(wù)和驅(qū)動車輛自動行駛。深度學習可以模仿人類大腦的學習和認知模式，理解語言和關(guān)系并分辨話語中的歧義。[5]

神經(jīng)網(wǎng)絡(luò)都是固有的并行模型，因此它們與多核心的GPU簡直是天作之合，而后者在PC、機器人和車輛上都扮演著重要的角色。GPU可以充分釋放神經(jīng)網(wǎng)絡(luò)的平行性，在深度學習系統(tǒng)的定義、訓練、優(yōu)化和布局上優(yōu)勢巨大。美國《大眾科學》（Popular Science）曾撰文稱，“GPU是現(xiàn)代AI技術(shù)的骨干。”[6]

| ImageNet

深度學習過程中最簡單的一個例子就是 ImageNet 大規(guī)模視覺識別挑戰(zhàn)。該挑戰(zhàn)將評估大規(guī)模圖片和視頻庫中物體識別、圖片和場景分類算法的能力。[7]在2012年前，由于傳統(tǒng)計算機視覺算法的瓶頸，物體識別準確度的提升相當緩慢（識別率低于70%）。但2012年深度學習技術(shù)的引入讓識別準確度躍升至80%左右，而現(xiàn)在這一數(shù)字則提升至 95%，深度學習已經(jīng)完全替代了傳統(tǒng)的計算機視覺算法。（見圖表1）

圖表 1 : 在ImageNet挑戰(zhàn)中傳統(tǒng)計算機視覺與深度學習在準確度方面的對比

| 深度學習在高科技產(chǎn)業(yè)中的現(xiàn)狀

社交巨頭Facebook是業(yè)界第一家利用GPU加速器訓練深度神經(jīng)網(wǎng)絡(luò)的公司。深度神經(jīng)網(wǎng)絡(luò)和GPU在全新的“大蘇爾”計算平臺和Facebook的AI研究院（FAIR）系統(tǒng)中扮演著重要角色。Facebook稱自己的目標是推動機器智能不斷進化并為人類找到更棒的溝通方式。[8]

谷歌在深度學習領(lǐng)域也投入巨大。TensorFlow 是該公司第二代機器學習系統(tǒng)，其任務(wù)是理解大量的數(shù)據(jù)和模型。在架構(gòu)內(nèi)，TensorFlow 可靈活的完成各種任務(wù)，如知覺和言語理解，因此它在圖片識別和分類、跨文本分析等方面有著得天獨厚的優(yōu)勢。谷歌用數(shù)千個 GPU 大幅提升了深度學習能力，而若換成同樣是數(shù)量的 CPU，其能力僅有搭載 GPU 平臺的十分之一。[9]

該公司負責計算機視覺和機器學習的研究員 Anelia Angelova 認為，谷歌還在自動駕駛汽車項目中用到了串聯(lián)型的深度神經(jīng)網(wǎng)絡(luò)，它可幫助車輛探測路上行人的軌跡。[10]

| 自動駕駛回路

圖表2：自動駕駛回路 

圖表2向我們展示了自動駕駛回路的主要組成模塊。其目標是通過相機、激光雷達和超聲波傳感器實時感應車輛周圍360度范圍內(nèi)的情況。通過這些設(shè)備收集的數(shù)據(jù)，算法可以準確的理解車輛周邊環(huán)境并給予精確反饋，包括車輛周邊靜態(tài)和動態(tài)的物體。深度神經(jīng)網(wǎng)絡(luò)的加入讓車輛對周邊物體的探測和分類能力大幅提高，因此傳感器數(shù)據(jù)的融合也變得更準確。隨后，這些經(jīng)過加工的數(shù)據(jù)將成為車輛感知、定位和規(guī)劃路線的重要依據(jù)。

在這一復雜過程中，

• 第一步名為“感知”，它覆蓋了傳感器數(shù)據(jù)融合、物體探測、分類、探測和追蹤的人物劃分。

• 第二步則是“定位”，它包括地圖融合、地標和GPS定位。精確獲取自己所處的位置對自動駕駛車輛非常重要，因為這是它安全行駛的前提之一。而如何整合高精度地圖數(shù)據(jù)，這是車輛判定自己位置的關(guān)鍵。 

• 最后一步是“路徑規(guī)劃”，其中包括車輛的線路和行為。自動駕駛車輛需要在高度動態(tài)的環(huán)境中安全的躲避各種潛在風險，通過復雜的算法找出適合行駛的路徑，同時對環(huán)境的變化作出預測。此外，車輛需要保持行車的穩(wěn)定，減少對乘客和其他車輛的干擾。在路徑規(guī)劃中，車輛需要將以上因素全部考慮在內(nèi)，并最終給出一個完美的解決方案。

因此，想完成這一任務(wù)，車上的智能攝像頭只能算杯水車薪，這其中每一步都需要深度神經(jīng)網(wǎng)絡(luò)的參與。通過深度神經(jīng)網(wǎng)絡(luò)，車輛要完成路面物體的探測和分類，地標建筑的識別和駕駛過程中的判斷等。此外，深度神經(jīng)網(wǎng)絡(luò)完全是一個開放平臺，各家車廠或一級供應商都可在該基礎(chǔ)之上拿出自己的解決方案，同時防止自家產(chǎn)品與競爭對手同質(zhì)化。

| 深度學習流程

深度神經(jīng)網(wǎng)絡(luò)是多層神經(jīng)網(wǎng)絡(luò)集結(jié)在一起形成的。在物體識別上，第一層的神經(jīng)元會探測到各種邊緣，而第二層的神經(jīng)元則會識別更為復雜的形狀，如由各種邊緣組合而成的三角形和矩形。而在第三層中，神經(jīng)元的識別能力再次增強。因此，只要能搭建起神經(jīng)網(wǎng)絡(luò)框架，就能解決許多特殊問題。

自動駕駛技術(shù)挑戰(zhàn)性巨大就是因為擁堵的城市中路況非常復雜，很難進行有效預判。因此，研究人員需要將許多傳感器和數(shù)據(jù)進行有機結(jié)合，以便精確定位車輛位置并感知路況、設(shè)定路線和控制方向盤。

深度學習簡直就是以上這些困難的克星。眼下，與Caffe類似的神經(jīng)網(wǎng)絡(luò)框架可以進行選擇性的學習。Caffe是伯克利視覺與學習中心的作品，它在表達、速度和模塊化程度上優(yōu)勢巨大，因此非常適合肩負起自動駕駛的挑戰(zhàn)。[11]

圖表3: 深度神經(jīng)網(wǎng)絡(luò)的物體識別過程

完成以上諸多步驟后，特定的框架需要為特殊任務(wù)進行特訓，物體識別和分類就是典型例子。像體育訓練一樣，想帶深度神經(jīng)網(wǎng)絡(luò)出師需要一個教練來保駕護航，指導它如何做出反應。

圖表 4 中提到的打分函數(shù)決定了期望輸出與實際輸出的不同，而這一不同就是我們所說的預測誤差。神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元都會出現(xiàn)誤差，而這些誤差會成為神經(jīng)元之間相互調(diào)整的權(quán)重信息。這樣一來，在同樣的述如下，神經(jīng)網(wǎng)絡(luò)的反應就會準確很多。[12]在外部刺激下，無需程序員干預，深度神經(jīng)網(wǎng)絡(luò)也能做出正確選擇。

圖表 4 : 深度神經(jīng)網(wǎng)絡(luò)訓練回路

為了解決訓練問題，開發(fā)人員首先要用駕駛場景的圖片搭建一個數(shù)據(jù)庫。此外，訓練前他們還要給這些圖片貼上正確的標簽或正確的駕駛決定。一旦數(shù)據(jù)庫搭建完成，框架模型就能配置成功，訓練的問題也就迎刃而解了。

隨后，研發(fā)人員需要在模擬的駕駛情況下對完成訓練的神經(jīng)網(wǎng)絡(luò)進行離線測試。驗證完成后，它就正式“畢業(yè)”并可以被刷入自動駕駛車輛的行車電腦（ECU）來進行路試了。另外，端對端系統(tǒng)的培養(yǎng)方案與其類似。 

圖表5: 駕駛場景

圖表5介紹了一個現(xiàn)實中常見的駕駛場景，圖中的視角是美國高速公路上經(jīng)常會看到的。研究人員會將數(shù)據(jù)灌入以深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的自動駕駛系統(tǒng)，圖片下方的窗口會將各種數(shù)據(jù)視覺化。位于窗口中心的白色車輛已經(jīng)感應到了身邊的兩輛車。根據(jù)車輛間的相對速度、位置和其他數(shù)據(jù)，路徑規(guī)劃系統(tǒng)會選擇最佳路線（圖中的綠色線）并根據(jù)情況決定是否變道。

| 英偉達DRIVE?解決方案

圖表 6 : 端對端深度學習平臺

現(xiàn)下，英偉達已經(jīng)拿出了一個可用于訓練、測試和自動駕駛車輛部署的集成平臺。DRIVE解決方案讓車廠、一級供應商和研究機構(gòu)實力與靈活性大增，它們可在此基礎(chǔ)上打造出讓車輛觀察、思考和學習的系統(tǒng)。這套解決方案始于英偉達的DGX-1，這款深度學習超級電腦可以用行駛中搜集的數(shù)據(jù)來訓練深度神經(jīng)網(wǎng)絡(luò)。隨后，DRIVE PX 2就可以做出提前推斷，保證車輛在路上的安全。而連接兩者的是英偉達的DriveWorks，這款套件包括了各種工具、庫和模型，能大大提高自動駕駛車輛的研發(fā)、模擬和測試。

DriveWorks可以幫助傳感器校準并獲取周邊數(shù)據(jù)，并通過DRIVE PX 2上復雜的算法同步處理傳感器搜集的數(shù)據(jù)。

| KITTI Benchmark

英偉達利用DRIVE解決方案來發(fā)展自家的物體識別系統(tǒng)，不過，該系統(tǒng)還有個名為DRIVENet的神經(jīng)網(wǎng)絡(luò)框架來當助手。在5個月時間內(nèi)，這套解決方案KITTI benchmark上拿到了最高分，最重要的是DRIVENet可以實時做決定。值得注意的是，英偉達的GPU們異常強悍，它們直接承包了分數(shù)排行榜前五名。這臺名為KITTI的分數(shù)評價系統(tǒng)由德國卡爾斯魯厄理工學院與豐田工業(yè)大學聯(lián)合打造，它能判別物體識別是否有效。[13]

圖表 7 : KITTI benchmark測試成績

許多自動駕駛公司已經(jīng)是英偉達深度學習技術(shù)的用戶了，通過該技術(shù)它們訓練神經(jīng)網(wǎng)絡(luò)的速度提高了30-40倍。寶馬、戴姆勒和福特就是英偉達的用戶，此外，日本新創(chuàng)公司Preferred Networks和ZMP也是英偉達死忠粉。在實地測試中，奧迪利用該技術(shù)在四小時內(nèi)完成了深度神經(jīng)網(wǎng)絡(luò)的訓練，同樣的工作量，一個智能攝像頭需要2年時間。沃爾沃則直接將英偉達DRIVE PX 2放進了實車中，未來它們將在哥德堡上路測試。

| 對未來的展望

BI Intelligence 預測，到 2020 年，全世界將有 1000 萬輛車擁有一定的自動駕駛能力。[12]它們中的許多都需要利用 AI 來感知周邊環(huán)境、確定車輛位置并應對復雜的交通環(huán)境。

圖表 9 : 搭載自動駕駛功能車輛未來的市場增長預期[3] 

眼下，一場自動駕駛領(lǐng)域的軍備競賽已經(jīng)開打，未來會有更多新公司加入。同時，在各家公司的努力下，現(xiàn)在市場上 100+ 個行車電腦解決方案最終也將走向整合。

1. Introduction to deep learning, GTC 2015 Webinar, NVIDIA, July 2015 http://on-demand.gputechconf.com/gtc/2015/webinar/deep-learning-course/intro-to-deep-learning.pdf

2. The Crown Jewel of Technology Just Crushed Earnings, Ophir Gottlieb, Feb 17 2016, Capital Market Laboratorieshttp://ophirgottlieb.tumblr.com/post/139506538909/the-crown-jewel-of-technology-just-crushed

3. Google's release of TensorFlow could be a game-changer in the future of AI, David Tuffley, November 13, 2015, PHYS.ORG http://phys.org/news/2015-11-google-tensorflow-game-changer-future-ai.html

4. Facebook Open-Sources The Computers Behind Its Artificial Intelligence, Dave Gershgorn, December 10, 2015, Popular Sciencehttp://www.popsci.com/facebook-open-source-hardware-behind-artificial-intelligence

5. IMAGENET Large Scale Visual Recognition Challenge (ILSVRC),http://www.image-net.org/challenges/LSVRC/

6. Facebook AI Research (FAIR), https://research.facebook.com/ai

7. Google's Open Source Machine Learning System: TensorFlow, Mike Schuster, Google, January 15 2016, NVIDIA Conference, Tokyo

via automotive-eetimes

推薦閱讀：

特斯拉致死車禍被調(diào)查，谷歌繼續(xù)加強自動駕駛安全 | 智駕周刊

蘋果真的不造車了？要去做自動駕駛軟件？ | 新智駕 Weekly

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。