雷鋒網(wǎng) AI 科技評(píng)論按：目前全球汽車行業(yè)公認(rèn)由美國(guó)高速公路安全管理局（NHTSA）和國(guó)際自動(dòng)機(jī)工程師學(xué)會(huì)（SAE）提出的的分級(jí)制度，把自動(dòng)駕駛分成 L0 到 L5 級(jí)，分別承擔(dān)相應(yīng)的職責(zé)，而 L4 作為級(jí)別第二高的無(wú)人駕駛，是指在特定場(chǎng)景下（如高速公路）可以在完全沒(méi)有人干預(yù)時(shí)進(jìn)行全自動(dòng)無(wú)人駕駛，到現(xiàn)在為止，實(shí)現(xiàn) L4 無(wú)人駕駛依舊是人工智能領(lǐng)域最具挑戰(zhàn)性、最復(fù)雜的難題之一。

近日，在雷鋒網(wǎng) AI 研習(xí)社第 4 期職播間上，中國(guó)最高估值自動(dòng)駕駛創(chuàng)業(yè)公司 Momenta M4U 技術(shù)負(fù)責(zé)人陳凱深度分享了自動(dòng)駕駛獨(dú)角獸 Momenta 如何「打造自動(dòng)駕駛大腦」，并解讀實(shí)現(xiàn) L4 級(jí)別的自動(dòng)駕駛需要怎樣的技術(shù)與人才。

陳凱：Momenta M4U 技術(shù)負(fù)責(zé)人，中國(guó)科學(xué)技術(shù)大學(xué)博士，RoboCup@Home League 2014 世界冠軍，多年從事機(jī)器人研究和相關(guān)工作。

分享主題：從人才角度看 L4 無(wú)人駕駛的實(shí)現(xiàn)（附 Momenta 招聘解讀）

分享提綱：

1、Momenta 團(tuán)隊(duì)介紹：打造自動(dòng)駕駛大腦

2、三大平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)與 AI 算法的反饋閉環(huán)

3、Momenta 核心技術(shù)的實(shí)現(xiàn)：基于深度學(xué)習(xí)的環(huán)境感知、高精度地圖、駕駛決策算法

4、實(shí)現(xiàn) L4 級(jí)別的自動(dòng)駕駛需要怎樣的技術(shù)與人才

雷鋒網(wǎng) AI 研習(xí)社將其分享內(nèi)容整理如下：

今天主要在這里跟大家分享一下 Momenta 的技術(shù)路線，另外會(huì)重點(diǎn)介紹一下 L4 級(jí)別無(wú)人駕駛的人才需求。

Momenta 團(tuán)隊(duì)介紹：打造自動(dòng)駕駛大腦

Momenta 的公司定位是打造自動(dòng)駕駛大腦，簡(jiǎn)單來(lái)說(shuō)，大腦就是跑在無(wú)人駕駛系統(tǒng)中的軟件。下圖是公司的核心團(tuán)隊(duì)：

• CEO 曹旭東，清華大學(xué)畢業(yè)，在人工智能行業(yè)積攢了近 10 年的研發(fā)和管理經(jīng)驗(yàn)。他曾在 CVPR/ICCV/ECCV 等計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議發(fā)表論文數(shù)十篇，并曾在美國(guó) National Data Science Bowl 比賽拿下全球亞軍。在創(chuàng)辦 Momenta 之前，曹旭東曾任商湯科技執(zhí)行研發(fā)總監(jiān)，率領(lǐng)百人研發(fā)團(tuán)隊(duì)，具有豐富的管理經(jīng)驗(yàn)及產(chǎn)品落地經(jīng)驗(yàn)。在加入商湯科技之前，曹旭東任職微軟亞研研究員，其研發(fā)技術(shù)廣泛用于 Xbox、Bing、How-old 等知名產(chǎn)品，其中現(xiàn)象級(jí)產(chǎn)品 How-Old 有著數(shù)億用戶。

• 研發(fā)總監(jiān)任少卿，中國(guó)科技大學(xué)和微軟亞洲研究院聯(lián)合培養(yǎng)博士。任少卿先生是當(dāng)前最流行的物體檢測(cè)框架 Faster-RCNN 的第一作者、當(dāng)前最有影響力的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu) ResNet 的第三作者，同時(shí)也曾獲得 ImageNet 2015 物體檢測(cè)、圖像分類、物體定位冠軍，MS COCO 2015 多項(xiàng)比賽冠軍，及 CVPR 2016 最佳論文等眾多榮譽(yù)。

• 研發(fā)總監(jiān)夏炎，中國(guó)科技大學(xué)和微軟亞洲研究院聯(lián)合培養(yǎng)博士，深度學(xué)習(xí)和大數(shù)據(jù)領(lǐng)域?qū)＜?。?Bing 等知名產(chǎn)品中，都有應(yīng)用夏博士的研發(fā)成果。

• 研發(fā)總監(jiān)孫剛，中國(guó)科學(xué)院計(jì)算機(jī)視覺(jué)博士，高性能并行計(jì)算系統(tǒng)專家，大規(guī)模圖像識(shí)別專家。孫剛先生曾獲 ImageNet 2016 場(chǎng)景分類亞軍、ImageNet 2017 圖像分類冠軍，并曾參與設(shè)計(jì)世界上首個(gè)針對(duì)深度學(xué)習(xí)的 GPU 訓(xùn)練集群。

此外，Momenta 的團(tuán)隊(duì)成員主要來(lái)源于 MIT、CMU、清華大學(xué)、北京大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)等國(guó)內(nèi)外高校及研究機(jī)構(gòu)，以及 Google、Amazon、Facebook、微軟亞洲研究院、騰訊等知名高科技公司，擁有深厚的技術(shù)積累、極強(qiáng)的技術(shù)原創(chuàng)力和豐富的行業(yè)經(jīng)驗(yàn)。

Momenta 是一家擁有世界級(jí)研發(fā)能力的公司。下面是深度學(xué)習(xí)領(lǐng)域中比較有名的三項(xiàng)成果，都出自于 Momenta 的核心團(tuán)隊(duì)成員。

第一個(gè)是 SENet，它是業(yè)界性能最好的深度學(xué)習(xí)網(wǎng)絡(luò)單元，Momenta 也憑借 SENet 獲得 2017 年 ImageNet 圖像分類世界冠軍。

第二個(gè)是 Faster R-CNN，任少卿是其作者，它是引用頻率最高的物體檢測(cè)框架，Momenta 在此基礎(chǔ)上做了很多改進(jìn)。

第三個(gè)是 ResNet，它是當(dāng)前最有影響力的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，這篇論文也獲得了 2016 年 CVPR 的 Best Paper。

這 3 項(xiàng)研究成果相關(guān)的論文引用數(shù)已經(jīng)超過(guò) 17000 次；同時(shí)，團(tuán)隊(duì)還拿下 ImageNet 2015 物體檢測(cè)、圖像分類、物體定位冠軍，MS COCO Challenge 2015 冠軍，ImageNet 2017 圖像分類冠軍等一系列國(guó)際頂級(jí)賽事的獎(jiǎng)項(xiàng)。

Momenta 的定位是打造自動(dòng)駕駛大腦，始終專注于在人工智能方面的軟件和算法的實(shí)現(xiàn)上。

Momenta 的技術(shù)包括三大模塊：

基于深度學(xué)習(xí)的環(huán)境感知。它主要解決的問(wèn)題就是，無(wú)人駕駛車輛可以感知它身邊的一些物體，包括靜態(tài)的路面、路牌以及動(dòng)態(tài)的車輛、行人、自行車等等。

高精度地圖。不同于人類司機(jī)，無(wú)人駕駛汽車在道路上運(yùn)行時(shí)非常依賴于高精度地圖，這樣它才能知道其正處于什么樣的位置、要到達(dá)的位置與當(dāng)前位置有什么樣的關(guān)系，并根據(jù)定位和信息去做較為精準(zhǔn)的導(dǎo)航，最終自動(dòng)前往目的地。

駕駛決策算法。駕駛決策由數(shù)據(jù)推動(dòng)，類似于建立一個(gè)擁有 1000 億公里駕駛經(jīng)驗(yàn)的智能司機(jī)。通過(guò)眾包路測(cè)，Momenta 獲得了高精度語(yǔ)義地圖中海量的駕駛軌跡。通過(guò)對(duì)海量駕駛軌跡的學(xué)習(xí)，Momenta 的算法可以根據(jù)當(dāng)前環(huán)境感知和高精度地圖信息，做出駕駛決策規(guī)劃。

基于這些技術(shù)，Momenta 開(kāi)發(fā)了不同級(jí)別的自動(dòng)駕駛方案，而底層技術(shù)之前是有很強(qiáng)的通用性的，后面我再具體介紹。

底層平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)與 AI 算法的反饋閉環(huán)

接下來(lái)介紹一下如何運(yùn)用大數(shù)據(jù)和大計(jì)算平臺(tái)實(shí)現(xiàn)大數(shù)據(jù)與 AI 算法的反饋閉環(huán)。

1. 大計(jì)算平臺(tái)，它是支撐 Momenta 去訓(xùn)練得到一個(gè)比較好的模型所需要的基礎(chǔ)能力，主要是針對(duì)深度學(xué)習(xí)的 GPU 訓(xùn)練系統(tǒng)。在創(chuàng)立以來(lái)的兩年多時(shí)間里，團(tuán)隊(duì)不斷優(yōu)化訓(xùn)練平臺(tái)，在 2018 年上半年，Momenta 的自有平臺(tái)已有數(shù)千塊的 GPU，這個(gè)數(shù)量在創(chuàng)業(yè)公司以及大公司內(nèi)部都是一個(gè)非常大的規(guī)模。不過(guò)僅擁有這么多數(shù)量的 GPU 是遠(yuǎn)遠(yuǎn)不夠的，團(tuán)隊(duì)也設(shè)計(jì)了一種分布式深度學(xué)習(xí)訓(xùn)練系統(tǒng) ROCS，它針對(duì)深度學(xué)習(xí)做了很多優(yōu)化，包括跨服務(wù)器間高速信息傳輸、優(yōu)秀的存儲(chǔ)優(yōu)化，其基于該系統(tǒng)和 SENet，助力了加速產(chǎn)品迭代過(guò)程。這一訓(xùn)練系統(tǒng)的幾大特點(diǎn)是：穩(wěn)定、高效、軟硬件協(xié)同優(yōu)化、易用。

2. 大數(shù)據(jù)平臺(tái)，指的是百億公里數(shù)據(jù)采集能力。Momenta 利用眾包的思路積累駕駛相關(guān)的數(shù)據(jù)。不同車輛所面臨的路況、天氣和光照情況在不同的城市千差萬(wàn)別，積累下來(lái)的數(shù)據(jù)能更好地助力感知算法的研發(fā)。數(shù)據(jù)來(lái)源于產(chǎn)品，通過(guò)多渠道收集來(lái)的數(shù)據(jù)，能讓技術(shù)得到更好的迭代，有助于提升產(chǎn)品的質(zhì)量和性能，最后形成良性的閉環(huán)。

拿到這么多數(shù)據(jù)后，并不能直接接到大數(shù)據(jù)平臺(tái)，中間會(huì)有一些步驟：

第一步是數(shù)據(jù)采集，通過(guò)產(chǎn)品采集數(shù)據(jù)；

第二步是數(shù)據(jù)篩選，數(shù)據(jù)回收后，其中有一些數(shù)據(jù)是沒(méi)用的，所以需要將一些沒(méi)用的、模糊的數(shù)據(jù)挑選出來(lái)去掉；

第三步是對(duì)有效數(shù)據(jù)的數(shù)據(jù)標(biāo)注，數(shù)據(jù)系統(tǒng)實(shí)際已經(jīng)使用了 Momenta 精準(zhǔn)的算法去進(jìn)行檢測(cè)，而這些算法能大大提高標(biāo)注效率，不需要從 0 開(kāi)始進(jìn)行標(biāo)注；

第四步，數(shù)據(jù)接入到 Momenta 的大數(shù)據(jù)平臺(tái)上，進(jìn)行模型訓(xùn)練。

訓(xùn)練過(guò)程其實(shí)是非常需要消耗存儲(chǔ)和計(jì)算資源的，因此內(nèi)部也有一套在線遠(yuǎn)程眾包數(shù)據(jù)標(biāo)注系統(tǒng)，能利用訓(xùn)練結(jié)果模型幫助數(shù)據(jù)篩選，并用算法輔助數(shù)據(jù)半自動(dòng)化標(biāo)注。加入 Momenta 的同學(xué)也有機(jī)會(huì)接觸到這些項(xiàng)目，自己的一些想法也有機(jī)會(huì)去實(shí)踐并驗(yàn)證。

另外值得一提的是深度學(xué)習(xí)算法模型，Momenta 能將性能好的模型更好地集成到產(chǎn)品中。在模型精度幾乎不受損的情況下，讓模型計(jì)算速度提升 10-100 倍，同時(shí)將模型尺寸壓縮 100 倍，讓模型在時(shí)間和空間上都有兩個(gè)數(shù)量級(jí)的提升，并讓訓(xùn)練出來(lái)的模型更好地放入車載嵌入式平臺(tái)等低計(jì)算、低功耗的平臺(tái)上，從而更易于產(chǎn)品化。

此外，公司內(nèi)部還有仿真平臺(tái)，用到了非常專業(yè)的物理仿真引擎，可對(duì)車輛動(dòng)力進(jìn)行真實(shí)仿真，也可以對(duì)在道路上添加動(dòng)態(tài)和靜態(tài)障礙物進(jìn)行仿真，能幫助高級(jí)別無(wú)人駕駛進(jìn)行在線測(cè)試。

Momenta 核心技術(shù)的實(shí)現(xiàn)

具體介紹一下 Momenta 的環(huán)境感知能力，它對(duì)不同類型障礙物進(jìn)行檢測(cè)和識(shí)別。

道路上最常見(jiàn)的障礙物就是車輛，Momenta 現(xiàn)在可以識(shí)別多種車型，而且檢測(cè)的不僅僅是外邊框，還能通過(guò)一些方法去還原出車輛本身接近 3D 的姿態(tài)、輪胎位置等，有了這些信息，就能對(duì)障礙物的相對(duì)速度、離相機(jī)的位置進(jìn)行一個(gè)比較好的估計(jì)，從而更好地判斷車與周圍其他車輛的相對(duì)關(guān)系。

除了車輛，人也是道路上非常常見(jiàn)的障礙物。環(huán)境感知能對(duì)人體的 17 個(gè)關(guān)節(jié)點(diǎn)進(jìn)行追蹤檢測(cè)，識(shí)別每個(gè)路人的姿態(tài)和動(dòng)作，例如識(shí)別人是在騎車還是走路，人如果走路的話，就要檢測(cè)其是否走到車道等與車輛行駛相關(guān)的位置上了；人如果在騎車的話，就會(huì)檢測(cè)其速度和 3D 姿態(tài)。

除了這些動(dòng)態(tài)障礙物，靜態(tài)障礙物對(duì)于車輛也非常重要，包括車道線、路口引導(dǎo)線、交通標(biāo)識(shí)牌、紅綠燈等。例如一些豎著的路燈桿，由于遮擋可能只被識(shí)別出一部分，但是環(huán)境感知算法會(huì)估計(jì)出它們的長(zhǎng)度，并利用一些先驗(yàn)信息確定路燈桿的 3D 位置。另外，車道線也是非常有幫助的語(yǔ)義信息，在這些信息基礎(chǔ)上，再加上交通牌等信息，它可以構(gòu)建基于視覺(jué)的語(yǔ)義地圖。

Momenta 也針對(duì)中國(guó)場(chǎng)景，對(duì)感知算法進(jìn)行了優(yōu)化，對(duì)有國(guó)內(nèi)特色的車輛采集了一些數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行針對(duì)性的訓(xùn)練，以更好適應(yīng)路況、道路上不同類型的障礙物等。

基于車道線、標(biāo)識(shí)牌等信息，Momenta 可以構(gòu)建一個(gè)高精度語(yǔ)義地圖。為什么要構(gòu)建一個(gè)高精度語(yǔ)義地圖？相對(duì)于傳統(tǒng)的地圖而言，Momenta 高精度語(yǔ)義地圖具有如下優(yōu)勢(shì)：

第一個(gè)是支持更快的更新。對(duì)于同類型道路，車輛只需要使用眾包設(shè)備上的相機(jī)進(jìn)行道路采集，就可以更新當(dāng)前所面臨的情況。另外，如果因?yàn)榈缆肪S修以及發(fā)生了一些變化情況，車輛也能通過(guò)攝像頭采集相關(guān)信息，對(duì)其進(jìn)行很好的維護(hù)；

第二個(gè)是高度壓縮。高精度語(yǔ)義地圖的空間存儲(chǔ)占用非常小，此外，還具有更好的魯棒性。一些比較底層的特征，勢(shì)必由于受到光線、觀測(cè)角度等因素，對(duì) 2D 特征的提取產(chǎn)生不利影響，而高精度語(yǔ)義地圖就能減少這些因素的影響；

第三個(gè)是建圖精度和定位精度，高精度語(yǔ)義地圖從不同視角、不同時(shí)間、多攝像頭采集到數(shù)據(jù)，能最大化地保證地圖的精度，天時(shí)能實(shí)現(xiàn)定位精度誤差小于 10 cm。

實(shí)現(xiàn) L4 級(jí)別的自動(dòng)駕駛需要怎樣的技術(shù)與人才

目前 Momenta 累計(jì)完成融資超過(guò) 2 億美金，估值超過(guò) 10 億美金。Momenta 的技術(shù)領(lǐng)先性及產(chǎn)品落地能力除了為資本市場(chǎng)廣泛認(rèn)可外，也深受行業(yè)合作方的認(rèn)可。

接下來(lái)針對(duì)想加入的小伙伴，介紹一下 Momenta 的成長(zhǎng)空間。

Momenta 是一家非常開(kāi)放、具有分享精神的公司，大家加入公司后都有機(jī)會(huì)參加國(guó)際頂級(jí)會(huì)議，聆聽(tīng)行業(yè)專家的分享。另外 Momenta 的培養(yǎng)機(jī)制也非常健全，包括：

以下是 Momenta 的熱招崗位，感興趣的話可以直接掃描右下方二維碼投遞簡(jiǎn)歷。

首先，Momenta 非常通用的崗位就是無(wú)人駕駛軟件開(kāi)發(fā)工程師（C++）。不同于一般的軟件開(kāi)發(fā)，無(wú)人駕駛系統(tǒng)方向的算法和軟件開(kāi)發(fā)對(duì)數(shù)據(jù)結(jié)構(gòu)、算法優(yōu)化能力的要求非常高，需求量非常大但是要求也非常高。不過(guò)這個(gè)崗位有很多機(jī)會(huì)接觸到系統(tǒng)架構(gòu)、算法優(yōu)化的實(shí)踐，而在這些項(xiàng)目中，大家都需要去跟同事進(jìn)行深入的溝通和交流，才能將相關(guān)工作做得非常出色。

Planning 算法工程師也是需求量比較大的崗位，負(fù)責(zé)無(wú)人駕駛汽車的行為預(yù)測(cè)、路徑的決策與規(guī)劃，因此需要用到自動(dòng)化和規(guī)劃學(xué)習(xí)的一些方法。不同的優(yōu)化和算法都有各自的優(yōu)勢(shì)和局限性，因此，這個(gè)崗位需要很好地去運(yùn)用策略，使得駕駛系統(tǒng)對(duì)不同場(chǎng)景能進(jìn)行更好地處理。

傳感器融合與環(huán)境建模算法工程師，需要利用感知來(lái)構(gòu)建精確的車輛周圍動(dòng)態(tài)和環(huán)境信息。該崗位需要對(duì)多相機(jī)、毫米波雷達(dá)、超聲和激光物體檢測(cè)的數(shù)據(jù)進(jìn)行融合，以提高靜態(tài)、動(dòng)態(tài)障礙物位置、速度的估計(jì)精度，從而構(gòu)建環(huán)境感知模型。

無(wú)人駕駛仿真系統(tǒng)工程師，這個(gè)崗位除了仿真器相關(guān)工作，還有很多數(shù)據(jù)方面的工作，另外還需要使無(wú)人駕駛系統(tǒng)在仿真器上更好地還原所看到的情景，對(duì)強(qiáng)化學(xué)習(xí)和機(jī)器學(xué)習(xí)方面的能力都有一些要求。這個(gè)崗位會(huì)與仿真開(kāi)發(fā)的同事進(jìn)行協(xié)作，一起去實(shí)現(xiàn)更真實(shí)的仿真系統(tǒng)開(kāi)發(fā)。

除了研發(fā)相關(guān)的崗位，Momenta 還有一些測(cè)試崗位——無(wú)人駕駛測(cè)試工程師，我希望任職這一崗位的人有相應(yīng)的背景知識(shí)，從而更好地了解無(wú)人駕駛產(chǎn)品怎樣更好地進(jìn)行系統(tǒng)層面的測(cè)試，分析不同的測(cè)試結(jié)構(gòu)，并定位模塊，更好地推動(dòng)開(kāi)發(fā)團(tuán)隊(duì)去改善相關(guān)問(wèn)題。

歡迎大家加入 Momenta，一同在最好的時(shí)間，跟一群對(duì)的人，做一件對(duì)的事。

以上就是本期嘉賓的全部分享內(nèi)容。更多公開(kāi)課視頻請(qǐng)到雷鋒網(wǎng)AI研習(xí)社社區(qū)（https://club.leiphone.com/  ）觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開(kāi)課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。