幾年來智能駕駛成為汽車行業(yè)的焦點，隨著軟硬件性能的提高，廠商們也開始了向更高級別的自動駕駛邁進的研發(fā)之路。

從簡單的控制汽車橫縱向移動到點對點自動駕駛功能的完美實現(xiàn)是眾多汽車廠家及供應(yīng)商鉆研的方向。

在一定程度普及ADAS功能后，依靠高精地圖導(dǎo)實現(xiàn)自動駕駛的領(lǐng)航輔助駕駛（NOA）開始慢慢的出現(xiàn)在大眾視野里。

這其中不乏有些玩家是從L4賽道上切入進來，那么從更高級別的技術(shù)層來到NOA這個賽道，他們又會面臨怎樣的境況呢？

雷峰網(wǎng)(公眾號：雷峰網(wǎng))新智駕邀請了輕舟智航PNC算法總監(jiān)錢祥雋來進行業(yè)內(nèi)分享。以下為錢祥雋的演講內(nèi)容，雷峰網(wǎng)新智駕進行了不改變原意的整理：

大家好，我是錢祥雋。我在輕舟智航從事自動駕駛決策規(guī)劃和預(yù)測算法的研發(fā)工作?；蛘邠Q一個形象的說法，我的工作是讓公司的自動駕駛系統(tǒng)的大腦變得更加的聰明。

今天很榮幸能夠有這樣一個機會去做一個題目為“NOA,新的兵家必爭之地”的直播，來和自動駕駛行業(yè)以及對自動駕駛感興趣的朋友們分享一下關(guān)于高階輔助駕駛上的一些思考。

在正式開始之前，請允許我簡單地介紹一下輕舟智航：輕舟智航是一家以將無人駕駛帶進現(xiàn)實為使命的自動駕駛通用解決方案公司。自2019 年成立以來，我們擁有一支輕、快、高效的科技型自動駕駛團隊，以L4級自動駕駛技術(shù)起步，但是現(xiàn)在已經(jīng)不僅僅是一家 L4 自動駕駛公司；我們堅持以技術(shù)和商業(yè)化并重的發(fā)展思路，實現(xiàn)自動駕駛系統(tǒng)的廣泛落地。

我們的代表產(chǎn)品是「輕舟乘風(fēng)」高階輔助駕駛方案，專門為前裝量產(chǎn)而生；另外我們還有代表著公開道路L4級自動駕駛能力的龍舟系列自動駕駛小巴。

今天我想和大家分享 4 個部分的內(nèi)容：

1.NOA，新的兵家必爭之地

2.NOA技術(shù)路線：百花齊放

3.L4公司切入L2++：機遇和挑戰(zhàn)

4.乘風(fēng)：輕舟L2++解決方案

NOA，新的兵家必爭之地

市場的一些分析數(shù)據(jù)顯示，越來越高階和智能的輔助駕駛目前已經(jīng)成為了汽車高端智能化的大勢所趨。

左邊的數(shù)據(jù)顯示，到2025年，L2以及以上的輔助駕駛的市場滲透率將上漲到40%。右邊的數(shù)據(jù)可以看到，很多消費者越來越關(guān)注車輛智能化，在減少疲勞、解放雙手、增加安全性等方面的一個能力，說明輔助駕駛能力帶來的價值也是越來越受到重視，逐漸成為了一個眾望所歸。

輔助駕駛有著很悠久的歷史的，從 20 世紀 90 年代的輔助駕駛萌芽起，隨著整個汽車的電子電氣化、電動化以及智能化的發(fā)展，輔助駕駛的功能的復(fù)雜度和能力其實也是快速的提升。

從最早的警示類系統(tǒng)，像交通標志識別，車道偏離預(yù)警，到后面的安全干預(yù)類，像AEB、LKA，再到舒適性，像ACC、LCC，再到最近大火的NOA，也就是我們經(jīng)常說的領(lǐng)航輔助駕駛。

整個輔助駕駛系統(tǒng)的研發(fā)速度在不斷地加快，新技術(shù)上車的時間也在不斷地縮減。AEB 從發(fā)明到普及花了大概十多年的時間；現(xiàn)在類似于自動變道這些功能的NOA，從 2019 年特斯拉第一次 release 給大家，到現(xiàn)在國內(nèi)的各個車廠的積極跟進和一些走的快的造車新勢力的量產(chǎn)，只花了不到 4 年的時間，所以整體的技術(shù)迭代是在不斷地加速。

大家都討論NOA領(lǐng)航輔助駕駛，怎么去定義這個NOA呢？NOA其實是特斯拉最早在 2016 年的時候提出的一個概念，用在他們的車上。當然不同的公司其實是有不同的對領(lǐng)航輔助駕駛的叫法，比如說像NGP，NOP等，但總的來說，這些縮寫指的是讓汽車或者讓汽車的控制器去控制油門、方向盤、轉(zhuǎn)向燈，實現(xiàn)點到點的輔助駕駛功能。用戶只需要去監(jiān)控或者在某些情況下去確認和接管。

NOA的Operation Design Domain，也就是設(shè)計運行范圍。每家公司的定義都不完全一樣，但總體來說遵循著從高速到城區(qū)的逐漸高階，逐漸復(fù)雜的一個過程。

一開始會提供在高速上的跟車、變道、避讓等功能，現(xiàn)在走得快的公司其實已經(jīng)能夠提供城區(qū)的一些行車功能，像行人避讓、入口通行、環(huán)島行駛、擁堵路段通行等。

那整個輔助駕駛系統(tǒng)的開發(fā)，其實是一個巨大的產(chǎn)業(yè)鏈，從傳感器到芯片到軟件系統(tǒng).

主辦方在關(guān)于輔助駕駛的talk這個系列里，也邀請到了整個產(chǎn)業(yè)鏈，產(chǎn)業(yè)鏈由上至下的不同的公司。那在這里我們其實主要關(guān)注的還是NOA的軟件系統(tǒng)提供商。

NOA的軟件技系統(tǒng)提供商在國內(nèi)也是包括各種各樣不同背景的公司。從傳統(tǒng)的Tier 1，到造車新勢力的內(nèi)部自研團隊，到車企研究院，再到之前在AI領(lǐng)域，通過AI切入輔助駕駛，再到一些一直深耕在L2或L2+的一些創(chuàng)業(yè)公司，最后再到L4的自動駕駛公司。

這些不同背景的公司，乃至同樣背景不同的公司，對NOA的理解，或者采用的技術(shù)，都有可能很不一樣。

這里還提到的一點是，可以簡單地估算一下整體的市場容量。在最理想的情況下，中國去年銷售了 2500 萬臺車，假設(shè)整個自動駕駛軟件系統(tǒng)是2000人民幣，市場容量大概是 500 億。所以預(yù)期未來的自動駕駛軟件系統(tǒng)市場，會像現(xiàn)在電車市場一樣，有著相對來說比較殘酷的競爭以及整合。

眾多玩家都在這塊兵家必爭之地上，那么整個競爭會怎么開展呢？我們主張NOA的目的，是實實在在為用戶去帶來價值，這個價值可以分成3個層次——能用、好用和愛用。該分類是根據(jù)技術(shù)的發(fā)展階段，還有輔助駕駛的適用范圍去做的。

能用就是可以使用一個基礎(chǔ)的高速NOA體驗，在路況條件較好的情況下，能夠提供一個可用的輔助駕駛選擇。

好用是能夠達到較好的高速NOA體驗。接管率較低，在絕大部分高速的場景下都可以啟用，在部分較好、條件較好的城市路段也能啟用。

最后最高的一個層次就是愛用，能夠?qū)崿F(xiàn)較大ODD范圍內(nèi)的城市NOA點到點的自動駕駛，能夠在廣泛的場景下達到一個很好的駕駛的體驗，讓整個輔助駕駛像幫助開車，讓開車像打車一樣輕松，形成用戶對輔助駕駛的使用產(chǎn)生依賴。

那么怎樣能夠讓用戶對輔助駕駛做到愛用的層次？那就需要把城市NOA做得非常非常好。

NOA技術(shù)路線：百花齊放

在介紹具體的技術(shù)路線之前，簡單地介紹一下輔助駕駛系統(tǒng)車載端（onboard）的整體架構(gòu)。

用輕舟智航舉例子，我們的輔助駕駛硬件部分主要是由地平線的雙征程5平臺以及各類的傳感器組成。

構(gòu)建在硬件平臺之上，有一個中間件部分，底面包括底層的 Linux 操作系統(tǒng)和實時補丁，我們的消息中間件以及一些系統(tǒng)監(jiān)控的中間件。功能模塊，就是我們相對比較熟悉的感知模塊、地圖模塊、預(yù)測模塊、決策規(guī)劃、定位控制底盤等功能模塊。這些功能模塊共同支撐起了我們在應(yīng)用層上各類的L2的輔助駕駛功能。

今天我們希望能夠著重去討論一下這幾個模塊：傳感器、感知、地圖和決策規(guī)劃它們里面的不同技術(shù)路線。

·傳感器

在傳感器層面，除了特斯拉，一般都選用多傳感器組合。其中主傳感器一般選用攝像頭，因為攝像頭能夠?qū)囕v周圍進行一個相對比較好的視覺感知。

另一個常用的傳感器是激光雷達，它的主要優(yōu)勢是能夠提供一個精確的深度信息，因為其激光點云的特性，能夠很好地捕捉到視覺沒有明確分類的一些路上障礙物，像一些地面凸起等。

還有常用的是毫米波雷達。現(xiàn)有的毫米波雷達主要優(yōu)勢在于對車輛的速度的直接測量，以及對于惡劣天氣的一些抗性。但是它的雷達點云相對比較稀疏，對障礙物的細節(jié)捕捉不是特別好。

除此之外，也有一些其他輔助的sensor，像超聲波等。

在傳感器的選用層面，特斯拉和中國廠商有著很明顯的區(qū)別。Elon Musk一直推崇所謂的“第一性原理”——如果人能夠通過一雙眼睛去實現(xiàn)環(huán)境感知，那么機器依賴攝像頭加深度學(xué)習(xí)算法就也可以做到。所以特斯拉當前的傳感器架構(gòu)是一個基于8V（8個攝像頭）系統(tǒng)的架構(gòu)，通過此系統(tǒng)，能夠?qū)崿F(xiàn)高速和城市的NOA，或者叫FSD。

我們對中國市場的主流方案也做了一些調(diào)研，中國市場可以分成低、中、高三個方案。

低配方案一般由單目前視攝像頭加上多個毫米波雷達組成，能夠?qū)崿F(xiàn)AEB、ACC和LCC等功能。如果把毫米波的數(shù)量增加到覆蓋側(cè)方和后方，也可以實現(xiàn)一些基本的NOA功能，但是因為毫米波的特性，對側(cè)方的檢測有一定漏檢的可能，所以在NOA變道時，為了安全起見，會需要用戶去做確認。按照我們的定義，這類高速NOA可以認為是屬于“能用”階段。

中配一般是多攝像頭視覺加毫米波的方案，通過多個攝像頭去做360度的視覺覆蓋，再通過毫米波去輔助，能夠?qū)崿F(xiàn)高速NOA和城市NOA功能，結(jié)合較好的算法能力，能夠?qū)崿F(xiàn)“好用”甚至“愛用”的一個目標。

最后高配一般會在中配的基礎(chǔ)上增加1-3顆激光雷達，激光雷達一般會排布在前向和側(cè)前向，進一步增強整個傳感器的冗余和對一般障礙物的檢測，提供更好的安全性。

·感知算法

選定傳感器之后，重要的工作是把傳感器的輸入，內(nèi)化成自動駕駛系統(tǒng)對環(huán)境的理解，這就需要感知算法。

在這里主要討論作為主傳感器攝像頭感知算法和多傳感器融合算法的一些不同技術(shù)選擇。

在視覺3D感知的早期主流方案就是單目3D，去年的很多量產(chǎn)方案都是用的單目 3D 的方案。單目3D通過2D做障礙物的檢測，使用一些接地點、平面假設(shè)，通過深度估計的方法把2D障礙物投影到一個3D空間。

如果是多攝像頭系統(tǒng)，就會分別用這個方法把不同攝像頭的單目檢測結(jié)果匯總到一起。

以上方法經(jīng)過多年的打磨，目前已經(jīng)是比較成熟。以前的一個很重要的問題就是2D到3D投影假設(shè)不成立，比如像平面假設(shè)。

我之前的工作經(jīng)歷，有過跟車的問題，如果車用非?？斓乃俣热ソ咏o止的前車，那我們檢測攝像頭檢測到前車，就要開始剎車，如果剎車比較猛，車身就會開始點頭，車身會往前傾，一旦往前傾，前車在攝像頭的位置上就會往上移動，整個平面假設(shè)就不成立了，因為車是一個傾斜狀態(tài)。

隨著汽車剎車點頭，前車的檢測就往遠方去了，系統(tǒng)檢測不到前方障礙物就不去剎車，繼續(xù)向前行駛。向前行駛狀態(tài)下汽車恢復(fù)水平狀態(tài)，又可以檢測到前車，如此反復(fù)會導(dǎo)致系統(tǒng)作出多次連續(xù)急剎現(xiàn)象。這是三四年前研發(fā)時的一些問題，是自動駕駛的田園時期。

現(xiàn)在這些問題可以通過各種各樣的方法解決，包括后處理。現(xiàn)在單目感知做得很好的同行，后處理代碼相對來說是非常的多，會用各種各樣的辦法去解決這些單目所遇到的問題。

最近，隨著整個AI算力的增加和Transformer結(jié)構(gòu)的流行，多攝像頭的BEV算法迅速得到了很大的重視。簡單地說，BEV算法就是把多攝像頭的圖像投射到一個俯瞰的空間之后再去做檢測。

BEV最大好處是能夠?qū)W會投影的一些參數(shù)，只要數(shù)據(jù)夠多，那能夠?qū)W會各種駕駛情況下的3D環(huán)境感知。

BEV也存在著算力消耗大、整體檢測距離相對較短的問題。這個檢測距離較短主要是因為要構(gòu)建一個Feature Map，F(xiàn)eature Map 如果特別大，整體的性能會受到一些影響。

在單目3D時代，把多個傳感器的數(shù)據(jù)分別用規(guī)則或者模型去計算，再整合到一起，每個傳感器獨立的Pipeline提供了較好的魯棒性和冗余。這種后融合方案一直受到歡迎。

除此之外，前融合是把傳感器的數(shù)據(jù)先做時間同步整合到一起，再進入模型。在最近 BEV 大火之后，前融合受到了更多的關(guān)注。因為在視覺圖像到了BEV的俯瞰空間后，它和激光雷達點云的前融合變得相對來說很自然，效果也的確很好。

傳感器失效和冗余也是要考慮的，因為把所有的數(shù)據(jù)都輸?shù)揭粋€前融合里面，如果傳感器失效，怎么去處理也是一個非常重要的一個問題。

·地圖

車跑起來除了需要能夠理解環(huán)境的動態(tài)元素外也需要理解靜態(tài)元素——地圖。

對地圖的使用也有多套的技術(shù)方案。從最早的單目3D車道線檢測，和之前的單目3D有點類似，有時也會共享一個backbone。單目3D車道線檢測，能夠支持高速的巡航以及變道。但對于上下匝道這種情況，由于一般單目3D車道線檢測會有一些車道線是互相平行的假設(shè)，那就會出現(xiàn)問題。一些高速LCC的車輛，在下匝道時，對匝道的車道線檢測會有發(fā)生異常的情況，此時如果有車道線檢測，基礎(chǔ)的輔助駕駛功能體驗就會得到提升。

除此之外，高精度地圖也是十分重要?？梢允孪炔杉缆非闆r，提供一個精確的地圖。

在高速上，很多圖商都實現(xiàn)了全國覆蓋，使用效果也很不錯，能夠達到好用甚至愛用，但在城區(qū)采集，整體成本就上升了很多，而且城區(qū)道路變化多，經(jīng)常有臨時修路，過度依賴高精度地圖會帶來一些安全問題。

地圖層面最近的進展是BEV在線建圖，這個跟之前提到的的視覺BEV大模型也是分不開的：通過最新的深度學(xué)習(xí)方法，可以實時在線預(yù)測出道路的情況——包括車道的連接關(guān)系，配合普通的車載導(dǎo)航，就能夠?qū)崿F(xiàn)NOA。BEV在線建圖再一次體現(xiàn)了第一性原理的強大之處。這個算法輕舟也是取得了較大進展，最近輕舟發(fā)布的NOA方案——輕舟乘風(fēng)正是基于此算法。

·決策規(guī)劃

決策規(guī)劃是自動駕駛的大腦，它決定了車輛在短期和中期的駕駛行為。自動駕駛的決策規(guī)劃會根據(jù)環(huán)境障礙物和地圖的信息規(guī)劃未來數(shù)秒的軌跡，然后將軌跡傳送到控制模塊進行跟蹤。

最早的輔助駕駛中其實不存在軌跡的概念。在高速公路上，最早的輔助駕駛通常通過自車和前車的位置差以及速度差來計算自車的目標加速度，并直接使用PID控制器進行跟車。同時，在橫向上可以控制車輛跟蹤當前車道的中心線，這種方法可讓車輛保持在車道中心。這種控制方法還可擴展到變道，只需逐漸將整個中心線從當前車道移到目標車道即可實現(xiàn)變道功能。

這樣可以實現(xiàn)某種意義上的NOA。這種方法相對簡單、高效、魯棒，一些量產(chǎn)的低算力平臺很可能采用這種方法；但在復(fù)雜的路況下，這種設(shè)計可能會比較困難。

除此之外，時空解耦是常用的方法。時空解耦方法首先規(guī)劃路徑以繞開靜態(tài)障礙物，然后規(guī)劃速度，并將路徑和速度結(jié)合起來。整體效果相對不錯，但在高動態(tài)場景或城市中需要路徑和速度配合的情況下就比較難取得較好的效果。當然，我們也可以通過規(guī)則以及各種各樣的近似方法在時空解耦的基礎(chǔ)上考慮一些時空聯(lián)合問題，但是在代碼層面或者規(guī)則層面就需要花大量的精力。

輕舟智航采用自研的時空聯(lián)合規(guī)劃算法，在三維空間中進行規(guī)劃，可以較自然地處理各類動態(tài)和靜態(tài)障礙物。當然，在XYT三維空間內(nèi)進行規(guī)劃，維度增加了一維，計算復(fù)雜度也上升。輕舟智航在算法、算法系統(tǒng)和指令集等方面進行了優(yōu)化，這些優(yōu)化可以很好地在雙J5平臺上運行時空聯(lián)合規(guī)劃算法。

最后，在逐步將數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)模塊納入決策、規(guī)劃和算法的過程中，特斯拉在去年的AI Day中介紹了一種基于Mont Carlo Tree Search（蒙特卡羅搜索）的Learning Base方法。這種Learning Base 方法的優(yōu)勢在于城區(qū)的高交互、高博弈的場景內(nèi)能夠大幅地提高整體的表現(xiàn)，因為它是根據(jù)自車狀態(tài)和站位的狀態(tài)去實時地去做博弈、去考慮交互。

·未來技術(shù)預(yù)測

從傳感器層面，明年或者未來的傳感器應(yīng)該是中配的攝像頭加毫米波，高配的攝像頭激光雷達毫米波配置。有一個變量就是最近很火的4D毫米波雷達，它可以提供類似于激光的稠密點云，同時加上一些速度信息。所以也要實時地去關(guān)注新傳感器對于整體的自動駕駛方案的影響。

那在感知層面， BEV時序融合大模型肯定是未來的趨勢。當然為了保證整體系統(tǒng)的冗余，BEV時序大戶模型會結(jié)合一些單獨鏈路模型，比如單攝3D模型，或者激光模型，或者毫米波模型，這樣單獨的鏈路作為校驗和冗余。

在地圖層面，如果想要實現(xiàn)城市的NOA輔助駕駛，和感知共享BEV大模型主干網(wǎng)絡(luò)的在線建圖也是非常的重要。

最后在決策規(guī)劃層面，沒有那么激進，整體決策規(guī)劃還是從時空聯(lián)合逐漸地向Learning base演化。會在時空聯(lián)合里面加更多的數(shù)據(jù)驅(qū)動模塊，去做更好的決策，更好的博弈，實現(xiàn)更好的一個效果。

L4公司切入L2++：機遇和挑戰(zhàn)

輕舟智航作為L4技術(shù)公司，切入 L2 +有什么優(yōu)勢和挑戰(zhàn)。

我們認為NOA的復(fù)雜度其實給L4公司帶來了一些機遇。在愛用級別的NOA上，是擁有優(yōu)勢的。

這里借用輕舟智航的雙擎戰(zhàn)略做解釋。

L4公司在Robotaxi和Robobus上有著比較深厚的技術(shù)積累。對于城區(qū)復(fù)雜路況的理解，是能夠很好地去促進NOA，特別是城市NOA的研發(fā)。同時為L4構(gòu)建了整體的數(shù)據(jù)平臺、訓(xùn)練平臺。也能很好地去促進整個NOA的數(shù)據(jù)閉環(huán)，反過來NOA前樁量產(chǎn)的大量數(shù)據(jù)回流，也能夠促進整體的自動駕駛技術(shù)的進步。

我們內(nèi)部常說城市NOA是輔助駕駛的一個天花板，也是無人駕駛的一個入門檻。L4公司做NOA面臨了很多的挑戰(zhàn)。在這里主要講四個挑戰(zhàn)。

挑戰(zhàn)

·技術(shù)

在成熟度方面，L4技術(shù)相對較高。然而，之前L4為解決城區(qū)復(fù)雜問題而依賴于激光雷達，尤其是360度全覆蓋的激光雷達和高精度地圖。如果NOA量產(chǎn)成功，就需要去除對高精度地圖和全覆蓋激光雷達的依賴。

·成本和算力

L4可使用工控機，許多L4公司都使用工控機，英特爾也不再擠牙膏。控機可以擁有32個X86核心，每個核心的主頻都非常高。它們可以裝備兩張2080甚至3080的顯卡，所以不能說是算力充沛，但是那基本上就算是算力爆炸了。

輕舟智航可以使用工控機，并規(guī)劃出10多條時空聯(lián)合軌跡，在這些軌跡中選擇最佳軌跡執(zhí)行，效果非常好。在量產(chǎn)的嵌入式平臺上，如何減少算力消耗而不降低整體系統(tǒng)性能，也是一個重要的挑戰(zhàn)。

在量產(chǎn)式的嵌入式平臺上，怎樣能夠減少算力消耗的同時不要去降低整體的系統(tǒng)表現(xiàn)，也是一個非常重要的挑戰(zhàn)。

·產(chǎn)品意識和功能安全

NOA不管是多么的自動化，接管率有多低，歸根結(jié)底在設(shè)計層面就是人機共架的狀態(tài)。怎樣能夠讓用戶清楚地知道車輛的意圖，讓他能夠認識到NOA的邊界，能夠平滑地在人駕和機器駕駛上切換，更多的是產(chǎn)品問題。同時功能安全，像高可靠性、是需要在量產(chǎn)中實現(xiàn)的目標。

·L2大補課

一般來說自動駕駛系統(tǒng)都是一體的，給車廠提供的功能都是一個大的軟件包。這對供應(yīng)商的要求就會十分高。所以 L4 公司想要在這個行業(yè)占有一壁，占有一席之地，就需要迅速地補上L2的一些技術(shù)，能夠給車廠去提供一個完整的解決方案。

乘風(fēng)：輕舟L2++解決方案

在這里，我要向大家介紹輕舟乘風(fēng)高階輔助駕駛的兩個配置樣例。其中，城市NOA版本采用了一顆激光雷達、11個攝像頭和5個毫米波雷達，其中包括七個行車和四個泊車攝像頭。該版本基于雙J5平臺，實現(xiàn)了高速和城市NOA以及L2全功能。而高速NOA版本則通過去掉激光雷達和砍掉一顆J5芯片，實現(xiàn)了高速NOA加L2全功能。目前，我們正在測試純視覺，使用雙J5平臺，以實現(xiàn)城市加高速NOA以及L2全功能。

在感知層面，我們擁有業(yè)界領(lǐng)先的BEV時序大模型。加上多傳感器，我們能夠進行多傳感器融合，同時執(zhí)行檢測、分割等多個任務(wù)，提供非常豐富的感知輸入給下游的模塊。

在決策規(guī)劃層面，我們采用了業(yè)界相對比較先進的時空聯(lián)合算法。該方法的內(nèi)在靈活性更加適應(yīng)中國的復(fù)雜道路路況。

我們還使用了基于向量化的預(yù)測模型，通過深度模型提供長時的意圖加軌跡預(yù)測，能夠輸出至多3條帶概率的軌跡，支持同時推理128個目標，且整個推理耗時小于20毫秒。為適應(yīng)地平線J5平臺，我們還進行了相應(yīng)的適配和優(yōu)化，從而在該平臺上提供了非常好的效果

輕舟智航的預(yù)測模型整體性能在整個行業(yè)中處于領(lǐng)先地位。在Argoverse的2021年和2022年競賽中，我們分別獲得了冠軍和季軍。今年，我們的預(yù)測模型還發(fā)表在了CVPR上，如果大家感興趣的話，可以等待2023年CVPR文章的發(fā)布?？傮w來說，我們的預(yù)測模型設(shè)計非常精巧，我個人非常推薦大家閱讀這篇論文。

輕舟智航的思考：智能駕駛的演進將呈現(xiàn)出一個階梯式、漸進式的四化發(fā)展趨勢。這不僅是行業(yè)發(fā)展的必然趨勢，也是整個產(chǎn)業(yè)上下游需要共同努力的方向。其中的四化包括將入門體驗標配化，不斷將成熟的、基本的智能駕駛系統(tǒng)模塊化，以降低額外的研發(fā)和適配成本，讓其能夠快速地應(yīng)用到車輛上。

在終端體驗方面，我們希望實現(xiàn)標準化，持續(xù)推動智能駕駛各種常用的功能和應(yīng)用，例如場景定義、體感、舒適度等，為用戶帶來明確的預(yù)期和統(tǒng)一的體驗。

在高端體驗上大眾化，不斷將最先進的功能從高價位車型下沉到普通車型上，在售價不變或更低的前提下，逐步提升整個NOA系統(tǒng)的裝配率。

最后，是極致體驗的革新化。技術(shù)能夠持續(xù)創(chuàng)新，不斷解鎖智能駕駛技術(shù)應(yīng)用的新場景和人機共駕的新體驗。

最后的最后有一個小彩蛋，我在直播開始前打開了ChatGPT，并向它詢問：“城市領(lǐng)航輔助駕駛的普及需要解決哪些問題？”ChatGPT詳細地給出了五個解答。ChatGPT的出現(xiàn)給人一種技術(shù)的全新感受。自動駕駛從一開始到現(xiàn)在經(jīng)歷了多年的發(fā)展歷程，經(jīng)歷了各種起起伏伏。但是，ChatGPT的出現(xiàn)讓我覺得自動駕駛也很有可能在深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的快速發(fā)展以及爆炸式的應(yīng)用中得到廣泛應(yīng)用，包括輔助駕駛和L4自動駕駛。

好的，謝謝大家。

Q&A環(huán)節(jié)

1.整個BEV在線建圖的精度可以達到什么樣的一個水平？

這塊的話，其實因為我主要的工作還是在決策規(guī)劃上面，所以對于具體的指標我不是特別確定。但是從我們決策規(guī)劃的這樣一個應(yīng)用的角度來說，在BEV的這樣一個在線建圖，測試它達到基本上可以達到高精度地圖的這樣一個效果。

整個BEV的好處還是說在于，因為它的這些投影，最終它的那些參數(shù)通都是通過模型去學(xué)出來的，所以只要你的數(shù)據(jù)豐足夠的豐富，足夠的泛化，那其實他學(xué)出來的效果的確是非常的不錯，也能夠讓我們的決策規(guī)劃去計算出比較好的，比較平滑、比較穩(wěn)定的一個軌跡。

2.定位的方案如何？

如果是高速NOA或者城市NOA，定位一般還是基于矢量化的定位，根據(jù)車道線以及道路上的一些元素，視覺的元素通過視覺去做定位。

3.能耗怎么樣？

NOA用嵌入式平臺的話，整體能耗其實還是相對來說比較低的。我沒有一個特別確切的數(shù)字大概，整個域控應(yīng)該是在 200 瓦以下，就整個域控。我可能要說一個免責(zé)聲明，但是我記得應(yīng)該是在 200 瓦以下。

好處就是因為整個汽車都是在電動化、智能化，電動車它其實有充足的電力支持，整個電動車它其實電力主要的花銷還是在電驅(qū)上，給域控制器的話，整體相對來說非常的充足的。

4.城區(qū)用了 HD map？

在我們剛才展示的demo里面用了HD map的。整個Map Less的方案也是在未來會推出，希望大家能夠持續(xù)地關(guān)注。

5.整個調(diào)頭是怎么實現(xiàn)的？

調(diào)頭就是正常的一個規(guī)劃，因為道路在路口的地方肯定也是有調(diào)頭的連接。有了調(diào)頭的連接之后，就可以通過規(guī)劃算法去規(guī)劃一個調(diào)頭。

6.用x、y、 t 做規(guī)劃的一個思路為什么不是 s l t？

其實 xyt坐標系在國內(nèi)其實應(yīng)用還是非常的廣泛的，它整體的設(shè)計起來還是相對來說會更加的輕松一些。因為我們把一個曲線通過參考線的設(shè)計，可以把這規(guī)劃去投射到一個曲線的坐標系下，在曲線坐標系其實所有東西就拉直了，規(guī)劃起來會比較的容易一些。

但是 SLT 坐標系，特別是 SL Frana 坐標系，在曲率比較大的情況下，它其實有一個投影畸變的問題。如果你想要去實現(xiàn)比如說擁堵場景下的繞賬，或者說掉頭的情況等，那這個畸變的影響可能就會相對來說比較大。所以在一開始的時空聯(lián)合里面，就選用了x、y、 t 的這樣一個思路去做，去實現(xiàn)一個非常好非常精確的規(guī)劃。所以我們的這樣一個時空聯(lián)合規(guī)劃，其實可以在有非常多障礙物的情況下去運行的。

7.J5能部署前融合和BEV模型嗎？

可以的，J5可以部署一個前融合和BEV模型，當然肯定需要一些優(yōu)化。

8.雙J實現(xiàn)城市NOA功能的 AI 算力資源？

J的話，單J5應(yīng)該是 128 tops。整體的話這個J5的算力是夠部署AI 模型的。

9.特斯拉沒有高精度地圖的城市NOA路口左右轉(zhuǎn)的功能是怎么實現(xiàn)的？

Mapless 或者說城區(qū)的感知地圖，或者說在線建圖的方案，它的精髓就是能夠構(gòu)建出不僅僅構(gòu)建出我們的curb，就是說整個車道線，我們的車道邊緣，它的精髓是能夠構(gòu)建出我們的車道中心線。就虛擬的車道中心線以及車道的連接關(guān)系。所以用一個在線建圖算法的時候，當你的車開到路口之前的，它其實就能根據(jù)入口的形狀去構(gòu)建出來，在哪個車道你可以右轉(zhuǎn)，哪個車道直行，哪個車道左轉(zhuǎn)，再結(jié)合你的 SD 地圖的一個導(dǎo)航，就可以實現(xiàn)一個基于在線建圖的左轉(zhuǎn)右轉(zhuǎn)等功能。從 PNC 來說，其實你不管是在線建圖還是高精力度高精度地圖，雖然可能從它的精度或抖動上會有一定的區(qū)別，但從 PNC 的角度來說，在線建圖的效果其實目標就是要是達到像高精度地圖這樣的效果。

10.請問時空聯(lián)合大概占單J5的多少資源？

這個的話可能不是特別好透露，因為這個的確也是公司的一個相對來說比較重要的一個知識產(chǎn)權(quán)。如果大家感興趣的話，可以線下去找我們公司去接觸，跟你們這邊做一個溝通。

11.輕舟智航是云上訓(xùn)練還是線下集群訓(xùn)練？大概涉及多大的算力？

輕舟智航跟火山引擎有一個比較好的一個合作關(guān)系，所以我們的訓(xùn)練都是有一部分是在火山云引擎的云上去做的。我們整體的算力也是非常 scalable 的，如果我們要訓(xùn)練大模型的話，會用一些更多的卡。

12.有沒有考慮交互？

整體交互肯定是有考慮的，在時空聯(lián)合的方法里面，也有考慮交互的一些算法，這些算法其實都是基于數(shù)據(jù)驅(qū)動的方法去構(gòu)建一些深度學(xué)習(xí)的模型，去判斷說障礙物和自車之間的交互的關(guān)系，也會做一些假設(shè)。當然我們采用的是剛才提到的一個漸進式的方法。所以我們現(xiàn)在其實并不是完全是像特斯拉這種直接的一個 MCTS 的一個方法。我們還是在時空聯(lián)合框架內(nèi)去逐漸地把一些模塊替換成我們基于深度學(xué)習(xí)的模塊，這些模塊就能提供一些交互的功能。

13.強化學(xué)習(xí)在決策規(guī)劃上的應(yīng)用，輕舟智航已經(jīng)做了落地應(yīng)用強化學(xué)習(xí)么？

其實我們會用強化學(xué)習(xí)來做我們的駕駛決策模型的一個訓(xùn)練。對，這個具體的細節(jié)的話，其實你們可以參照一下類似于像WAYMO的ChaffeurNet。

14.時空聯(lián)合對于求解器是否有更高的定制要求？

對的，我們的時空聯(lián)合使用并沒有使用任何的開源或商業(yè)的求解器，我們整個時空聯(lián)合的求解器都是自己去設(shè)計的，也是我們的一個核心的競爭力。

15.x，y， t 怎么考慮車道邊界？

其實不管是在x，y，t，或者說在s，l，t，其車道邊界都可以通過一些方法，不管是 Spline 或者說是一些離散化的點去建模，都是能夠去考慮進去的。

16.在線建圖可以和其他車共享嗎？

如果整個完整的數(shù)據(jù)閉環(huán)搭建起來的話，那在線建圖是可以和其他的車共享的。其實在線建圖包括兩部分，一部分現(xiàn)在在車上去使用的這樣一個在線電圖，另外一部分是在線建圖的結(jié)果，或者說一些中間結(jié)果?？梢酝ㄟ^云端去做一個回傳。多個車輛在相同的地方或者說在類似的地方的在線箭頭的結(jié)果是可以做一個融合，再去生成類似離線的高精度地圖。這個高精度地圖其實又可以反哺，作為你模型訓(xùn)練的一些參考。

17.目前遇到的 corner case，比如說感知的光照，非規(guī)范目標 ODD 場景，有什么解決途徑？

其實 corner case 解決有兩個途徑，一個是技術(shù)途徑，一個是非技術(shù)的途徑。

在技術(shù)途徑層面，比如說我們可以去加一些數(shù)據(jù)，通過加上各種各樣的不同光照場景下的一些數(shù)據(jù)，去做訓(xùn)練，這樣能夠讓你更好地去適應(yīng)這種不同的情況。非規(guī)范目標其實特斯拉也提到過，我們可以用一個 occupancy network，就是通過視覺，生成一個占據(jù)的柵格圖，或者前視激光雷達，其實也是可以去識別一些非規(guī)范的目標。

非技術(shù)途徑，更多是產(chǎn)品的設(shè)計層面，如果系統(tǒng)能夠知道現(xiàn)在的場景可能有一些問題、風(fēng)險的情況下，可以通過產(chǎn)品設(shè)計的一個角度去提示用戶這種場景下可能相對比較危險，或者說有些問題，建議用戶提高警惕，或者說直接接管，因為輔助駕駛它的目的不是說我要取得非常好的MPI，它的目的是能夠流暢的，在安全的情況下去替代司機，在不安全的情況下去提醒司機，去流暢地實現(xiàn)人機共架。

18.前面終端硬件配置6V5R，成本1萬塊，應(yīng)該沒算域控制器？

這個我首先免責(zé)聲明，這個的確我也不是特別清楚，但是我按照我獲取的知識，應(yīng)該是算了域控制器的。

19.感知不確定性或者障礙物的檢測跳動如何在決策規(guī)劃的考慮范圍內(nèi)？

首先就是這個其實是一個整體系統(tǒng)的問題。我們要盡量地去降低整體感知的不確定性，或者說障礙物的檢測跳動。在感知層面其實可以做各種各樣的處理，不管是從數(shù)據(jù)的角度，后處理的角度等都可以做處理。除此之外，障礙物本身的確也有內(nèi)生的不確定性，比如說預(yù)測的不確定性，就對它未來的一些規(guī)劃的一些不確定性。那這些不確定性其實你可以通過一些數(shù)學(xué)的方法去表示，比如說用華為的高斯分布等，這些不確定性通過數(shù)學(xué)方法表示之后，是可以考慮在決策、規(guī)劃算法的框架里面，去實現(xiàn)對不確定性的一個比較。

20.現(xiàn)在 AI 是數(shù)據(jù)驅(qū)動的，他想問問目前單模型訓(xùn)練的數(shù)據(jù)最大有幾個t？

因為我也做一些預(yù)測相關(guān)的工作。那舉我們輕舟的預(yù)測做一個例子，我們預(yù)測現(xiàn)在預(yù)訓(xùn)練我們的模型用的數(shù)據(jù)是1億。當然這1億數(shù)據(jù)具體的有多少 t 我還不是特別確定，應(yīng)該是在幾十 t 的樣子。這個是預(yù)測的一個數(shù)據(jù)，因為預(yù)測數(shù)據(jù)其實都是向量化的表示，可能比感知的數(shù)據(jù)要相對來說它的體積要小一些。我們感知的訓(xùn)練可能它用的數(shù)據(jù)會更加的多，它的占用的內(nèi)存，占用的硬盤可能會越更加的多。

好了，那今天也是非常感謝大家。也是感謝大家積極地去做這樣一個提問和交互，然后后續(xù)如果大家對輕舟智航感興趣，也可以聯(lián)系輕舟智航相關(guān)的人員。

非常感謝我們的主辦方給我們提供這樣一個機會，去做對城市NOA，對L4切入NOA做一個探討。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。