雷鋒網(wǎng)按：本文內(nèi)容來(lái)自智行者科技 CEO 張德兆在硬創(chuàng)公開(kāi)課的分享，由雷鋒網(wǎng)旗下欄目“新智駕（微信號(hào)：AI-Drive）”整理。

張德兆，清華大學(xué)汽車(chē)工程系學(xué)士、博士。曾任北京智華馭新汽車(chē)電子技術(shù)開(kāi)發(fā)有限公司（簡(jiǎn)稱(chēng)「智華」）CTO，總經(jīng)理，負(fù)責(zé)前裝車(chē)道偏離預(yù)警系統(tǒng)和前裝 360 度全景系統(tǒng)研發(fā)、AEB、ACC、LKS 樣車(chē)開(kāi)發(fā)等多項(xiàng)高難度研發(fā)工作。2015 年，創(chuàng)辦北京智行者科技有限公司（簡(jiǎn)稱(chēng)「智行者」），并擔(dān)任 CEO。

智行者的定位是自動(dòng)駕駛智能車(chē)方案系統(tǒng)提供商，主要聚焦中央決策系統(tǒng)的開(kāi)發(fā)以及系統(tǒng)集成。

以下內(nèi)容是張德兆在雷鋒網(wǎng)硬創(chuàng)公開(kāi)課上的分享：

我今天介紹的主題是「自動(dòng)駕駛智能車(chē)控制決策系統(tǒng)開(kāi)發(fā)」。我會(huì)從 4 個(gè)方面去闡述，包括：

• 概述；

• 多傳感器信息融合；

• 決策規(guī)劃；

• 車(chē)輛控制決策算法。

概述

先談?wù)勎覍?duì)智能車(chē)商業(yè)化路徑的一個(gè)大概思考。

汽車(chē)的第一屬性是交通和運(yùn)輸工具，但在無(wú)人駕駛時(shí)代，特別是在物聯(lián)網(wǎng)時(shí)代，汽車(chē)將會(huì)具備第二個(gè)屬性：終端和管道。這有可能才是智能車(chē)最大的商業(yè)變現(xiàn)點(diǎn)。但第二屬性需要智能車(chē)大量普及之后才能顯現(xiàn)。

現(xiàn)階段智能車(chē)可以在一些限定應(yīng)用場(chǎng)景下實(shí)現(xiàn)快速市場(chǎng)化，例如最后一公里的出行、固定路線的作業(yè)車(chē)、物流配送等等。

智能車(chē)涉及的產(chǎn)業(yè)鏈非常長(zhǎng)，先不說(shuō)后續(xù)的運(yùn)營(yíng)和服務(wù)，光是智能車(chē)開(kāi)發(fā)本身就涉及環(huán)境感知、中央決策、底層執(zhí)行等多個(gè)模塊，每一個(gè)模塊拎出來(lái)都可以造就一批偉大的公司。

智行者主要聚焦在中央決策系統(tǒng)的開(kāi)發(fā)以及智能車(chē)整個(gè)大系統(tǒng)的集成，主要包括三部分工作：多傳感器信息融合；決策規(guī)劃；車(chē)輛控制。

如何做多傳感器信息融合

智行者對(duì)各個(gè)傳感器本身不進(jìn)行研發(fā)生產(chǎn)，而是找合作方合作供應(yīng)。但是，現(xiàn)在做雷達(dá)的公司只做雷達(dá)、做攝像頭的公司只做攝像頭。對(duì)于自動(dòng)駕駛應(yīng)用來(lái)說(shuō)，沒(méi)有一種傳感器是完美的，所以我們要做融合，取長(zhǎng)補(bǔ)短。

我們的多傳感器融合主要包含三個(gè)功能模塊：采集及預(yù)處理，坐標(biāo)轉(zhuǎn)換、信息融合。

在采集及預(yù)處理模塊中，我們?cè)?ROS 系統(tǒng)中各個(gè)傳感器以單獨(dú)的節(jié)點(diǎn)進(jìn)行，然后進(jìn)行信號(hào)解析、信號(hào)處理、信號(hào)篩選、誤差補(bǔ)償?shù)裙ぷ鳌?/p>

坐標(biāo)轉(zhuǎn)換實(shí)際上就是將多傳感器統(tǒng)一到一個(gè)坐標(biāo)系下，這是靠標(biāo)定相關(guān)數(shù)據(jù)后能在軟件中瞬間實(shí)現(xiàn)的。

最難的部分在信息融合模塊。我們將其分為 4 個(gè)步驟：數(shù)據(jù)關(guān)聯(lián)、時(shí)間同步、數(shù)據(jù)融合、目標(biāo)生命周期管理。

• 因?yàn)槊總€(gè)傳感器誤差特性不一樣，同一個(gè)目標(biāo)對(duì)應(yīng)不同傳感器得到的位置信息可能不一樣，所以我們需要先進(jìn)行數(shù)據(jù)關(guān)聯(lián)。這一步驟的難點(diǎn)在于需要對(duì)不同傳感器的誤差特性均有充分的了解。

• 每個(gè)傳感器信息發(fā)送周期不一樣，即使按其標(biāo)稱(chēng)周期進(jìn)行同步，也會(huì)存在固定時(shí)漂和隨機(jī)時(shí)漂的問(wèn)題，所以時(shí)間同步這一步驟的關(guān)鍵點(diǎn)在于：了解各傳感器的信號(hào)周期和時(shí)漂。

• 數(shù)據(jù)融合步驟可以使用的方法有很多，例如卡爾曼濾波。但實(shí)際上，因?yàn)槊總€(gè)傳感器各自建模的難度較大，我們直接采用粒子濾波的方法，可以不依賴(lài)于建模。

• 目標(biāo)生命周期管理主要用于在有噪聲干擾的情況下保證各幀數(shù)據(jù)的連貫性。

以下是智行者多傳感器信息融合處理后的一個(gè)視頻：

獲取環(huán)境數(shù)據(jù)并確定「我在哪」之后，智能車(chē)需要做決策規(guī)劃。

決策規(guī)劃

決策規(guī)劃實(shí)際包含三部分：定位、決策、路徑規(guī)劃。定位即我在哪；決策即我該怎么辦，跟著走還是繞過(guò)去；路徑規(guī)劃即我是從左繞還是從右繞。

實(shí)際上，我們是把決策和路徑規(guī)劃放在一個(gè)模塊里一起做了。我們用基于傳統(tǒng)規(guī)則的方法、基于安全場(chǎng)的深度學(xué)習(xí)方法實(shí)現(xiàn)決策規(guī)劃功能。

基于傳統(tǒng)規(guī)則的方法大家都比較熟悉，其主要是以某一個(gè)或某一些固定的變量作為條件切換的判斷依據(jù)，例如跟車(chē)的時(shí)候，規(guī)定和前車(chē)的相對(duì)速度或距離小于某一值就不跟了，馬上換道。

但實(shí)際上人駕駛時(shí)一般不會(huì)這么干，所以完全基于規(guī)則的方法無(wú)法讓智能車(chē)適應(yīng)人的特性，無(wú)法讓智能車(chē)「正常」的融入整個(gè)交通流。

現(xiàn)在深度學(xué)習(xí)方法可以比較好的解決這個(gè)問(wèn)題，可以讓智能車(chē)跟人學(xué)習(xí)，實(shí)現(xiàn)智能車(chē)的擬人化控制。但是深度學(xué)習(xí)有一個(gè)過(guò)程，并且他決策出來(lái)的路徑會(huì)有一個(gè)偏差和概率的分布，不能完全避免碰撞和駛出馬路等事故的發(fā)生，所以我們還得結(jié)合傳統(tǒng)規(guī)則的方法來(lái)做：用 rule-based 保障安全，用深度學(xué)習(xí)實(shí)現(xiàn)擬人化決策。

對(duì)深度學(xué)習(xí)方法的應(yīng)用

作為深度學(xué)習(xí)的應(yīng)用公司，我們對(duì)深度學(xué)習(xí)算法本身不做太多研究（深度學(xué)習(xí)的平臺(tái)公司會(huì)去做開(kāi)發(fā)，我們只做應(yīng)用），僅把他當(dāng)做一個(gè)工具來(lái)使用。我們主要做的事情是針對(duì)智能車(chē)的應(yīng)用，為道路數(shù)據(jù)和駕駛數(shù)據(jù)選取一個(gè)比較合理的表達(dá)方式。

實(shí)際道路中影響駕駛的因素非常多，如果對(duì)所有因素都單獨(dú)描述作為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的輸入，幾乎是無(wú)窮無(wú)盡的，所以我們將這所有的因素都統(tǒng)一描述成「安全場(chǎng)」，即：只關(guān)注車(chē)輛對(duì)行駛的危險(xiǎn)程度。

安全場(chǎng)理論實(shí)際多年前由日本學(xué)者提出，用于 ADAS 系統(tǒng)。例如：車(chē)道保持，就把車(chē)道線描述成如下圖所示的場(chǎng)，車(chē)輛要跨出去必須克服一定的「能量」。前向防追尾也是一樣的道理。

針對(duì)自動(dòng)駕駛建立安全場(chǎng)的過(guò)程

安全場(chǎng)的原理在于： 在駕駛過(guò)程中，任何干擾因素（車(chē)輛、行人、道路、交通標(biāo)志甚至天氣）都將直接或間接的影響駕駛動(dòng)作。如果這些因素以某種能量進(jìn)行描述的話，那么理想駕駛狀態(tài)應(yīng)遵循這些能量的某種平衡。主要包含三個(gè)關(guān)鍵點(diǎn)：安全場(chǎng)模型、能量平衡狀態(tài)模型和工程化實(shí)現(xiàn)。

安全場(chǎng)模型我們主要考慮三個(gè)分類(lèi)：

• 運(yùn)動(dòng)要素，即行走的車(chē)、行人等；

• 靜態(tài)要素：車(chē)道線、紅綠燈、天氣等；

• 駕駛因素：主要體現(xiàn)目標(biāo)物體縱橫向加速度的變化，例如不斷加減速的車(chē)輛可能相對(duì)會(huì)危險(xiǎn)一些。

按照上述描述，我們將安全場(chǎng)進(jìn)行分層，并在實(shí)時(shí)行駛中提取感興趣層。對(duì)障礙物安全場(chǎng)大小的定義過(guò)程中，會(huì)考慮速度、方向、行為、類(lèi)別等因素。

除了障礙物之外，其他安全場(chǎng)包括智能車(chē)本身、道路（包含曲率和天氣等因素）、交通燈等。

在定義了各交通參與因素安全場(chǎng)基礎(chǔ)上，通過(guò)深度學(xué)習(xí)的訓(xùn)練看駕駛員在這個(gè)場(chǎng)中的反應(yīng)從而獲取平衡指標(biāo)。

舉個(gè)例子，這樣一個(gè)場(chǎng)景，我們將其描述的安全場(chǎng)如下：

通過(guò)駕駛員在該場(chǎng)景中的駕駛操作，我們可以得到一組訓(xùn)練集，輸入神經(jīng)網(wǎng)絡(luò)單元中進(jìn)行訓(xùn)練，我們可以輸出一個(gè)決策規(guī)劃后的結(jié)果。得到一個(gè)預(yù)期的軌跡之后，我們需要控制車(chē)輛的轉(zhuǎn)向和剎車(chē)、驅(qū)動(dòng)實(shí)現(xiàn)對(duì)軌跡的跟蹤。

車(chē)輛的控制算法

我們?cè)瓉?lái)做 ADAS 時(shí)，控制是根據(jù)各個(gè)狀態(tài)做來(lái)回切換的，存在切換過(guò)程平順性較差等問(wèn)題?，F(xiàn)在我們采用跟決策規(guī)劃中的安全場(chǎng)一脈相承的方法，把道路中的真實(shí)目標(biāo)和非真實(shí)目標(biāo)都描述成虛擬質(zhì)點(diǎn)。

其中，真實(shí)目標(biāo)主要是車(chē)、行人這些因素；非真實(shí)目標(biāo)包括限速、紅燈、停車(chē)點(diǎn)、道路曲率、天氣等等?；谔摂M質(zhì)點(diǎn)模型的方法可以使算法模型統(tǒng)一，有效避免了傳統(tǒng)控制算法中因目標(biāo)或控制模式切換產(chǎn)生的車(chē)輛加減速度跳變問(wèn)題。

原來(lái)的車(chē)輛控制算法，跟車(chē)過(guò)程和定速巡航過(guò)程因?yàn)榭刂茽顟B(tài)的改變會(huì)存在一個(gè)加速度的跳變，影響舒適性。而我們現(xiàn)在采用虛擬質(zhì)點(diǎn)方法之后，前車(chē)加速遠(yuǎn)離時(shí)，我們自然會(huì)過(guò)渡到一個(gè)由限速引起的虛擬質(zhì)點(diǎn)。

車(chē)輛動(dòng)力學(xué)控制的問(wèn)題

實(shí)際上，在自動(dòng)駕駛處于低速狀態(tài)時(shí)，車(chē)輛動(dòng)力學(xué)控制的問(wèn)題不太明顯。但在高速條件下，一定要考慮。車(chē)輛動(dòng)力學(xué)問(wèn)題本質(zhì)是輪胎和地面的附著問(wèn)題。

*車(chē)輛動(dòng)力學(xué)控制框圖

由于輪胎和地面摩擦圓的約束，在車(chē)輪的縱向力發(fā)生變化時(shí)，其側(cè)向力也要隨之改變。即智能車(chē)的縱向安全性能 （車(chē)速控制）和橫向軌跡跟蹤性能 （轉(zhuǎn)向控制）相互制約：

• 過(guò)于追求縱向跟蹤性，大縱向加減速度導(dǎo)致橫向?qū)壽E的跟蹤性能差，甚至引起橫向失穩(wěn)；

• 過(guò)于追求橫向穩(wěn)定性裕量，縱向加減速能力受制約，就可能會(huì)發(fā)生縱向追尾等事故。

所以在上層控制器中就得對(duì)車(chē)輛的轉(zhuǎn)向和剎車(chē)、驅(qū)動(dòng)控制進(jìn)行協(xié)調(diào)和補(bǔ)償。

精彩問(wèn)答

問(wèn)題 1：現(xiàn)在決策控制做的較多的是針對(duì)高速公路場(chǎng)景，該場(chǎng)景相對(duì)城市道路較為簡(jiǎn)單，一般用攝像頭檢測(cè)的車(chē)道線和激光雷達(dá)/雷達(dá)等檢測(cè)的障礙物作為軌跡規(guī)劃系統(tǒng)的輸入，比如特斯拉 Mobileye 系統(tǒng)，然而在 urban 這種 unstructured environment 下如何做規(guī)劃，能量場(chǎng)的模型該怎么應(yīng)用進(jìn)來(lái)，它的輸入輸出各是什么？

張德兆：現(xiàn)在做的較多的確實(shí)是高速道路，但現(xiàn)在深度學(xué)習(xí)方法確實(shí)能夠比較好的幫我們解決城市道路的問(wèn)題，只要城市道路工況的訓(xùn)練數(shù)據(jù)足夠多。

現(xiàn)在實(shí)際上我們做園區(qū)內(nèi)道路的決策規(guī)劃難度一點(diǎn)不亞于城市道路，因?yàn)閳@區(qū)內(nèi)路小人多，可行駛的空間有限，一定程度上比大馬路要難，只不過(guò)園區(qū)內(nèi)車(chē)速很低，可有更多反應(yīng)和調(diào)整的時(shí)間而已。

問(wèn)題 2：如何訓(xùn)練安全場(chǎng)？安全場(chǎng)相比于其他模型有什么優(yōu)點(diǎn)？

張德兆：安全場(chǎng)的訓(xùn)練方法和其他是一樣的，只不過(guò)描述訓(xùn)練數(shù)據(jù)的方法不一樣而已。其他方法可能車(chē)、道路、天氣這些所有因素都要單獨(dú)去描述，并各自作為神經(jīng)網(wǎng)絡(luò)的輸入，而安全場(chǎng)把這所有因素抽象化了，不管物體本身的物理特征是什么，就描述他對(duì)行駛的危險(xiǎn)程度。

問(wèn)題 3：圖像是透視投影的，點(diǎn)云數(shù)據(jù)是真實(shí)環(huán)境的數(shù)據(jù)體現(xiàn)。在用圖像和點(diǎn)云進(jìn)行融合的時(shí)候，如何解決透視投影與真實(shí)環(huán)境的差別？

張德兆：智行者做激光雷達(dá)的點(diǎn)云處理，但不做圖像處理，我們只拿做圖像模塊的合作方輸出障礙物、車(chē)道線等信息與激光雷達(dá)、毫米波雷達(dá)進(jìn)行融合。

問(wèn)題 4：智行者的解決方案，從環(huán)境數(shù)據(jù)采集，分析，處理融合，決策，到控制車(chē)，這個(gè)過(guò)程下來(lái)，時(shí)延是多少？用到的處理器的性能又是如何？智行者做控制決策訓(xùn)練的數(shù)據(jù)量有多少？rule-based 與 learning-based 是怎么結(jié)合的？

張德兆：我們低速車(chē)是量產(chǎn)方案，用 ARM+MCU 的架構(gòu)實(shí)現(xiàn)；高速車(chē)還是用工控機(jī)在做；我們的控制周期是 100ms。我們現(xiàn)在有超過(guò) 1000 個(gè)樣本 (不同的駕駛員）超過(guò) 100 萬(wàn)公里的訓(xùn)練數(shù)據(jù)。rule-based 與 learning-based 會(huì)有個(gè)狀態(tài)機(jī)做結(jié)合，且在可能發(fā)生危險(xiǎn)的工況下 rule-based 的優(yōu)先權(quán)大于 DL。

雷鋒網(wǎng)注：本次分享內(nèi)容 PDF 請(qǐng)于微信公眾號(hào)“新智駕”（AI-Drive）后臺(tái)回復(fù)關(guān)鍵詞“智行者”獲取下載鏈接。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。