雷鋒網按：作者黃暢博士，地平線機器人技術聯(lián)合創(chuàng)始人&算法副總裁，深度學習專家、前百度主任架構師（T10），長期從事計算機視覺、機器學習、模式識別和信息檢索方面的研究。本科、碩士以及博士畢業(yè)于清華大學計算機科學與技術系，曾經在美國南加州大學和 NEC 美國研究院擔任研究員。2012年加入百度美國研發(fā)中心，2013年參與組建百度深度學習研究院（IDL），任高級科學家、主任研發(fā)架構師。

黃暢博士在繼山世光教授以及他的博士生鄔書哲的演講之后，又補充介紹了DenseBox系列物體檢測算法。大家可能對這個方法不是特別熟悉，其實早在2014年的時候地平線就已經開始圍繞這個方法做了各種各樣的工作，不斷迭代并產生了許多新的改進，這些改進在后來的一些公開的算法中，也能看到不少影子。DenseBox已經在地平線的ADAS系統(tǒng)中得到了廣泛引用。

1.ADAS輔助駕駛系統(tǒng)中的具體問題

黃暢博士圍繞一個具體的應用——ADAS即高級輔助駕駛系統(tǒng)來講目標檢測。在ADAS的應用場景中，物體檢測面臨的問題更加困難，這個問題并不僅僅來自于對檢測精度更高的要求，也來自于檢測問題本身更加復雜。不僅要識別是什么東西，還需要要做精準的定位。精確的定位能夠幫助人們知道物體的距離， 這對ADAS系統(tǒng)中的前向碰撞預警是十分重要的。    

計算機視覺當中有很多的問題，比如說檢測、跟蹤、識別、分割，如果在這里面選一個最重要的問題，恐怕絕大部分的同學都會選擇物體檢測。物體檢測在各種各樣的應用系統(tǒng)當中，往往是第一步，也是最重要一步。物體檢測相對于圖像識別，它的難度更大，因為檢測還需要對物體進行精確的定位，還是個搜索問題。在ADAS 產品當中，車輛檢測是一個非常重要的問題，同時也面臨巨大的挑戰(zhàn)。以KITTI車輛檢測數據集為例，比如說這個車輛，在畫面當中只出現(xiàn)一部分，這個是truncation導致的問題；然后車輛大小差距很大，這是scale variation導致的問題；然后車輛因為視角的原因，會被很多車輛遮擋，這是occlusion導致的問題；這些都是物體檢測面臨的挑戰(zhàn)。

那么如果直接嘗試用Faster R-CNN或者YOLO，會出現(xiàn)什么樣的問題呢? 首先不能很好地處理面積非常小的物體，因為這些方法，尤其是YOLO，最終在分類的時候是基于低分辨率的特征圖像，這導致原圖像中面積很小的物體在經過多次的卷積之后，其信息很難在低分辨率的特征圖中進行保存。

2.地平線的解決方案

地平線提出的方法叫做DenseBox(V2)。相比起YOLO以及SSD，最明顯的不同在于DenseBox(V2)輸出預測圖的分辨率很高。用DenseBox(V2)的方法，輸出大小為原始圖像的八分之一， 即在原圖中每移動8個像素，輸出中就有一個對應的檢測框，這就保證能夠在結果中保留小的物體以及嚴重遮擋的物體。

2.1 標注生成與模型設計

要訓練一個檢測物體的神經網絡，首先要用結構化的信息去描述圖像。對于那些關注的物體，地平線會在合適的尺度和合適的位置進行像素分類，即判斷物體中心是否在這個像素附近。其實有點像把物體檢測問題，變成一個圖像分割問題來看待。對于很可能包含物體的圖像區(qū)域，還需要知道物體的檢測框在哪里。針對檢測框，地平線用兩個點來描述，即框的左上角和右下角。

地平線設計的網絡還有一個特點，就是對于不同的尺度輸出有不同的分支。網絡底層的卷積被所有分支共享，用來學習低層的圖像特征，到了中間以后，會逐步分出三個分支， 去描述三個尺度上物體的分布。以左邊的圖為例，一大一小的兩輛車，都可以在網絡中找到合適的尺度去定位。除了產生正樣本的區(qū)域， 即左圖中紅色的區(qū)域外， 還會產生灰色的區(qū)域（gray zone） 或者是說模糊的區(qū)間。這些灰色地帶被判別為正樣本或者負樣本都是不合理的， 訓練的時候模型不應該對這些區(qū)域的預測正確與否產生懲罰。

正如前面所提到，除了產生正負樣本區(qū)域以外，還需要回歸物體框的位置。地平線用相對距離去描述框的位置，相對于當前這個物體的中心，框的兩個角點水平和垂直方向距離是多少。在實際應用中，地平線發(fā)現(xiàn)一個很重要的小技巧，可以提升檢測框的定位精度。不僅僅要對正樣本做回歸，對于灰度區(qū)域（gray zone）也需要做回歸。這么做的目的是希望檢測器即使把灰度區(qū)域當成正樣本，那么還要求檢測框的位置是準確的。

 

地平線在設計網絡的時候，也借鑒了全卷積網絡做圖像分割的方法。如果只做簡單的全卷積，在高層的特征空間里很難保留物體的細節(jié)特征。這對于小物體的檢測以及遮擋物體的定位都會帶來不利的影響。圖像分割中常常使用特征融合的方法，即把淺層的特征與高層的特征經過尺度變換后拼在一起。拼接的方式基本有兩種，一種是像GoogLeNet一樣，按channel維度拼起來，第二種就是孫健的ResNet那樣，把它們直接相加。現(xiàn)在這種做法也變成了趨勢，越來越多人做視覺任務都用了類似的方法。經過多層卷積，下采樣后得到低分辨率的高維表達，可以抽象出物體的高層語意表達，捕獲物體的上下文空間信息，相當于是一個bottom-up的表達抽象過程。然后再逐步把前面層的特征組合起來，補充細節(jié)信息，這相當于再做一個top-down的修正。

 

2.2 模型訓練

地平線采用多任務學習（multi-task learning）的方式對網絡進行端到端（end-to-end）的訓練。多任務訓練體現(xiàn)在同時進行分類和回歸的學習，以及不同尺度對應的網絡分支也會進行監(jiān)督學習。多任務學習有助于網絡訓練的整體穩(wěn)定，同時還能加快收斂。除此之外對于分類任務，地平線也用了在線難負樣本挖掘（online hard negative mining）方法訓練CNN。這個方法最近被證實在訓練CNN檢測器的時候很有效。其實在很早以前大家用boosting, DPM等方法的時候就已經這么做了，地平線也很早就在我們的方法里頭用了這個策略。具體來說，會首先保持正負樣本比例為1：1，然后讓所有的負樣本，一半從最難（即分類最糟糕）的一部分中采樣，另一半則為隨機采樣。另外，我們用hinge loss來做分類，用簡單的L2 loss 做檢測框的回歸。還有個細節(jié)就是地平線在訓練中還用了梯度修剪（clip gradient）的方法來緩和訓練過程中梯度不穩(wěn)定的情況。

2.3 性能測評

上圖是地平線用DenseBox(V2)的方法在KITTI數據集上的實驗結果，這個方法在很長一段時間內，在車輛檢測這個任務上都是排名第一。地平線主要試驗了兩個模型版本，一個版本是叫Direwolf，它的參數大概有22M個，另外一個模型叫Peregrine，參數大概是1.4M個，但是計算量只有前者的三十分之一， 在GPU上可以做到實時。 相比于同一時期的其他方法， 例如Faster R-CNN等不能達到實時檢測，準確度甚至比Peregrine還是要差一點。

3.物體檢測與ADAS

除了車輛檢測之外，地平線還關注車道線以及行人檢測。不僅如此，地平線還對于可行駛區(qū)域在圖像中的分割問題也非常感興趣，因為在ADAS問題中它和物體檢測技術是非常互補的。物體檢測可以處理像車，交通標志牌，行人等形狀規(guī)則的剛體（rigid object) ；對于像路面，馬路欄桿等結構不規(guī)則的非剛體，圖像分割是更合適的選擇。同時可行駛區(qū)域的分割也可以提供相對保守的策略保證行駛的安全。前段時間特斯拉的嚴重交通事故就是因為過于依賴物體檢測技術造成的。

黃暢博士認為，在ADAS應用中，不應該只是在平均期望的意義下優(yōu)化問題，二是應該努力規(guī)避最差的情況。駕駛本身就是高風險活動，一旦出錯將造成嚴重的后果。因此，整個系統(tǒng)的冗余是非常必要的，這個冗余來自于不同的傳感器，來自于不同的方法，來自于系統(tǒng)中不同的任務和目標。 

4.總結

最后，黃暢博士對上面的介紹做一個簡單的總結：

DenseBox是一個完整的基于CNN的物體檢測框架，它通過精心的網絡設計，能夠處理不同尺度的檢測，實現(xiàn)更精確的定位回歸。模型訓練中所采用特征融合，多任務訓練，難負樣本挖掘等方法也是被廣泛證明有效的。同時它也KITTI上的結果也從另一個角度說明，只要模型設計和訓練得當，小模型已經有足夠好的效果。但是對于ADAS而言，光有檢測是遠遠不夠的，往往需要通過系統(tǒng)的冗余，采取相對保守的策略來規(guī)避最差的情況。

注：本文由大牛講堂發(fā)布雷鋒網，如需轉載請聯(lián)系原作者，并注明作者和出處，不得刪減內容。有興趣可以關注公號【地平線機器人技術】，了解最新消息。

雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。