0
原文作者：Derrick Mwiti
翻譯：栗峰
校對(duì)：Camel
原文標(biāo)題：Research Guide for Depth Estimation with Deep Learning
雷鋒網(wǎng) AI 科技評(píng)論編者按：這篇文章介紹了幾篇具有指導(dǎo)意義的論文，助你深入了解何為深度估計(jì)。深度估計(jì)是一種計(jì)算機(jī)視覺(jué)任務(wù)，旨在從2D圖像中估計(jì)深度。這個(gè)任務(wù)輸入RGB圖像，輸出深度圖。深度圖包含了從視圖看圖像中的被攝物體距離的信息。
深度估計(jì)的應(yīng)用包括：平滑圖像的模糊部分、更好地渲染3D場(chǎng)景、自動(dòng)駕駛、機(jī)器人抓取、機(jī)器人輔助手術(shù)、電影中的2D到3D的自動(dòng)轉(zhuǎn)換以及3D計(jì)算機(jī)圖形學(xué)中的陰影映射等。
在這篇指南中，我們將介紹幾篇通過(guò)深度學(xué)習(xí)來(lái)解決這些問(wèn)題的論文。雷鋒網(wǎng)
論文標(biāo)題：Deeper Depth Prediction with Fully Convolutional Residual Networks
論文地址：https://arxiv.org/abs/1606.00373v2
這篇論文提出了一種完全卷積架構(gòu)，以解決在給定RGB圖像的情況下對(duì)場(chǎng)景深度圖進(jìn)行估計(jì)的問(wèn)題。通過(guò)殘留學(xué)習(xí)對(duì)單目圖像和深度圖之間的模糊映射進(jìn)行建模。反向Huber loss被用來(lái)做優(yōu)化。這個(gè)模型可在圖像或視頻上實(shí)時(shí)運(yùn)行。
這篇論文提出的方法是使用CNN進(jìn)行深度估計(jì)。該模型是完全卷積的，并包含跟蹤高維回歸問(wèn)題的有效殘留向上采樣模塊（向上投影）。
網(wǎng)絡(luò)的第一部分基于ResNet50，并使用預(yù)訓(xùn)練的權(quán)值進(jìn)行初始化。第二部分是卷積和解池層的序列，利用它們來(lái)指導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)其 upscaling 。然后應(yīng)用Dropout，進(jìn)行最后的卷積，得到最終的預(yù)測(cè)。
解池層可提高特征圖譜的空間分辨率。通過(guò)將每個(gè)條目映射到2 x 2內(nèi)核的左上角實(shí)現(xiàn)解池層，從而使大小加倍。每個(gè)這樣的層后面是一個(gè)5×5的卷積。這個(gè)模塊被稱為上卷積。在上卷積之后添加了一個(gè)簡(jiǎn)單的3×3卷積。投影連接從較低分辨率的特征圖添加到結(jié)果中。
這篇文章還對(duì)上卷積運(yùn)算進(jìn)行了重新校準(zhǔn)，使網(wǎng)絡(luò)的訓(xùn)練時(shí)間減少了至少15%。如下圖所示，在左上角，原始的特征圖譜未被合并，并由一個(gè)5x5濾波器對(duì)其進(jìn)行卷積。
與其他模型相比，文中提出的模型在NYU Depth v2數(shù)據(jù)集上的表現(xiàn)如下。
論文標(biāo)題：Unsupervised Learning of Depth and Ego-Motion from Video (CVPR 2017)
論文鏈接：https://arxiv.org/abs/1704.07813v2
這篇論文的作者提出了一種無(wú)監(jiān)督的學(xué)習(xí)框架，用于完成從非結(jié)構(gòu)化視頻序列中進(jìn)行單目深度和攝像頭 移動(dòng)估計(jì)的任務(wù)。這種方法采用單視圖深度和多視圖姿態(tài)網(wǎng)絡(luò)。損失函數(shù)是基于使用計(jì)算出的深度和姿態(tài)將附近的視圖變形到目標(biāo)上的結(jié)果。
作者提出了一種用于聯(lián)合訓(xùn)練未標(biāo)記視頻序列中的單視圖深度CNN和攝像頭姿態(tài)估計(jì)CNN的框架。監(jiān)督通道基于視圖合成。深度網(wǎng)絡(luò)將目標(biāo)視圖作為輸入，并輸出每個(gè)像素的深度圖。給定圖像中每個(gè)像素深度以及附近視圖中的姿態(tài)和可見(jiàn)性，可以合成目標(biāo)視圖。這種合成可以使用CNN作為幾何和姿態(tài)估計(jì)模塊以完全可區(qū)分的方式來(lái)實(shí)現(xiàn)。
作者采用DispNet架構(gòu)，這種架構(gòu)是一個(gè)具有跳過(guò)連接和多尺度側(cè)面預(yù)測(cè)的編碼-解碼的設(shè)計(jì)。除了預(yù)測(cè)層外，其他所有卷積層都使用ReLU激活函數(shù)。
與所有原視圖連接的目標(biāo)視圖構(gòu)成了姿態(tài)估計(jì)網(wǎng)絡(luò)的輸入。輸出是目標(biāo)視圖和每個(gè)原視圖之間的相對(duì)姿態(tài)。該網(wǎng)絡(luò)由7個(gè)stride-2卷積以及緊隨其后的1 x 1卷積和 6 ?（N -1）個(gè)輸出通道組成，這些對(duì)應(yīng)于每個(gè)源的3個(gè)歐拉角和3D平移。全局平均值應(yīng)用于所有空間位置的合成預(yù)測(cè)。除了最后的卷積層（其中應(yīng)用了非線性激活）之外，所有其他卷積層之后都帶有ReLU激活函數(shù)。
可解釋性預(yù)測(cè)網(wǎng)絡(luò)與姿態(tài)網(wǎng)絡(luò)共享前五個(gè)特征編碼層。隨后是具有多尺度側(cè)面預(yù)測(cè)的5個(gè)反卷積層。除預(yù)測(cè)層外，所有所有conv 或deconv層后均跟隨ReLU激活函數(shù)。
與其他模型相比，這個(gè)模型的性能如下所示：
論文標(biāo)題：Unsupervised Monocular Depth Estimation with Left-Right Consistency
論文鏈接：https://arxiv.org/abs/1609.03677v3
這篇論文提出了一種不需要基準(zhǔn)深度數(shù)據(jù)就能進(jìn)行單個(gè)圖像深度估計(jì)的卷積神經(jīng)網(wǎng)絡(luò)。作者提出了一種網(wǎng)絡(luò)體系結(jié)構(gòu)，該體系結(jié)構(gòu)執(zhí)行端到端的無(wú)監(jiān)督單目深度估計(jì)，而訓(xùn)練損失函數(shù)會(huì)強(qiáng)制網(wǎng)絡(luò)內(nèi)部左右深度的一致性。
網(wǎng)絡(luò)通過(guò)推斷使左邊圖像變形，匹配右邊圖像的視覺(jué)差異，從而來(lái)估計(jì)深度。左邊輸入的圖像用于推斷左向右和右向左的視覺(jué)差異。該網(wǎng)絡(luò)使用雙線性采樣器生成具有向后映射的預(yù)測(cè)圖像。這就形成了一個(gè)完全可區(qū)分的圖像形成模型。
這種卷積的結(jié)構(gòu)的靈感來(lái)源于DispNet。它由兩個(gè)部分組成，編碼器和解碼器。解碼器使用來(lái)自編碼器激活模塊的跳過(guò)連接（skip connections）來(lái)解析更高分辨率的細(xì)節(jié)。該網(wǎng)絡(luò)預(yù)測(cè)了兩種視覺(jué)差異圖，從左到右和從右到左。
在訓(xùn)練過(guò)程中，網(wǎng)絡(luò)通過(guò)從相反的立體圖像中采樣像素來(lái)生成圖像。圖像形成模型使用來(lái)自 spatial transformer網(wǎng)絡(luò)(STN)的圖像采樣器并結(jié)合視差圖對(duì)輸入圖像進(jìn)行采樣。這里使用的雙線性樣本是局部可區(qū)分的。
以下是在 KITTI 2015 stereo 200 訓(xùn)練集視差圖像上獲得的結(jié)果：
論文標(biāo)題：Unsupervised Learning of Depth and Ego-Motion from Monocular Video Using 3D Geometric Constraints
論文鏈接：https://arxiv.org/abs/1802.05522v2
這篇論文的作者提出了一種從單個(gè)攝像頭拍攝的視頻中進(jìn)行深度無(wú)監(jiān)督學(xué)習(xí)和自我運(yùn)動(dòng)（Ego-Motion）的方法。它考慮了推斷出的整個(gè)場(chǎng)景的3D幾何形狀，并在連續(xù)的幀之間增強(qiáng)了估計(jì)的3D點(diǎn)云和自我運(yùn)動(dòng)的一致性。這篇文章還采用了反向傳播算法來(lái)對(duì)齊3D結(jié)構(gòu)。該模型在KITTI數(shù)據(jù)集上進(jìn)行了測(cè)試，并在手機(jī)攝像頭上捕獲了視頻數(shù)據(jù)集。
無(wú)監(jiān)督的學(xué)習(xí)深度取決于視頻中是否存在自我運(yùn)動(dòng)。該網(wǎng)絡(luò)根據(jù)視頻中的兩個(gè)連續(xù)幀產(chǎn)生單視圖深度估計(jì)。自我運(yùn)動(dòng)的估計(jì)也是從這兩個(gè)連續(xù)的幀中產(chǎn)生的。
訓(xùn)練模型的監(jiān)督任務(wù)是通過(guò)要求相鄰幀的深度和自我運(yùn)動(dòng)估計(jì)值保持一致實(shí)現(xiàn)的。作者提出了一種在不依賴于圖像重建進(jìn)行反向傳播的情況下懲罰估計(jì)深度不一致性的損失函數(shù)。
這是在KITTI 特征測(cè)試集上得到的結(jié)果。
論文標(biāo)題：Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised Learning from Monocular Videos
論文鏈接：https://arxiv.org/abs/1811.06152v1
這篇論文研究的是場(chǎng)景深度和機(jī)器人自我運(yùn)動(dòng)的無(wú)監(jiān)督學(xué)習(xí)任務(wù)，其中監(jiān)督是由單目視頻提供的，其實(shí)現(xiàn)則是在學(xué)習(xí)過(guò)程中引入幾何結(jié)構(gòu)。它包括對(duì)場(chǎng)景和單個(gè)被攝物體、攝像頭的自我運(yùn)動(dòng)和從單目視頻輸入中獲悉的被攝物體的移動(dòng)數(shù)據(jù)進(jìn)行建模。在文中作者還介紹了一種在線優(yōu)化的方法。
作者介紹了一種與自我運(yùn)動(dòng)網(wǎng)絡(luò)具有相同體系結(jié)構(gòu)的被攝物體運(yùn)動(dòng)模型。不過(guò)，它的作用則是專門用來(lái)預(yù)測(cè)3D中單個(gè)被攝物體運(yùn)動(dòng)的。這個(gè)模型以RGB圖像序列作為輸入，由預(yù)先計(jì)算的實(shí)例分割掩模作為補(bǔ)充。運(yùn)動(dòng)模型的工作就是學(xué)習(xí)預(yù)測(cè)3D空間中每個(gè)被攝物體的變換向量，這將能夠在相應(yīng)的目標(biāo)幀中創(chuàng)建觀察到的被攝物體外觀。
下圖顯示了使用這個(gè)模型得到的結(jié)果：
論文標(biāo)題：PlaneNet: Piece-wise Planar Reconstruction from a Single RGB Image
論文鏈接：https://arxiv.org/abs/1804.06278v1
本文提出了一種用于從單個(gè)RGB圖像進(jìn)行分段重建平面深度圖的深度神經(jīng)網(wǎng)絡(luò)——PlaneNet。
PlaneNet能夠?qū)W習(xí)從單個(gè)RGB圖像中推斷出一組平面參數(shù)和相應(yīng)的平面分割掩模。這里定義的損失函數(shù)與平面的順序無(wú)關(guān)。此外，這個(gè)網(wǎng)絡(luò)可以在一個(gè)非平面的表面上進(jìn)行深度圖的推斷，其損失函數(shù)為了允許反向傳播，采用了概率分割掩模。
PlaneNet是建立在擴(kuò)展殘留網(wǎng)絡(luò)(DRN)上的。給定DRN的高分辨率最終特征圖，可以組成三個(gè)預(yù)測(cè)任務(wù)的三個(gè)輸出分支，分別為平面參數(shù)、非平面深度圖和分割掩模。平面參數(shù)分支具有全局平均池，可以將特征圖的大小減小到1x1。然后是一個(gè)完全連接的層，以生成K×3平面參數(shù)，這里K是預(yù)測(cè)的恒定平面數(shù)。最后定義了基于Chamfer距離度量回歸平面參數(shù)的不可知順序損失函數(shù)（order-agnostic loss function）。
平面分割分支從金字塔池模塊開(kāi)始，然后是卷積層（用來(lái)生成平面和非平面表面的通道似然圖）。在快速推理算法的基礎(chǔ)上，再增加一個(gè)密集條件DCRF模塊。DCRF模塊是與上述各層聯(lián)合訓(xùn)練的。隨后使用標(biāo)準(zhǔn)的Softmax交叉熵?fù)p失對(duì)分割訓(xùn)練進(jìn)行監(jiān)督。
非平面深度分支共享相同的金字塔池化模塊，后面跟著一個(gè)產(chǎn)生單通道深度圖的卷積層。
下面是對(duì)NYUv2數(shù)據(jù)集深度精度的比較：
論文標(biāo)題：Unsupervised Monocular Depth and Ego-motion Learning with Structure and Semantics
論文鏈接：https://arxiv.org/abs/1906.05717v1
這篇論文所提出的方法結(jié)合了深度無(wú)監(jiān)督單目學(xué)習(xí)和自我運(yùn)動(dòng)學(xué)習(xí)的結(jié)構(gòu)和語(yǔ)義。
這篇論文所提出的方法能夠通過(guò)對(duì)被攝物體運(yùn)動(dòng)進(jìn)行建模來(lái)對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行建模，并且還可以適應(yīng)可選的在線優(yōu)化技術(shù)。對(duì)單個(gè)被攝物體運(yùn)動(dòng)的建模使這種方法能夠處理高度動(dòng)態(tài)的場(chǎng)景。這主要是通過(guò)在模型中引入的第三個(gè)組件實(shí)現(xiàn)的，該組件可以預(yù)測(cè)被攝物體在3D場(chǎng)景中的運(yùn)動(dòng)，它使用了與自我運(yùn)動(dòng)網(wǎng)絡(luò)中相同的網(wǎng)絡(luò)結(jié)構(gòu)，不同的地方在于，它進(jìn)行了權(quán)值的訓(xùn)練。運(yùn)動(dòng)模型預(yù)測(cè)了3D空間中每個(gè)被攝物體的變換向量。當(dāng)應(yīng)用于攝像頭時(shí)，這將在相應(yīng)的目標(biāo)幀中創(chuàng)建所觀察到的被攝物體的外觀。最后的變形結(jié)果是運(yùn)動(dòng)被攝物體的個(gè)體變形與自我運(yùn)動(dòng)的結(jié)合。其中自我運(yùn)動(dòng)則是先掩蓋圖像中的對(duì)象運(yùn)動(dòng)計(jì)算得來(lái)的。
以下是在 KITTI數(shù)據(jù)集上得到的結(jié)果：
論文標(biāo)題：Learning the Depths of Moving People by Watching Frozen People
論文鏈接：https://arxiv.org/abs/1904.11111
這篇論文介紹的方法可預(yù)測(cè)在單目攝像頭和場(chǎng)景中的人在自由移動(dòng)的情況下的密集深度。這種方法首先從模仿人體模特的網(wǎng)絡(luò)視頻中學(xué)習(xí)人類的深度，它能夠利用場(chǎng)景靜態(tài)區(qū)域的運(yùn)動(dòng)視差線索來(lái)指導(dǎo)深度預(yù)測(cè)。
作者從YouTube中獲得3D數(shù)據(jù)，并用它們進(jìn)行監(jiān)督訓(xùn)練；這些視頻構(gòu)成了新的人體模型挑戰(zhàn)數(shù)據(jù)集（Mannequin Challenge (MC) dataset）。作者設(shè)計(jì)了一種以RGB圖像、人類區(qū)域掩模和環(huán)境初始深度為輸入的深度神經(jīng)網(wǎng)絡(luò)。
然后，它在整個(gè)圖像上輸出密集的深度圖。這個(gè)模型生成的深度圖可用于產(chǎn)生3D效果，如合成景深效果、深度感知修補(bǔ)、將虛擬被攝物體正確遮擋插入到3D場(chǎng)景中等。
本文的深度預(yù)測(cè)模型本質(zhì)上是以有監(jiān)督（MC數(shù)據(jù)集）的方式建立的。網(wǎng)絡(luò)的完整輸入包括參考圖像、人體區(qū)域的二進(jìn)制掩模、運(yùn)動(dòng)視差估計(jì)的深度圖、置信度圖和可選的人體關(guān)鍵點(diǎn)圖。利用這些輸入，網(wǎng)絡(luò)可以預(yù)測(cè)整個(gè)場(chǎng)景的完整深度圖。該網(wǎng)絡(luò)的架構(gòu)是沙漏網(wǎng)絡(luò)（hourglass network）的一個(gè)變體，其中的最近鄰上采樣層被雙線性上采樣層所取代。
下面是從這個(gè)模型得到的結(jié)果：
via：https://heartbeat.fritz.ai/research-guide-for-depth-estimation-with-deep-learning-1a02a439b834
雷鋒網(wǎng)報(bào)道。
【封面圖片來(lái)源：網(wǎng)站名deviantart，所有者：deviantart】
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
