0
雷鋒網AI研習社按：隨著增強現(xiàn)實，家務機器人等應用的普及，室內場景重建研究正在得到越來越廣泛的關注。與傳統(tǒng)底層密集重建方法不同，講者的研究集中在分析重建場景中的高層結構化信息。
在本次AI研習社大講堂上，來自圣路易斯華盛頓大學的計算機系在讀博士劉晨分享了其結構化重建的最新工作。
分享嘉賓：
劉晨，圣路易斯華盛頓大學計算機系在讀博士，導師是Yasutaka Furukawa教授，主要研究方向為三維視覺，場景理解等。其研究工作曾在 CVPR、ICCV、ECCV等會議發(fā)表。
公開課回放地址：
分享主題：室內場景的結構化重建
分享提綱：
結構化場景重建的定義及意義
單目結構化重建
俯視圖結構化重建
多目結構化重建
雷鋒網AI研習社將其分享內容整理如下：
非常高興能在這個平臺上和大家分享我們組的最新研究成果，這次的分享題目是《室內場景的結構化重建》。
大家都知道，從一個場景中理解分析三維的幾何信息是一個非常重要的計算機視覺問題。傳統(tǒng)的方法多是用一些底層次的三維表示，比如說密集的點云、密集網格模型或者是深度圖。這些低層次的三維表示雖然看起來很美觀，但是卻不好分析和理解，因此并不是很實用。
我們的研究希望出一個中看也中用的表示。作為人類，我們會及時辨別一個場景中哪些部分是完整的地面，哪些部分是完整的墻，我們希望計算機也能做到。
在俯視圖結構化重建上，由于墻和地面往往是垂直的，所以俯視圖能夠給我們提供非常多的信息，我們的目標是希望能夠得到矢量圖形平面圖，主要是基于墻角的點以及所有墻角之間的連線，這將對我們理解整個室內結構提供非常多的有用信息。
為了獲得矢量圖形平面圖，我們會考慮使用 PNG 圖像、點云、鐳射掃描作為輸入。
對于結構化的定義，有以下這三點：
一、 場景與結構的表示是簡潔的
二、 場景是根據(jù)語義來分割的
三、 分析理解的方式與人類保持一致
結構化表示可以在機器人導航、室內裝飾、虛擬購房導航以及虛擬現(xiàn)實效果優(yōu)化等方面起作用。
單目結構化重建
目前實現(xiàn)結構化表示方面我們遇到哪些挑戰(zhàn)呢？
首先，高層次的場景理解需要提取整個平面；
其次，室內存在許多造成干擾的遮擋物體；
最后，室內場景的平面往往缺乏紋理。
為了應對挑戰(zhàn)，我們提取了室內場景的特性：平面性與正交性，利用這兩點來做單目結構化重建的工作。我們試圖從照片中提取出所需要的平面，并估計每個平面的三維參數(shù)，進而確定平面的三維結構信息。
過去雖然有一些底層次的三維重建工作也取得了不錯的效果，卻面臨著不夠直觀和平滑的問題。
在我們的工作中，我們假定一個圖像擁有十個平面，每個平面分別用三維空間中的三個參數(shù)來表示，最終確定三維結構；為了進一步確認在三維空間中的范圍，我們會計算 segmentation masks；至于非平面區(qū)域，則估算 pixel-wise 的 depth map。
這三種信息合起來便是圖片的三維場景信息。
這樣做會遇到什么挑戰(zhàn)呢？那就是我們無法確認第一個輸出的平面長什么樣，因為我們是根據(jù) geometry 來做分割。
于是我們使用 set matching 解決以上問題——在確認 prediction 以后，我們在 Ground truth 里為每個 prediction 找到最近零作為監(jiān)督。為了進一步提升重建效果，我們還用 ground truth 的 text 來做監(jiān)督學習。
此外，我們使用了包含多種三維模型的 ScanNet 數(shù)據(jù)集作為訓練網絡，結合相機參數(shù)，將三維空間中的平面投映到二維上來，以獲得最終需要的訓練數(shù)據(jù)——plane parameters, segmentation masks 和非平面區(qū)域的 depth map。
這份工作的意義在于，我們可以在平面圖上添加一些虛擬元素（電視、動態(tài) logo、游戲），以增強虛擬現(xiàn)實的呈現(xiàn)效果。
從上圖來看，我們的算法對于大平面的檢測質量還是比較穩(wěn)定的，只是在一些邊緣部分或者小平面還存在一些問題。
另外，我們最終獲得的 depthmap，不單能夠保證內部的絕對平滑，且在精度上也不比其他算法差。
關于這項工作，我們未來試圖探索的方向有：
一、 如何將單幅圖像結構重建拓展到多幅圖像；
二、 考慮分析遮擋信息；
三、 用于室外場景；
四、 考慮更復雜的表面表示信息。
俯視圖結構化重建
關于俯視圖結構化重建，我將著重分享如何從 Jpeg 圖像和點云中進行恢復重建。
這種矢量圖的價值在于：
可以幫助我們對建筑做出直觀的分析理解；
在有需要時可以將結構圖轉成三維空間實現(xiàn)渲染效果；
如果你是一名建筑師，還可以隨時修改自己的設計圖。
為了獲取矢量圖，我們借鑒了 Human pose estimation 方法，并解決了所面臨的任意拓撲挑戰(zhàn)。在我們的工作中，會先通過深度網絡找到圖中的關鍵元素（墻角、門、物體……），然后再利用 Integar Programming（IP）進行優(yōu)化?？偟膩碚f，前者構成了我們的中間層表示，后者最終優(yōu)化出最終的結構圖。
【更多關于 Integar Programming 的優(yōu)化細節(jié)，請回看視頻 00：25：20 處，http://www.mooc.ai/open/course/538?=Leiphone】
以下都是我們的工作成果。
我們和其他的算法進行了比較，結果顯示，在不同結構化信息的 accuracy 和 recall 上，我們的算法基本上達到了 90 分，效果甚至比一些傳統(tǒng)的算法要好。
此外，為了達到簡化生成俯視結構圖流程的目的，我們后續(xù)做了通過點云生成矢量圖的工作，也就是說，只要一部可以拍出包含深度信息照片的手機，我們就可以輕易獲得空間的點云，進而生成俯視結構圖。
生成流程方面，我們只是將之前的輸入從 Jpeg 圖像換成了點云。
這項工作的挑戰(zhàn)在于如何從點云中提取出中間層表示，原因有三：
一、 現(xiàn)有的三維學習方法不擅長處理大規(guī)模的點云；
二、 全局的分析理解需要基于整體點云的理解；
三、 如何將 3D 信息與圖像信息結合到一起。
【更多關于點云中間層提取的細節(jié)，請回看視頻 00：36：44 處，http://www.mooc.ai/open/course/538?=Leiphone】 
以下是我們最終的工作成果，結果顯示我們的 Prediction 和 Ground Truth 很接近：
在下一步的工作中，我們會著重在以下三個方面進行拓展：
一、 擺脫 primitive detection 的框架
二、 用深度網絡取代 Integer Programming（IP）
三、 直接使用 rgb 圖像進行重建
多目結構化重建
多目結構化重建希望可以實現(xiàn)用戶拍攝一組 rgb 照片，結合照片和機位信息，就可以完美重建結構化模型。
這項工作的難點在于：
一、 缺少三維信息的數(shù)據(jù)；
二、 難以找到兩幅圖像之間的對應關系；
三、 當前的分析可能會基于早先的發(fā)現(xiàn)。
作為進行中的工作，我們先提出了一些 baselines 模型：
一項是基于 Wireframe3D 的表示，可以檢測出二維空間里的角點和連線信息，進而獲得三維空間中的 Wireframe 表示。
另外一項則是增強了魯棒性的 LayoutNet++，網絡先對兩幅圖像的共同之處做聚類，再根據(jù)聚類對信息進行單獨處理，最后將所有輸出拼到一起。
【更多關于 LayoutNet++的操作原理，請回看視頻 00：44：50 處，http://www.mooc.ai/open/course/538?=Leiphone】
我今天的分享就這么多，謝謝大家。
以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網AI研習社社區(qū)（https://club.leiphone.com/）觀看。關注微信公眾號：AI 研習社（okweiwu），可獲取最新公開課直播時間預告。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
