圖像邊緣的無監(jiān)督學(xué)習(xí)

聯(lián)合編譯：陳圳、章敏、Blake

摘要

數(shù)據(jù)驅(qū)動(dòng)方法在邊緣檢測(cè)領(lǐng)域已被證明是有效的，且在最近的基準(zhǔn)測(cè)試中取得了頂尖的成績。然而，目前所有數(shù)據(jù)驅(qū)動(dòng)的邊緣檢測(cè)都要求以手工標(biāo)注區(qū)域分割或?qū)ο筮吔绲姆绞綄?duì)訓(xùn)練過程進(jìn)行監(jiān)督。特別是，人類標(biāo)注者會(huì)標(biāo)記出那些語義上有意義的邊緣，然后將這些邊緣用于訓(xùn)練。對(duì)于學(xué)習(xí)準(zhǔn)確檢測(cè)邊緣來說，這種強(qiáng)的高水平監(jiān)督真的必要嗎？在本文中我們展示了一種簡(jiǎn)單但有效的無監(jiān)督訓(xùn)練邊緣檢測(cè)的方法。為此我們利用了圖像運(yùn)動(dòng)來進(jìn)行。更特別地的是我們的方法唯一輸入是幀之間的嘈雜半稠密匹配。我們從對(duì)邊緣的（圖像梯度）初步知識(shí)開始，在提高運(yùn)動(dòng)估計(jì)和邊緣檢測(cè)之間來輪流切換。通過使用龐大的視頻數(shù)據(jù)素材，用我們的無監(jiān)督方法訓(xùn)練出的邊緣檢測(cè)器已接近用完全監(jiān)督方法訓(xùn)練的同類邊緣檢測(cè)器（差異在 3-5% 范圍內(nèi)）。最后，當(dāng)將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到這些邊緣識(shí)別器時(shí)，我們的方法為對(duì)象檢測(cè)提供了一種嶄新的預(yù)訓(xùn)練模式。

1.引言

人類視覺系統(tǒng)很容易感知識(shí)別圖像的突出邊緣。突出邊緣對(duì)于如光流、物體檢測(cè)、物體建議等分類任務(wù)相當(dāng)有用，所以建造同樣視覺能力的機(jī)器系統(tǒng)對(duì)邊緣檢測(cè)也應(yīng)該很有趣。然而，以往的嘗試都表明邊緣檢測(cè)相當(dāng)有難度，早期的方法大多依靠于亮度和色彩梯度等低階指令。優(yōu)化架構(gòu)雖然能提高測(cè)試結(jié)果，但準(zhǔn)確度仍然明顯低于人類表現(xiàn)。

由人類標(biāo)記邊界組成的BSDS數(shù)據(jù)集，在邊緣檢測(cè)的關(guān)鍵轉(zhuǎn)變上奠定了基礎(chǔ)。與其他倚靠復(fù)雜手工特性不同，Doll′ar等人提出了一種數(shù)據(jù)驅(qū)動(dòng)、監(jiān)督型的方法用來學(xué)習(xí)檢測(cè)邊緣?，F(xiàn)在的邊緣檢測(cè)器都是基于這個(gè)理念建造的，并潛在推動(dòng)技術(shù)往使用更加精密的學(xué)習(xí)范例方向發(fā)展。

然而，現(xiàn)有的數(shù)據(jù)驅(qū)動(dòng)方法都要求嚴(yán)格的訓(xùn)練監(jiān)督。特別是像BSDS一樣的數(shù)據(jù)集，人類標(biāo)記者通過他們的圖像構(gòu)筑經(jīng)驗(yàn)來標(biāo)記語義上有意義的邊緣。另外，最近的邊緣檢測(cè)器使用ImageNet來預(yù)先訓(xùn)練。在本文中，我們來進(jìn)行探討：目標(biāo)級(jí)監(jiān)督對(duì)于邊緣檢測(cè)是否不可替代？另外，邊緣檢測(cè)能在完全無人類監(jiān)督下進(jìn)行嗎？

我們提出使用運(yùn)動(dòng)取代人類監(jiān)督來訓(xùn)練邊緣檢測(cè)器。運(yùn)動(dòng)邊界是圖像邊界的一部分，如圖1所示。因?yàn)閳D像邊界能夠用來獲得正面的訓(xùn)練樣本。另一方面，在離運(yùn)動(dòng)邊界較遠(yuǎn)的未知可能也包含圖像邊界。幸運(yùn)的是，因?yàn)檫吘壓苌伲?jiǎn)單的對(duì)隨機(jī)位置取樣也能提供很少錯(cuò)誤的負(fù)面訓(xùn)練結(jié)果。因此通過對(duì)假設(shè)準(zhǔn)確動(dòng)作預(yù)估，我們能夠?yàn)檫吘墮z測(cè)獲得無限的訓(xùn)練數(shù)據(jù)。

圖1

確實(shí)，光學(xué)流動(dòng)和邊緣檢測(cè)時(shí)緊緊耦合在一起的。最新，Revaud等人提出了EpicFlow，給出一個(gè)具體的邊界地圖和框架之間的半稠密匹配，EpicFlow生成稠密的補(bǔ)充匹配結(jié)果，這符合最新的結(jié)果預(yù)期。

這個(gè)想法啟發(fā)了我們的方法，我們一開始僅使用半稠密來匹配框架和基準(zhǔn)圖片（簡(jiǎn)單的圖像梯度）。然后

在計(jì)算匹配流動(dòng)和最佳圖像邊緣之間反復(fù)進(jìn)行運(yùn)算，在大量視頻數(shù)據(jù)的訓(xùn)練下，我們獲得高度精密的正向反饋和隨機(jī)負(fù)向反饋，我們使用這些數(shù)據(jù)對(duì)我們的檢測(cè)器進(jìn)行提高，我們的結(jié)果如圖2所示。

圖2

我們對(duì)結(jié)構(gòu)化邊緣（SE）和整體化邊緣（HE）進(jìn)行了試驗(yàn)。SE是基于構(gòu)筑架構(gòu)，HE是基于深度網(wǎng)絡(luò)。SE更快，HE更準(zhǔn)確。兩種檢測(cè)器都實(shí)現(xiàn)了目前最佳的結(jié)果。本文主要的結(jié)果是，通過使用我們的無監(jiān)督方法進(jìn)行訓(xùn)練，這兩種都實(shí)現(xiàn)了完全監(jiān)督訓(xùn)練下的同等表現(xiàn)。

最后，我們證明這是能夠作為一種新穎的針對(duì)深度網(wǎng)絡(luò)的無監(jiān)督預(yù)訓(xùn)練方法。特別的是，當(dāng)將一種神經(jīng)網(wǎng)絡(luò)微調(diào)用來物體檢測(cè)時(shí)，使用權(quán)重學(xué)習(xí)邊緣檢測(cè)比使用隨機(jī)已有權(quán)重表現(xiàn)要好。雖然結(jié)果還很初步，但我們相信這是未來探索一個(gè)很有希望的方向。

2.相關(guān)工作

邊緣檢測(cè)：

早期的邊緣檢測(cè)器是使用圖像梯度和質(zhì)感梯度手工設(shè)計(jì)的。相關(guān)性強(qiáng)的是這些邊緣檢測(cè)器是數(shù)據(jù)導(dǎo)向訓(xùn)練的。在加入多重分類、特性學(xué)習(xí)、衰減、結(jié)果預(yù)測(cè)和深度學(xué)習(xí)后，這些問題都得到較好堅(jiān)決。這些方法都要求嚴(yán)格的訓(xùn)練監(jiān)督，在這個(gè)工作中我們探索無監(jiān)督學(xué)習(xí)是否能被替代（針對(duì)我們的實(shí)驗(yàn)談?wù)摚?/span>

光學(xué)流動(dòng)：

全面回顧已超出我們的研究能力，我們主要是研究利用少數(shù)匹配和圖像邊緣做評(píng)價(jià)的方法。特別是我們運(yùn)用邊緣反饋，從稀到密的匹配添加來進(jìn)行密集動(dòng)作的描述。我們的關(guān)注點(diǎn)不在視覺估計(jì)，我們更加關(guān)注在沒有人類監(jiān)督下進(jìn)行的邊緣和邊緣評(píng)價(jià)結(jié)果的聯(lián)合。

利用運(yùn)動(dòng)進(jìn)行知覺分類。在人類視覺中，運(yùn)動(dòng)在分類和物體識(shí)別中起著至關(guān)重要的作用。Ostrovsky等人利用視力剛恢復(fù)的人來進(jìn)行視覺技巧研究，結(jié)果顯示運(yùn)動(dòng)提示對(duì)于物體分類和識(shí)別能力十分重要。我們的研究也是受此啟發(fā)：旨在利用運(yùn)動(dòng)提示研究邊緣探測(cè)器。

利用視頻進(jìn)行研究：把視頻作為視覺學(xué)習(xí)表現(xiàn)的監(jiān)督信號(hào)是最近興起的方法，例如，把提高相鄰視頻的相似性，學(xué)習(xí)連續(xù)幀的潛在表現(xiàn)，或是學(xué)著預(yù)測(cè)消失的或是未來的幀。Wang和Gupta利用物體追蹤并加強(qiáng)被追蹤幀在視頻中的相似性，而不是通過簡(jiǎn)單加強(qiáng)視頻中連續(xù)幀的相似性。結(jié)果網(wǎng)絡(luò)很容易做出正常評(píng)價(jià)和物體探測(cè)。正如我們所展示的那樣，我們的方法可作為一個(gè)新穎無監(jiān)督且先于訓(xùn)練的體系。但是在之前的方法中，訓(xùn)練目標(biāo)僅僅是作為一個(gè)代理去鼓勵(lì)網(wǎng)絡(luò)學(xué)會(huì)一個(gè)有用的表達(dá)，我們最初的目標(biāo)是訓(xùn)練邊緣探測(cè)器，而學(xué)會(huì)表達(dá)僅僅是一個(gè)意外結(jié)果。

3.從視頻中學(xué)習(xí)邊緣

我們最開始是使用電腦視覺中的標(biāo)準(zhǔn)工具制作一些簡(jiǎn)單的提示，例如點(diǎn)對(duì)應(yīng)和圖像梯度。我們使用DeepMatching去獲得連續(xù)兩幀（I,I’）之間的半稠密匹配。為匹配成功DeepMatching會(huì)計(jì)算不同部分和規(guī)模之間的聯(lián)系。但與其名字剛好相反的是，此方法并未涉及到深度學(xué)習(xí)。在本文剩余部分，我們會(huì)完善M的匹配結(jié)果。

我們提倡使用在圖2和算法1中提到的迭代過程。梯度級(jí)僅是圖像邊緣的粗略估計(jì)，因此可作為一個(gè)合理的起始點(diǎn)。在接下來的部分中我們更加詳細(xì)地討論此過程。

3.1 方法細(xì)節(jié)

EpicFlow

EpicFlow作為圖像對(duì)輸入（I,I'），圖像之間的半稠密匹配M和第一幀的邊緣圖E。它能有效地計(jì)算出由E決定的在M中所有像素和匹配點(diǎn)之間的近似測(cè)地距離。對(duì)于每一個(gè)像素，測(cè)地距被用于尋找與K最接近的匹配，以及由加權(quán)組合的運(yùn)動(dòng)矢量決定的源像素運(yùn)動(dòng)。最后的優(yōu)化是是使用最小的能量變化產(chǎn)生高精度的邊緣保護(hù)流向圖。我們會(huì)為讀者提供更多細(xì)節(jié)。

運(yùn)動(dòng)邊緣檢測(cè)

在給定的光流估計(jì)中進(jìn)行運(yùn)動(dòng)邊緣檢測(cè)極具挑戰(zhàn)性，如圖3。Weinzaepfel等人表示基于流動(dòng)圖的簡(jiǎn)單梯度計(jì)算，結(jié)果往往不太理想，且對(duì)于運(yùn)動(dòng)邊緣檢測(cè)不提倡使用以數(shù)據(jù)驅(qū)動(dòng)的方法。在本項(xiàng)研究中，我們會(huì)使用一個(gè)相對(duì)簡(jiǎn)單但效果驚人的方法。我們使用基于圖像邊緣訓(xùn)練過的邊緣檢測(cè)器，為進(jìn)行運(yùn)動(dòng)邊緣評(píng)估把（圖像）邊緣檢測(cè)器運(yùn)用于有顏色編碼的流向圖。通過色彩，高度及飽和度對(duì)流動(dòng)動(dòng)向進(jìn)行編碼，把光流映射的2D流量矢變成3D的顏色空間。動(dòng)作邊緣經(jīng)此編碼變得十分清晰（我們嘗試過其他顏色空間但HSV表現(xiàn)最好）。在有顏色的流向圖使用邊緣探測(cè)器，能讓我們簡(jiǎn)單了解運(yùn)動(dòng)邊緣檢測(cè)機(jī)制。

圖3.運(yùn)動(dòng)邊緣檢測(cè)的解釋。（a）輸入圖片。（b）基于輸入圖片添加顏色。（c）通過運(yùn)用邊緣檢測(cè)器計(jì)算運(yùn)動(dòng)邊緣。（d）經(jīng)校對(duì)后的邊緣。經(jīng)校對(duì)后的邊緣可作為訓(xùn)練邊緣檢測(cè)的監(jiān)督信號(hào)。

運(yùn)動(dòng)邊緣校對(duì)

從流向計(jì)算出的運(yùn)動(dòng)邊緣與圖像邊緣有些許不符。我們發(fā)現(xiàn)這會(huì)對(duì)訓(xùn)練造成不利影響，尤其對(duì)于HE來說，其產(chǎn)生的邊緣較厚。為校對(duì)運(yùn)動(dòng)邊緣，我們使用簡(jiǎn)單的探索方法:在運(yùn)用非最大化的抑制和闕值后，我們把在彩色圖像中探測(cè)到的超像素和運(yùn)動(dòng)邊緣進(jìn)行校對(duì)。尤其，我們利用涵蓋90%圖像邊緣的SLIC超像素，使用雙向匹配（同樣也適用于BSDS評(píng)價(jià)中）對(duì)運(yùn)動(dòng)和邊緣的超像素進(jìn)行匹配。經(jīng)匹配的運(yùn)動(dòng)邊緣像素會(huì)轉(zhuǎn)移到超像素邊緣位置，而為匹配的運(yùn)動(dòng)邊緣會(huì)被丟棄。這一改良（如圖3d）能幫助我們過濾邊緣不清楚的圖像進(jìn)而精準(zhǔn)定位。

我們強(qiáng)調(diào)我們的目標(biāo)并不是探測(cè)所有的邊緣。對(duì)于訓(xùn)練只需一小部分精準(zhǔn)判斷。但是由于校準(zhǔn)過程，我們的取樣會(huì)稍有偏移。特別一些缺少對(duì)應(yīng)圖像邊緣的運(yùn)動(dòng)邊緣會(huì)經(jīng)常缺失。而此缺陷和表現(xiàn)的影響會(huì)在第4部分進(jìn)行討論。

訓(xùn)練：經(jīng)校對(duì)過的運(yùn)動(dòng)邊緣圖能作為訓(xùn)練邊緣探測(cè)器的監(jiān)督信號(hào)。陽性是在有準(zhǔn)確率較高的地方進(jìn)行取樣。陰性是統(tǒng)一從有教小臨界值的運(yùn)動(dòng)邊緣中進(jìn)行取樣。但并未考慮運(yùn)動(dòng)邊緣的模糊的地方。如我們將會(huì)展示一樣，如此收集的樣本對(duì)于訓(xùn)練來說會(huì)是一個(gè)將強(qiáng)的監(jiān)督信號(hào)。

視頻數(shù)據(jù)集

對(duì)于訓(xùn)練，我們會(huì)聯(lián)合來自兩個(gè)不同部分的視頻數(shù)據(jù)集：視頻分割標(biāo)準(zhǔn)（VSB）和YouTube物體數(shù)據(jù)集。我們使用這兩個(gè)數(shù)據(jù)集中的所有高清視頻（100+155）。省略掉Youtube物體數(shù)據(jù)集中的解釋。視頻的收集將會(huì)超過500K，對(duì)于邊緣檢測(cè)的訓(xùn)練來說已足夠。

幀過濾。在給定的大量數(shù)據(jù)中，我們運(yùn)用探測(cè)的方法選擇對(duì)于運(yùn)動(dòng)評(píng)估來說最清楚的幀。首先我們會(huì)使用ORB廣義匹配（計(jì)算很快）在連續(xù)幀之間安裝單應(yīng)矩陣。接著省去匹配度不高的幀，運(yùn)動(dòng)較慢（最大移位＜2像素），運(yùn)動(dòng)較廣（平均移位＞15像素），或是全局平移移動(dòng)。這些探索方法移除了光流不可靠或是包含運(yùn)動(dòng)邊緣較少的幀。在所有試驗(yàn)中我們使用修剪過的50K左右的幀。

3.2 邊緣檢測(cè)器的細(xì)節(jié)

我們使用分別基于樹狀和深層網(wǎng)絡(luò)的結(jié)構(gòu)化邊緣（SE）和整體化邊緣（HE）探測(cè)器進(jìn)行試驗(yàn)。SE因其準(zhǔn)確度高且速度快被廣泛運(yùn)用，例如，流向評(píng)估和物體建議。HE方法更新但取得的效果不錯(cuò)。當(dāng)使用未經(jīng)監(jiān)督的體系進(jìn)行研究時(shí)，這兩種方法的表現(xiàn)與在監(jiān)督環(huán)境下的表現(xiàn)結(jié)果一致。

結(jié)構(gòu)化的邊緣（SE）

SE是通過提取較低水平的圖像特征，如顏色和梯度渠道，進(jìn)行邊緣預(yù)測(cè)。這一方法通過結(jié)構(gòu)化標(biāo)簽學(xué)習(xí)決策流程以決定在每一節(jié)點(diǎn)的相應(yīng)功能。在測(cè)試中，每一個(gè)決定都為相應(yīng)的節(jié)點(diǎn)輸入。最終的圖像是由每一個(gè)節(jié)點(diǎn)的重合部分構(gòu)成的，而由此方法的結(jié)果也會(huì)很好。我們?cè)谟?xùn)練中也會(huì)使用相同的參數(shù)。這一樹狀體系會(huì)有8個(gè)分支，每一分支最深會(huì)有64層。每一樹狀是由隨機(jī)選擇的106數(shù)據(jù)集進(jìn)行訓(xùn)練，而這一數(shù)據(jù)集的陰性和陽性部分?jǐn)?shù)量都一樣。在訓(xùn)練中，我們把地區(qū)邊緣節(jié)點(diǎn)轉(zhuǎn)化為分割任務(wù)，就如SE計(jì)算邊緣相關(guān)部分一樣。我們會(huì)舍棄未跨越整個(gè)邊緣的部分。在訓(xùn)練中的每一次迭代，樹狀系統(tǒng)都能從相互摩擦中有所收獲。在測(cè)試時(shí)，為達(dá)到最好效果我們會(huì)在各范圍運(yùn)行SE。

整體邊緣化（HE）

HE使用改良的VGG-16網(wǎng)絡(luò)系統(tǒng)且?guī)в刑鴮又g的聯(lián)系和深層監(jiān)督。實(shí)施過程如下。我們會(huì)去掉所有的連接層，留下匯聚層，結(jié)果是結(jié)構(gòu)只剩下13層回旋層和4層匯聚層。通過附加線性分類器（1×1卷積）跳層能實(shí)施為各階段的最后一個(gè)轉(zhuǎn)化層，他們的結(jié)果都是用于產(chǎn)生最后的圖像。在我們的實(shí)施中，我們?nèi)コ俗钌顚哟蔚谋O(jiān)督（每一層都有不同的缺失函數(shù)）因?yàn)槲覀儼l(fā)現(xiàn)單一的函數(shù)缺失所受懲罰較小，更易用于訓(xùn)練。

我們用調(diào)整過的且在ImageNet進(jìn)行過訓(xùn)練的網(wǎng)絡(luò)和隨機(jī)初始化的網(wǎng)絡(luò)進(jìn)行試驗(yàn)。對(duì)于調(diào)整，我們使用參數(shù)為學(xué)習(xí)率1e-6，重量衰變.0002，動(dòng)量.9和批量10。從摩擦中進(jìn)行學(xué)習(xí)時(shí)，我們?cè)诿恳粋€(gè)卷積塊的終點(diǎn)加上批量化層。這加速了訓(xùn)練也提高了匯聚。我們同樣也提高了學(xué)習(xí)率（1e-5），重量衰減(.0005)。每一次迭代會(huì)對(duì)網(wǎng)絡(luò)進(jìn)行40次訓(xùn)練，這減少了一半的學(xué)習(xí)率。與SE不同，我們能從之前的迭代中重復(fù)使用網(wǎng)絡(luò)作為后續(xù)迭代的起點(diǎn)。

4.試驗(yàn)和結(jié)果

我們對(duì)于每一個(gè)任務(wù)都使用2種不同的邊緣檢測(cè)器（SE，HE）且提供較為廣泛的標(biāo)準(zhǔn)。我們的主要研究成果是，只用視頻進(jìn)行訓(xùn)練的圖像邊緣檢測(cè)器與全面監(jiān)督的訓(xùn)練模式相比，實(shí)現(xiàn)的成果更好。作為研究方法的副成果，我們同樣產(chǎn)生了具有競(jìng)爭(zhēng)力的光流動(dòng)和運(yùn)動(dòng)邊緣結(jié)果。最后，我們展示了使用視頻的網(wǎng)絡(luò)在物體檢測(cè)方面有所提高。

4.1運(yùn)動(dòng)邊界檢測(cè)

雖然我們的重點(diǎn)不是運(yùn)動(dòng)邊界檢測(cè)，但運(yùn)動(dòng)邊界作為我們唯一的監(jiān)督信息來源，識(shí)別它是非常重要的。因此我們的第一個(gè)實(shí)驗(yàn)是基于運(yùn)動(dòng)邊界的。

表1.基于VSB的運(yùn)動(dòng)邊界結(jié)果。

我們用視頻分割基準(zhǔn)（VSB），以20幀為單位，注釋地面真實(shí)運(yùn)動(dòng)的邊界。我們?cè)跍y(cè)試集中282個(gè)注釋的幀上報(bào)告了結(jié)果（刪除沒有運(yùn)動(dòng)邊界的幀并且將每個(gè)視頻最后的幀作為所需的3幀），使用了三種標(biāo)準(zhǔn)的指標(biāo)進(jìn)行評(píng)估：固定輪廓閾值（ODS），每幅圖像的最佳閾值（OIS），和平均精度（AP）?？紤]到高精準(zhǔn)度規(guī)則，我們引入了額外的措施：精度為召回的20%。非最大抑制適用于評(píng)估先前所有的運(yùn)動(dòng)邊界。

表1中報(bào)告了四種基線的結(jié)果以及我們方法中最后一次迭代的運(yùn)動(dòng)邊界GT（SE/HE-IMAGE）.

這些基線包括：圖像邊界（SE/HE-IMAGE），光流的梯度幅值（EPLCFLOW），一種結(jié)合運(yùn)動(dòng)信息和超像素分割的方法（GaLasso ），以及最近的一個(gè)數(shù)據(jù)驅(qū)動(dòng)的監(jiān)督方法（WEINZAEPFEL）。

我們的方法，雖然簡(jiǎn)單，但在20%召回中具有66～67精度，僅略差于[ 43 ]，即使它沒有受過針對(duì)運(yùn)動(dòng)邊界檢測(cè)的訓(xùn)練。它在高精度規(guī)則方面基本上比它的基線好的多。雖然我們的目標(biāo)不是運(yùn)動(dòng)邊界檢測(cè)本身，但該結(jié)果是很重要的，因?yàn)樗刮覀兡軌颢@得高質(zhì)量的正樣本，它能用于訓(xùn)練圖像邊界檢測(cè)器。

4.2 圖像邊界檢測(cè)

我們下一步調(diào)查了邊界檢測(cè)的性能。結(jié)果的報(bào)告基于伯克利分割數(shù)據(jù)集和基準(zhǔn)（BSDS），它由200個(gè)訓(xùn)練，100個(gè)驗(yàn)證，和200個(gè)測(cè)試圖像組成。每一個(gè)圖像都注釋了地面實(shí)況邊界。我們?cè)僖淮斡猛瑯拥娜齻€(gè)標(biāo)準(zhǔn)的指標(biāo)：固定輪廓閾值（ODS），每幅圖像的最佳閾值（OIS），平均精度（AP），進(jìn)行了精度評(píng)估。

圖像邊界檢測(cè)是否可以被訓(xùn)練用于運(yùn)動(dòng)邊界？我們的第一個(gè)實(shí)驗(yàn)驗(yàn)了這個(gè)問題。我們?cè)赩SB（591圖像）中使用了所有可利用的地面實(shí)況邊界，來訓(xùn)練SE和HE。結(jié)果在表2中（SE-VSB，HE-VSB）。對(duì)于這兩種方法，與用圖像邊界監(jiān)督（SE-BSDS，HE-BSDS）訓(xùn)練相比,結(jié)果都是在2到4點(diǎn)ODS。我們的結(jié)果表明：使用運(yùn)動(dòng)邊界進(jìn)行圖像邊界檢測(cè)的學(xué)習(xí)是可行的。

我們接下來展示了使用視頻作為監(jiān)督信號(hào)的結(jié)果（SE-VIDEO，HE-VIDEO）。相比于監(jiān)督情況下.746(SEBSDS)，SE-VIDEO實(shí)現(xiàn)了.724ODS。HE的結(jié)果相似（.748和。785）。如結(jié)果所示，使用視頻監(jiān)督達(dá)到了競(jìng)爭(zhēng)的結(jié)果（3%到5%之間）。有趣的是，從視頻學(xué)習(xí)略勝了使用地面實(shí)況運(yùn)動(dòng)邊界訓(xùn)練。我們認(rèn)為這是最小規(guī)模的VSB。

表2BSDS測(cè)試集的邊界檢測(cè)結(jié)果。我們提供了使用了三種標(biāo)準(zhǔn)指標(biāo)：BSDS, VSB, and

VIDEO (非監(jiān)督)訓(xùn)練SE和HE的結(jié)果。HE在ImageNet上使用了VGG網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，HE?表明網(wǎng)絡(luò)是從零開始訓(xùn)練的。

對(duì)于HE，我們實(shí)驗(yàn)開始于一個(gè)ImageNet預(yù)訓(xùn)練模型和從零開始訓(xùn)練（HE?）。HE在整個(gè)訓(xùn)練場(chǎng)景中大大受益于在ImageNet的預(yù)訓(xùn)練。這是令人鼓舞的，因?yàn)樗馕吨鴮?duì)象級(jí)知識(shí)，對(duì)于邊界檢測(cè)是有用的。另一方面，我們的視頻監(jiān)督方案同樣在ImageNet預(yù)訓(xùn)練中受益，因此，這意味著，在我們目前的設(shè)置沒有訓(xùn)練出模型的全部潛力。

為了探討性能如何演化，圖4中，對(duì)于兩種方法，我們?cè)诿恳淮蔚卸荚O(shè)置了ODS分?jǐn)?shù)。在迭代0中Raw圖像梯度為。543ODS（未展示）。隨著大多數(shù)的收益進(jìn)入第一次迭代，我們的迭代過程從圖像梯度中提供了顯著的改善。4次迭代之后，性能達(dá)到飽和（最后一次迭代，我們對(duì)SE使用了4百萬的樣本，對(duì)HE使用了80次訓(xùn)練，略微增加精度）。

圖4.在迭代上收斂ODS和AEE。

圖5中我們提供了可視化的邊界結(jié)果（在NMS之前）。SE損失了一些薄弱的邊界，但邊界仍然很好地對(duì)準(zhǔn)圖像內(nèi)容。由于使用向下采用卷積特征圖，HE一般會(huì)產(chǎn)生較厚的邊界，這使它很難產(chǎn)生尖銳的圖像邊界。結(jié)果HE-VIDEO/HE?-VIDEO，有著比HEBSDS/HE?-BSDS更厚的邊界，可能是由于抽樣策略用于運(yùn)動(dòng)邊界訓(xùn)練。使用視頻訓(xùn)練時(shí)，我們也觀察到，邊界檢測(cè)的輸出好的區(qū)域更少，并且更趨向于丟失薄弱的邊界，這可能導(dǎo)致很大的性能差異。

4.3光流

我們?cè)贛iddlebury和MPISintel數(shù)據(jù)集檢測(cè)光流。Middlebury被廣泛的使用，并且用很小的位移，組成復(fù)雜的運(yùn)動(dòng)。Sintel是從動(dòng)畫序列，大位移特征和挑戰(zhàn)性的光照?qǐng)鼍爸蝎@得的。我們使用了Sintel的“最終”版本，并且用公共的地面實(shí)況在訓(xùn)練集中測(cè)試。由于目標(biāo)是測(cè)試產(chǎn)生邊界的質(zhì)量，我們只集中于EpicFlow的版本，和SInte如CVPR2015l，最高性能的方法。

圖5 5個(gè)樣本圖片邊界檢測(cè)結(jié)果的說明（和[11]中使用的一樣），前兩排展示了原始圖片和地面實(shí)況。第二和第三排是使用BSDS或VIDEO訓(xùn)練SE的結(jié)果。剩下的圖顯示了變型的HE在BSDS或者VIDEO中的結(jié)果。HE?表明網(wǎng)絡(luò)是從零開始訓(xùn)練的。

表3.不同版本邊界圖EpicFlow的精準(zhǔn)度。

表3顯示了在Sintel和Middleburry使用不同邊界圖時(shí)，EpicFlow的平均終點(diǎn)誤差（AEE）。大部分的邊界圖在Sintel引發(fā)了相同的結(jié)果（AEE在3.6~3.8附近）。特別是，使用SE-BSDS邊界的原始EpicFLow；有SE-VIDEO邊界的結(jié)果幾乎是一樣的。上面的結(jié)果是從HE-BSDS中獲得的，而HE-VDEO和HE?-VIDEO結(jié)果稍差。在Middleburry中方法的排名是相似的。

作為上限，我們還介紹了給定地面實(shí)況（GT）動(dòng)作邊界的EpicFlow。精準(zhǔn)度僅僅略微的優(yōu)于最好的學(xué)習(xí)邊界圖。這意味著當(dāng)前給定的匹配中EpicFlow的性能達(dá)到飽和。

最后，圖4中每一幀我們都將AEE設(shè)置在Sintel上。所有的方法都提高了初始流量（AEE 4.016，不顯示），在幾次幾次迭代之后結(jié)果再次飽和。

4.4目標(biāo)檢測(cè)

最后，我們測(cè)試了用于邊界檢測(cè)的無監(jiān)督訓(xùn)練方案，能否被用于預(yù)訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)。

最近一個(gè)很有趣的問題，強(qiáng)監(jiān)督對(duì)于學(xué)習(xí)目標(biāo)檢測(cè)的良好視覺代表，是否必不可少。盡管不是工作的重點(diǎn)，我們證明了我們的方案同樣可以用于網(wǎng)絡(luò)初始化。

在該實(shí)驗(yàn)中，我們使用了HE?邊界檢測(cè)器（未經(jīng)過ImageNet預(yù)訓(xùn)練）。鑒于[39]中的建議，實(shí)驗(yàn)使用了 PASCAL VOC 2007  and the Fast R-CNN目標(biāo)檢測(cè)器。結(jié)果通過了主集合平均準(zhǔn)確率(mAP)評(píng)估。我們使用了兩種網(wǎng)絡(luò)對(duì)比結(jié)果。VGG和ZF，以及四個(gè)訓(xùn)練方案：無預(yù)訓(xùn)練，在 BSDS (HE?-BSDS)上預(yù)訓(xùn)練，以及使用視頻(HE?-VIDEO)預(yù)訓(xùn)練。使用40K迭代訓(xùn)練-Val集微調(diào)所有的網(wǎng)絡(luò)（從零開始時(shí)120K迭代）。表4中總結(jié)了結(jié)果。

表4.在 PASCAL VOC2007測(cè)試中使用VGG（左）和ZF（右）的目標(biāo)檢測(cè)結(jié)果。

VGG結(jié)果：我們嘗試在VOC中從零開始訓(xùn)練VGG，但沒得到有用的結(jié)果。甚至在120K迭代后檢測(cè)的性能仍然很低（~15mAP）。在BSDS上預(yù)訓(xùn)練網(wǎng)絡(luò)邊界檢測(cè)時(shí)，我們?cè)赑ASCAL上的性能達(dá)到了42.1mAP。有趣的是，使用視頻訓(xùn)練時(shí)，我們看到了mAP中超過了兩個(gè)點(diǎn)的提高（盡管同樣的網(wǎng)絡(luò)差于邊界檢測(cè)）。

ZF結(jié)果：我們也進(jìn)行這樣的實(shí)驗(yàn)，訓(xùn)練一個(gè)更小的只有5個(gè)卷積層的ZF網(wǎng)絡(luò)。我們微調(diào)網(wǎng)絡(luò)邊界檢測(cè)，以便調(diào)整不同層之間的輸出。由于ImageNet預(yù)訓(xùn)練，調(diào)整了ZF網(wǎng)絡(luò)的Faet R-CNN在PASCAL中性能達(dá)到了58.6mAP，而沒有預(yù)訓(xùn)練，mAP則下降到38.2。目標(biāo)檢測(cè)預(yù)訓(xùn)練，無論有無監(jiān)督，在從零開始訓(xùn)練中性能都提高了~3mAP。

綜上所述，我們總結(jié)出，目標(biāo)檢測(cè)預(yù)訓(xùn)練，可以提高訓(xùn)練從零開始檢測(cè)器的性能（無論有無監(jiān)督）。然而。ImageNet預(yù)訓(xùn)練本質(zhì)上仍取得更好的效果。

4.5局限

在目標(biāo)檢測(cè)方面，無監(jiān)督訓(xùn)練為什么沒有比監(jiān)督訓(xùn)練表現(xiàn)更好？理論上，一個(gè)足夠大的視頻集，應(yīng)該提供一個(gè)無限制的訓(xùn)練集，并且在這足夠大的集合中邊界檢測(cè)器的性能，應(yīng)該優(yōu)于那些更小的監(jiān)督訓(xùn)練集。然而，有很多問題普遍的限制了性能。（1）在薄弱的邊界方面，現(xiàn)存的流方法缺少精準(zhǔn)度，另外，我們的調(diào)整方案也移除了薄弱的邊界。因此，薄弱邊界從我們的訓(xùn)練集中遺失了。（2）進(jìn)一步提高圖片邊界不會(huì)改善光流，見表1.我們猜想，幀之間的匹配是EpicFlow的限制因素，而且直到他們提高，在當(dāng)前方案中的光流和邊界也不會(huì)改善。（3）訓(xùn)練受到噪音標(biāo)簽干擾，在特殊情況下，遺失了重要的標(biāo)簽，消極的標(biāo)簽，如果沒有妥善處理，會(huì)控制后期階段的梯度。

無監(jiān)督學(xué)習(xí)方案是否捕獲了目標(biāo)級(jí)信息？目標(biāo)的定義由它的邊界決定，相反很多的邊界只能被目標(biāo)的知識(shí)識(shí)別。我們?cè)谶吔绾湍繕?biāo)檢測(cè)的結(jié)果，支撐了這個(gè)聯(lián)系：一方面，ImageNet預(yù)訓(xùn)練對(duì)于邊界檢測(cè)是有用的，或許因?yàn)樗诰W(wǎng)絡(luò)中注入了目標(biāo)級(jí)的信息。另一方面。預(yù)訓(xùn)練一個(gè)邊界檢測(cè)網(wǎng)絡(luò)改善了目標(biāo)檢測(cè)。原則上，邊界網(wǎng)絡(luò)需要學(xué)習(xí)高級(jí)別的波形信息，這或許可以解釋預(yù)訓(xùn)練的效果。然而，我們注意到在整個(gè)情景中，ImageNet的預(yù)訓(xùn)練仍然有益于邊界檢測(cè)。而且，在目標(biāo)檢測(cè)方面ImageNet預(yù)訓(xùn)練本質(zhì)上仍然優(yōu)于視頻預(yù)訓(xùn)練。顯然，在捕獲目標(biāo)等級(jí)信息方面，當(dāng)前的無監(jiān)督方案沒有和ImageNet預(yù)訓(xùn)練一樣好的效果。

5.討論

本文中，我們提出在沒有明確監(jiān)督時(shí)從視頻中獲得運(yùn)動(dòng)邊界以便學(xué)習(xí)邊界檢測(cè)。

我們開發(fā)了一個(gè)迭代過程，使用邊界結(jié)果交替更新光流之間的關(guān)系，并且學(xué)習(xí)基于光流的邊界檢測(cè)器，使精準(zhǔn)度和流得以增加。

我們論文的主要結(jié)果是邊界檢測(cè)器在訓(xùn)練使用我們的無監(jiān)督方案后，能達(dá)到和完全監(jiān)督訓(xùn)練一樣級(jí)別的性能。

此外，我們證明了我們的方法可以用于深度網(wǎng)絡(luò)的新型無監(jiān)督預(yù)訓(xùn)練方案。盡管預(yù)訓(xùn)練的結(jié)果不理想，我們堅(jiān)信它是未來探索中一個(gè)非常有前途的方向。

從長遠(yuǎn)來看我們堅(jiān)信，當(dāng)無監(jiān)督的方法可以訪問無限的數(shù)據(jù)時(shí)，邊界檢測(cè)的無監(jiān)督學(xué)習(xí)有潛力勝過監(jiān)督訓(xùn)練，而我們的工作是該方向非常重要的第一步。

via FAIR CVPR 2016

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。