0
| 本文作者： 高婓 | 2016-08-26 17:44 |
聯(lián)合編譯：高斐，Blake
雷鋒網(wǎng)注：Piotr Dollar于2014年成為FAIR研究科學(xué)家，主要研究領(lǐng)域?yàn)橛?jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)，曾在MSR任職三年，并建立Anchovi Labs（于2012年被Dropbox收購(gòu)）。2011年在加州理工大學(xué)獲得計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室博士后學(xué)位，2007年于UCSD獲得博士學(xué)位。在計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)方面已發(fā)表的最新論文有：Learning to Refine Object Segments (2016), A MultiPath Network for Object Detection (2016), Unsupervised Learning of Edges (2016), Metric Learning with Adaptive Density Discrimination (2016)等。本文著重介紹計(jì)算機(jī)圖像分割技術(shù)及其應(yīng)用，并對(duì)與本文密切相關(guān)的三篇論文的主要內(nèi)容做簡(jiǎn)要概括。
面對(duì)一個(gè)圖像，人們能夠輕松識(shí)別其中的對(duì)象，甚至能夠識(shí)別圖像中對(duì)象像素高低。在FAIR過(guò)程中，我們正在將機(jī)器視覺(jué)領(lǐng)域的研究推向一個(gè)新的發(fā)展階段——我們的目標(biāo)是使機(jī)器能夠像人一樣在像素層面理解圖像和物體。
在過(guò)去幾年里，深度卷積神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域取得的進(jìn)展和更為強(qiáng)大的計(jì)算架構(gòu)的出現(xiàn)為機(jī)器視覺(jué)系統(tǒng)的精度和性能帶來(lái)了突破性的提升與發(fā)展。我們目睹了圖像分類（圖像中的內(nèi)容）與對(duì)象檢測(cè)（對(duì)象的位置）兩種技術(shù)取得的巨大進(jìn)步（見(jiàn)下方圖像中的a，b兩個(gè)圖片）。然而，這兩種技術(shù)的發(fā)展僅僅是理解任意一幅圖像或一段視頻中最相關(guān)視覺(jué)內(nèi)容的小小開(kāi)端。近來(lái)，我們正在研發(fā)設(shè)計(jì)能夠識(shí)別并分割一幅圖像中的每個(gè)對(duì)象的技術(shù)，見(jiàn)下方圖像右側(cè)c圖片，這種技術(shù)體現(xiàn)出機(jī)器視覺(jué)系統(tǒng)的一種關(guān)鍵性能，并將帶來(lái)全新的應(yīng)用。
促進(jìn)我們?cè)趫D像分割技術(shù)方面取得進(jìn)步的主要新算法是與我們的Sharpmask 分割微調(diào)模塊搭配運(yùn)用的Deepmask分割框架。兩種圖像分割技術(shù)的結(jié)合使得FAIR的機(jī)器視覺(jué)系統(tǒng)具備檢測(cè)與精確描述一幅圖像中每一個(gè)物體的能力。在圖像識(shí)別技術(shù)發(fā)展的最后階段，我們運(yùn)用一種專業(yè)化卷積網(wǎng)絡(luò)，稱之為MultiPathNet（多路徑網(wǎng)絡(luò)），旨在依照對(duì)象所屬的類別（例如，人，狗，羊）為每一個(gè)物體標(biāo)記掩碼。稍后，我們將具體介紹這種專業(yè)化卷積網(wǎng)絡(luò)的具體應(yīng)用。
當(dāng)前，我們正在為DeepMask+SharpMask和MultiPathNet編碼，我們的研究論文和與研究相關(guān)的樣本都對(duì)大眾開(kāi)放，希望我們的努力能夠加速機(jī)器視覺(jué)領(lǐng)域的研究發(fā)展。我們將不斷改善這些核心技術(shù)，與此同時(shí)，也將繼續(xù)發(fā)表最新研究成果，更新向該研究領(lǐng)域開(kāi)放的開(kāi)源工具。
下面我們一起來(lái)看一下如何為這些算法建模。
大致瞥一眼下方的第一張照片，左邊的一張，你看到了什么？一位攝影師正在操作他的老式相機(jī)。一塊綠草地。圖片背景里的建筑物。你也可能注意到其他無(wú)數(shù)細(xì)節(jié)。不過(guò)，一臺(tái)機(jī)器可沒(méi)有看到你描述的圖片中的這些人和物，一幅圖像被編碼成為代表每一個(gè)像素顏色值的數(shù)組，如第二張照片，右邊的一張。因而，我們?cè)撊绾问箼C(jī)器視覺(jué)能夠深度理解一幅圖像，而不僅僅基于像素層面？
這可不是一項(xiàng)輕松的任務(wù)，因?yàn)樵趯?shí)物背景中，對(duì)象和場(chǎng)景都趨向無(wú)窮變化，對(duì)象的形狀、外觀、尺寸、位置、紋理與顏色無(wú)時(shí)無(wú)刻不在變化。綜合考慮上述變化因素和實(shí)物場(chǎng)景的內(nèi)在復(fù)雜性、變化的背景、光線條件、世界萬(wàn)物的多姿多彩，我們不難理解要使機(jī)器像人一樣深度理解每一幅圖像該是多么困難。
我們來(lái)了解一下深度卷積神經(jīng)網(wǎng)絡(luò)。深度網(wǎng)絡(luò)的架構(gòu)相對(duì)簡(jiǎn)單，包含經(jīng)過(guò)訓(xùn)練的而非設(shè)計(jì)出的數(shù)以千萬(wàn)計(jì)的參數(shù)，而不是試圖為對(duì)象檢測(cè)技術(shù)程序化地定義基于規(guī)則的系統(tǒng)。這些深度卷積神經(jīng)網(wǎng)絡(luò)能夠自動(dòng)從成百上千萬(wàn)標(biāo)注過(guò)的實(shí)例學(xué)習(xí)模型，當(dāng)看過(guò)足夠數(shù)量類似的例子，這類網(wǎng)絡(luò)開(kāi)始將學(xué)習(xí)所得的模式套用到新的圖像中。深度網(wǎng)絡(luò)被專門訓(xùn)練以便能夠回答關(guān)于圖像（分類）簡(jiǎn)單的“是/否”問(wèn)答式問(wèn)題，例如，一幅圖像中是否有一頭羊？
我們應(yīng)當(dāng)如何將深度網(wǎng)絡(luò)應(yīng)用于對(duì)象檢測(cè)與圖像分割？我們?cè)贒eepMask中運(yùn)用的技術(shù)是將分割看作大量?jī)煞址ǚ诸悊?wèn)題。首先，對(duì)于一幅圖像中每一（重疊）部分，我們會(huì)問(wèn)：“這個(gè)部分中是否包含一個(gè)對(duì)象”？其次，倘若對(duì)于一個(gè)特定的部分，第一個(gè)問(wèn)題的答案為“是”，那么我們對(duì)該部分的每一個(gè)像素提問(wèn)：“這個(gè)像素是該部分內(nèi)中心物體的組成成分嗎”？我們運(yùn)用深度網(wǎng)絡(luò)來(lái)回答這類簡(jiǎn)單問(wèn)答式問(wèn)題，通過(guò)把我們的網(wǎng)絡(luò)設(shè)計(jì)得更為智能化，使計(jì)算方法能夠適用于每一部分和每一個(gè)像素，我們能夠快速發(fā)現(xiàn)并分割一幅圖像中的所有對(duì)象。
DeepMask運(yùn)用一種極為傳統(tǒng)的前饋式深度網(wǎng)絡(luò)設(shè)計(jì)方法。在此類網(wǎng)絡(luò)中，隨著網(wǎng)絡(luò)層級(jí)逐漸加深，信息將變得愈來(lái)愈抽象，所包含的語(yǔ)義信息也將愈來(lái)愈豐富。例如，一個(gè)深層網(wǎng)絡(luò)的初始層可能捕獲邊緣與斑點(diǎn)，而高級(jí)層將捕獲更多的語(yǔ)義概念，如動(dòng)物的臉或四肢。在設(shè)計(jì)過(guò)程中，這些高級(jí)層捕獲的特征將在相當(dāng)?shù)偷目臻g分辨率條件下（由于計(jì)算原因及為了保證這些特征不隨一些像素位置的微小變化而變化）進(jìn)行計(jì)算。這一點(diǎn)呈現(xiàn)出掩碼預(yù)測(cè)的問(wèn)題：高級(jí)層特征可以被用于預(yù)測(cè)那些用于捕獲一個(gè)對(duì)象基本形狀的掩碼，但是不能精確地捕獲對(duì)象的邊緣信息。
我們?yōu)槭裁催\(yùn)用SharpMask模塊？SharpMask對(duì)DeepMask的輸出信息進(jìn)行微調(diào)，生成能夠更為精確地描繪對(duì)象邊緣信息的高逼真掩碼。DeepMask在網(wǎng)絡(luò)的前饋式通道中粗略預(yù)測(cè)對(duì)象掩碼，SharpMask在深層網(wǎng)絡(luò)中使信息反向流通，并對(duì)DeepMask通過(guò)運(yùn)用網(wǎng)絡(luò)中初始層捕獲的特征預(yù)測(cè)所得的信息進(jìn)行微調(diào)。我們可以如此看待該過(guò)程：為了捕獲對(duì)象的基本形狀，需要對(duì)所觀察的對(duì)象有高層次的理解（DeepMask），但是為了精確地捕獲對(duì)象的邊緣信息，需要依照像素高低反觀低層次特征（SharpMask）。從本質(zhì)上來(lái)講，運(yùn)用一個(gè)網(wǎng)絡(luò)中所有層捕獲的信息，同時(shí)監(jiān)管小型額外的信息，這是我們的目標(biāo)。
下方是由DeepMask生成，SharpMask微調(diào)得到的一些實(shí)例輸出信息。為了保持所得對(duì)象形象的簡(jiǎn)潔性，我們只展示與圖像中實(shí)際對(duì)象（人為標(biāo)注）相一致的預(yù)測(cè)所得的掩碼。需要注意的是，這一系統(tǒng)目前還不夠完備，圖像中呈現(xiàn)紅色輪廓的對(duì)象是人為標(biāo)注出的，而被DeepMask漏掉的信息。
DeepMask只能識(shí)別具體對(duì)象的類型，因而，盡管該框架能夠詳盡描述一條狗和一頭羊，卻不能對(duì)兩者的差異進(jìn)行區(qū)分。此外，DeepMask的性能并不是那么優(yōu)越，生成的圖像區(qū)域掩碼可能不會(huì)太有趣。因而，我們應(yīng)當(dāng)如何縮小相關(guān)掩碼集，進(jìn)而識(shí)別那些實(shí)際存在的對(duì)象？
正如你可能預(yù)料到的，我們將再次運(yùn)用深度神經(jīng)網(wǎng)絡(luò)。給定一個(gè)由DeepMask生成的掩碼，我們訓(xùn)練一個(gè)獨(dú)立的深度網(wǎng)絡(luò)，以對(duì)每一個(gè)掩碼的對(duì)象類型進(jìn)行分類（且“任意一種分類”都不是有效地答案）。我們運(yùn)用一個(gè)由Ross Girshick率先提出的基本參數(shù)——區(qū)域卷積神經(jīng)網(wǎng)絡(luò)，或縮寫(xiě)為RCNN。RCNN由兩個(gè)階段構(gòu)成，第一個(gè)階段用于注意某些圖像區(qū)域，第二個(gè)階段運(yùn)用一個(gè)深度網(wǎng)絡(luò)識(shí)別呈現(xiàn)出的對(duì)象。在研發(fā)RCNN的過(guò)程中，第一個(gè)處理階段是極為原始的，通過(guò)在RCNN第一階段運(yùn)用DeepMask，并利用深度網(wǎng)絡(luò)的力量，我們?cè)趯?duì)象檢測(cè)精度方面得到了很大的提升，同時(shí)也具備了分割圖像的能力。
為了進(jìn)一步提高深度神經(jīng)網(wǎng)絡(luò)的性能，我們也聚焦于使用一種專業(yè)化的網(wǎng)絡(luò)架構(gòu)對(duì)每一種掩碼進(jìn)行分類處理（在RCNN的第二階段）。正如我們前面提到的，現(xiàn)實(shí)世界的照片所包含的對(duì)象具有尺度多，背景多，分布混亂，經(jīng)常被遮擋的特點(diǎn)。對(duì)于這樣的情況，標(biāo)準(zhǔn)的深度網(wǎng)絡(luò)將會(huì)出現(xiàn)技術(shù)上的難題，為了解決這一難題，我們提出了一種經(jīng)過(guò)改進(jìn)的網(wǎng)絡(luò)，將其命名為多路徑網(wǎng)絡(luò)（MultiPathNet）。由其名字可以得知，多路徑網(wǎng)絡(luò)允許信息在網(wǎng)絡(luò)中沿多條路徑流通，允許這種網(wǎng)絡(luò)在多圖像尺度下和周圍的圖像背景下利用流通的信息。
總之，我們的對(duì)象檢測(cè)系統(tǒng)是一個(gè)由三個(gè)階段構(gòu)成的檢測(cè)過(guò)程：（1）DeepMask生成初始對(duì)象掩碼，（2）SharpMask對(duì)這些掩碼進(jìn)行微調(diào)，（3）MultiPathNet識(shí)別每一個(gè)掩碼描述的對(duì)象。以下為我們的完整系統(tǒng)生成的一些實(shí)例輸出結(jié)果：
由于幾年前尚未產(chǎn)生能夠執(zhí)行該簡(jiǎn)單操作的技術(shù)，我們的對(duì)象檢測(cè)系統(tǒng)雖然不甚完美，卻也不至于低劣。
視覺(jué)識(shí)別技術(shù)具有廣泛的潛在應(yīng)用前景。研發(fā)這一現(xiàn)有的計(jì)算機(jī)視覺(jué)技術(shù)，使得計(jì)算機(jī)能夠識(shí)別照片中的物體，例如，不通過(guò)給每一張照片直接添加標(biāo)簽來(lái)搜索具體圖像將會(huì)變得更為簡(jiǎn)單。即使不考慮圖像字幕，盲人群體也能夠了解他們朋友分享的圖片信息，因?yàn)樵撓到y(tǒng)能夠向他們傳遞這些信息。
前不久，我們已經(jīng)驗(yàn)證過(guò)為盲人研發(fā)的技術(shù)，盲人群體能夠借助這種技術(shù)評(píng)估照片，并描述照片的內(nèi)容。目前，當(dāng)有視覺(jué)障礙的用戶在其信息流中遇到圖像時(shí)，僅通過(guò)聽(tīng)取分享照片的人的名字和“照片”兩字，便能夠輕松瀏覽Facebook中的照片。我們的目的是為盲人用戶提供更為豐富的圖片信息，例如“照片中包含沙灘，樹(shù)和三個(gè)面帶笑容的人”。此外，利用我們研發(fā)的分割技術(shù)，我們?cè)O(shè)定的目標(biāo)是為盲人用戶提供身臨其境的體驗(yàn)，即用戶用手指點(diǎn)擊圖像中的任意位置，系統(tǒng)將描述其點(diǎn)擊的內(nèi)容，如此用戶便能夠“看”照片。
隨著我們所研發(fā)的技術(shù)的進(jìn)步，我們將繼續(xù)改善檢測(cè)算法與分割算法。你可以想象：有一天，圖像檢測(cè)、分割與識(shí)別技術(shù)將用于增強(qiáng)現(xiàn)實(shí)，例如在商業(yè)、醫(yī)療衛(wèi)生及其他領(lǐng)域的應(yīng)用。
此外，視頻中的物體是即時(shí)移動(dòng)，交互變化的，如何將這些技術(shù)應(yīng)用于視頻中，這將成為我們面臨的第二個(gè)挑戰(zhàn)。在運(yùn)用計(jì)算機(jī)視覺(jué)技術(shù)看視頻，理解視頻內(nèi)的即時(shí)內(nèi)容，并對(duì)這些內(nèi)容進(jìn)行分類三個(gè)方面，我們已經(jīng)取得了一定的進(jìn)展。實(shí)時(shí)分類技術(shù)有助于挑選出Facebook中一些相關(guān)且重要的直播視頻，而將這些精準(zhǔn)的技術(shù)應(yīng)用于在時(shí)間和空間內(nèi)檢測(cè)場(chǎng)景，物體和動(dòng)作，終有一天將會(huì)實(shí)現(xiàn)實(shí)時(shí)解說(shuō)。能夠繼續(xù)推動(dòng)這種最優(yōu)技術(shù)的發(fā)展，為Facebook用戶提供更好地體驗(yàn)，我們?yōu)榇烁械脚d奮。
學(xué)習(xí)分割候選對(duì)象（Learning to Segment Object Candidates）
摘要
近期以來(lái)對(duì)象檢測(cè)系統(tǒng)主要倚靠于兩個(gè)關(guān)鍵步驟：1.盡可能高效地被預(yù)測(cè)出一系列對(duì)象檢測(cè)提議，2.這一系列候選提議隨即被傳遞到對(duì)象分類器中。這些方法被證實(shí)在實(shí)現(xiàn)當(dāng)下最好的檢測(cè)表現(xiàn)的同時(shí)還能保持極快的速度。在本文中我們提出了一種新的方式來(lái)生成對(duì)象提議，介紹一種基于識(shí)別卷積網(wǎng)絡(luò)的方法。我們的模型結(jié)合了兩個(gè)目標(biāo)一起訓(xùn)練：給定一個(gè)圖像部分，系統(tǒng)輸出的第一部分是不知類別的分割掩碼，而系統(tǒng)輸出的第二部分是整個(gè)對(duì)象里面可能是中心的區(qū)塊部分。在測(cè)試中，模型被有效應(yīng)用到整個(gè)測(cè)試圖像中并且生成一系列的分割掩碼，它們中每一個(gè)都被分配了相應(yīng)的對(duì)象相似分值。測(cè)試表明我們的模型在對(duì)象檢測(cè)提議算法中實(shí)現(xiàn)了超過(guò)當(dāng)下最佳的表現(xiàn)結(jié)果。特別是與之前的方式對(duì)比，我們的模型使用更少的建議獲得了更好的對(duì)象檢測(cè)表現(xiàn)。另外我們的結(jié)果也表明我們的模型能推論出未知的類別（在訓(xùn)練中未曾見(jiàn)過(guò)的）。與之前的所有生成對(duì)象掩碼方式不同，我們并不倚靠邊緣、超像素或者其他任何形式的低階分割技術(shù)。
學(xué)習(xí)改善對(duì)象分割技術(shù)（Learning to Refine Object Segments）
摘要
對(duì)象分割要求對(duì)象層面的信息和低階的像素?cái)?shù)據(jù)。對(duì)于前饋網(wǎng)絡(luò)來(lái)說(shuō)這提出了一個(gè)挑戰(zhàn)：卷積網(wǎng)絡(luò)中的較低層能捕獲豐富的空間信息，網(wǎng)絡(luò)中的高層對(duì)于對(duì)象級(jí)別的知識(shí)進(jìn)行編碼，但是存在姿勢(shì)和外觀等不變的因素。在本文中我們提出了增加前饋網(wǎng)絡(luò)（與一種自上而下的細(xì)化方法）來(lái)進(jìn)行對(duì)象分割。這種自下而上/自上而下的架構(gòu)能夠有效地生成高保真的對(duì)象掩碼。與跳躍連接類似的是，我們的方法利用了所有網(wǎng)絡(luò)層的特征。與跳躍連接不同的是，我們的方法不會(huì)試圖在每一層輸出獨(dú)立的預(yù)測(cè)。相反，我們?cè)谇梆亗鬟f中首先輸出一個(gè)初步的“掩碼”，然后在自上而下的傳遞過(guò)程中改進(jìn)掩碼（使用低階成功層級(jí)中的特征）。本方法十分簡(jiǎn)單、迅速、有效?；诮诘腄eepMask網(wǎng)絡(luò)來(lái)生成對(duì)象提議，我們實(shí)現(xiàn)了平均10-20%的準(zhǔn)確率提升。另外通過(guò)優(yōu)化整體的網(wǎng)絡(luò)架構(gòu)，我們的方法SharpMask比原本的DeepMask快了50%。
用于對(duì)象檢測(cè)的多路徑網(wǎng)絡(luò)（A MultiPath Network for Object Detection）
摘要
最近的COCO對(duì)象檢測(cè)數(shù)據(jù)集提出了幾個(gè)新的挑戰(zhàn)，特別是它包含了廣泛尺度范圍的對(duì)象，更少的原型圖片，同時(shí)要求更精準(zhǔn)的定位。為了解決這些挑戰(zhàn)，我們測(cè)試了基于Fast R-CNN對(duì)象檢測(cè)器的三種修改方法：1.跳躍連接給予檢測(cè)器能夠權(quán)限獲取多重網(wǎng)絡(luò)層級(jí)中的特征 2. 一個(gè)中心架構(gòu)在多重對(duì)象處理中開(kāi)發(fā)出對(duì)象文本 3. 一個(gè)能提升定位的內(nèi)部損失函數(shù)以及相應(yīng)的網(wǎng)絡(luò)調(diào)整。這些調(diào)整的結(jié)果是信息能夠沿著我們網(wǎng)絡(luò)中多重路徑流動(dòng)，包括多重網(wǎng)絡(luò)層級(jí)的特征以及多重物體的視圖。我們將改進(jìn)的分類器稱為“MultiPath”網(wǎng)絡(luò)。我們將MultiPath網(wǎng)絡(luò)與DeepMask對(duì)象建議方法組合起來(lái)，結(jié)合之后的系統(tǒng)在基準(zhǔn)Fast R-CNN檢測(cè)器與選擇搜索結(jié)合之后的表現(xiàn)基礎(chǔ)上提高了66%（該系統(tǒng)在COCO2015 檢測(cè)與分割挑戰(zhàn)中都獲得了第二名）。
PS : 本文由雷鋒網(wǎng)編譯，未經(jīng)許可拒絕轉(zhuǎn)載！
via: Facebook FAIR
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
