雷鋒網(wǎng) AI 科技評(píng)論按：今年 CVPR 2018 最佳論文《Taskonomy: Disentangling Task Transfer Learning》（任務(wù)學(xué)：任務(wù)遷移學(xué)習(xí)的解耦）研究了一個(gè)非常新穎的課題，那就是研究視覺任務(wù)之間的關(guān)系，根據(jù)得出的關(guān)系可以幫助在不同任務(wù)之間做遷移學(xué)習(xí)。相比于我們看慣了的為各種任務(wù)刷分的研究，這篇論文可謂是一股計(jì)算機(jī)視覺領(lǐng)域的春風(fēng)。

CVPR 2018 期間雷鋒網(wǎng) AI 科技評(píng)論作為唯一注冊媒體進(jìn)行現(xiàn)場報(bào)道，也參加聆聽了這篇論文的現(xiàn)場演講。演講者為論文第一作者 Amir R. Zamir，他是斯坦福和 UC 伯克利大學(xué)的博士后研究員。當(dāng)他還博士在讀時(shí)也憑借論文《Structural-RNN: Deep Learning on Spatio-Temporal Graphs》（http://arxiv.org/abs/1511.05298）獲得了 CVPR 2016 的最佳學(xué)生論文獎(jiǎng)。

以下為演講聽譯圖文全文。

Amir R. Zamir：大家早上好，我介紹一下我們的論文《Taskonomy: Disentangling Task Transfer Learning》，這篇論文是我與 Alexander Sax、William Shen、Leonidas Guibas、Jitendra Malik 以及 Silvio Savarese 共同完成的。

我們首先提出了一個(gè)問題，視覺任務(wù)之間有什么關(guān)系嗎？還是說它們都是各自獨(dú)立的。比如深度估計(jì)和表面法線預(yù)測之間，或者對象識(shí)別以及室內(nèi)布局識(shí)別之間，有沒有什么關(guān)系。我們覺得答案是肯定的，不管是從我們的直覺上還是借助一些知識(shí)。比如我們知道表面法線預(yù)測模型、深度預(yù)測模型或者室內(nèi)布局模型都可以為物體識(shí)別帶來不小的幫助。所以任務(wù)之間肯定是有一些關(guān)系的。

那么這些關(guān)系有哪些影響？它們又會(huì)有什么重要作用呢？這就是我今天要講給大家的。

我要介紹這四個(gè)要點(diǎn)：

•  任務(wù)之間的關(guān)系是存在的

•  這些關(guān)系可以通過計(jì)算性的方式得到，不需要我們作為人類的知識(shí)參與

•  各種任務(wù)屬于一個(gè)有結(jié)構(gòu)的空間，而不是一些各自獨(dú)立的概念

•  它可以為我們提供一個(gè)用于遷移學(xué)習(xí)的統(tǒng)一化的模型
  

剛才我展示的例子只是許多視覺任務(wù)中的幾種。任選一些任務(wù)出來我們都可以問這樣的問題：它們之間有沒有關(guān)系、有多大關(guān)系。為了回答這些問題，我們要對任務(wù)之間的關(guān)系、任務(wù)之間的冗余有一個(gè)全局的認(rèn)識(shí)，我們需要把任務(wù)作為一個(gè)集體來看待，而不是作為單個(gè)單個(gè)的任務(wù)。我們利用它們之間的關(guān)系和冗余度達(dá)到更高的效率。

其中有一個(gè)非常令人感興趣的值得提高效率的方面就是監(jiān)督的效率，就是我們希望用更少的標(biāo)注數(shù)據(jù)來解決問題，我們這項(xiàng)研究的關(guān)注點(diǎn)也就在這里。許許多多的研究論文都討論了如何減少模型對標(biāo)注數(shù)據(jù)的需求，現(xiàn)在也有自我監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、元學(xué)習(xí)、任務(wù)適配等方法，以及在 ImageNet 上學(xué)到的特征基礎(chǔ)上做精細(xì)調(diào)節(jié)，現(xiàn)在這都已經(jīng)成了一種慣用做法了。

實(shí)際上，遷移學(xué)習(xí)之所以可行就是因?yàn)槿蝿?wù)間的這些關(guān)系。從高抽象層次上講，如果能夠遷移或者翻譯一個(gè)模型學(xué)到的內(nèi)部狀態(tài)，這就有可能會(huì)對學(xué)習(xí)解決別的任務(wù)起到幫助 —— 如果這兩個(gè)任務(wù)之間存在某種關(guān)系的話。下面我詳細(xì)講講這部分。

以表面法線預(yù)測任務(wù)（surface normal）為例，我們專門訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)預(yù)測圖像中的平面的法線，顯然效果是不錯(cuò)的。如果我們只用 2% 的訓(xùn)練數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，就會(huì)得到左下角這樣的結(jié)果，顯然我們都能猜到結(jié)果會(huì)很糟糕。

然后我們從兩個(gè)其它的任務(wù)，圖像重整（reshading）以及圖像分割（segmentation）的模型做遷移。遷移的時(shí)候都是在一個(gè)小的復(fù)制網(wǎng)絡(luò)上用剛才同樣的 2% 的數(shù)據(jù)做訓(xùn)練。

可以看到，圖像分割模型遷移后的表現(xiàn)并不好，但是圖像重整模型的表面法線預(yù)測表現(xiàn)就不錯(cuò)。這就表明了，圖像重整和表面法線預(yù)測之間的關(guān)系要比圖像分割與表面法線預(yù)測之間的關(guān)系更強(qiáng)、更緊密。直覺上這還挺合理的，我們會(huì)覺得對場景做重整的時(shí)候就是會(huì)與平面的法線有不少聯(lián)系；相比之下法線預(yù)測與圖像分割之間，我就想不到會(huì)有什么關(guān)系，也可能是真的沒有什么關(guān)系吧。所以我們觀察到，對于互相之間有關(guān)系的任務(wù)，我們只需要一點(diǎn)點(diǎn)額外的信息就可以幫助一個(gè)任務(wù)的模型解決另一個(gè)任務(wù)。

如果你能有一些方法，把大量任意給定的任務(wù)之間的關(guān)系進(jìn)行量化，我們就可以得到一個(gè)完整的圖結(jié)構(gòu)。這就是我們期待的那種可以理解不同任務(wù)之間的冗余度的一個(gè)全局窗口。比如它可以利用我們前面提到的任務(wù)之間的冗余度解決一系列監(jiān)督學(xué)習(xí)任務(wù)，可以只用一點(diǎn)點(diǎn)資源就把舊任務(wù)遷移到新任務(wù)上；或者解決一個(gè)全新的任務(wù)，我們幾乎沒有這個(gè)任務(wù)所需的標(biāo)注數(shù)據(jù)。那么現(xiàn)在學(xué)習(xí)解決新任務(wù)就變成了向原有的結(jié)構(gòu)中增加一些內(nèi)容，而無需從零開始。

這就是我們的「Taskonomy」的目的，這是一種完全計(jì)算化的方法，可以量化計(jì)算大量任務(wù)之間的關(guān)系，從它們之間提出統(tǒng)一的結(jié)構(gòu)，并把它作為遷移學(xué)習(xí)的模型。我們把它稱作「Taskonomy」，也就是 task 任務(wù) 和 taxonomony 分類學(xué) 兩個(gè)詞的組合，就是意味著要學(xué)到一個(gè)分類學(xué)角度出發(fā)的遷移策略。

我們具體是這樣做的。首先我們找到了一組一共 26 個(gè)任務(wù)，包括語義、 2D、2.5D、3D 任務(wù)。我們并沒有細(xì)致全面地選擇更多的各種視覺任務(wù)，這些只是我們演示方法用的一組樣本；稍后我還會(huì)再談到參與計(jì)算的任務(wù)列表的選擇。我們收集了大約 400 萬張室內(nèi)物品的照片，然后每一張照片都為這全部 26 種任務(wù)做了準(zhǔn)備。這些圖像全部都是真實(shí)的，不是生成的；對于 3D 視覺任務(wù)，我們用結(jié)構(gòu)光傳感器掃描出了相應(yīng)的室內(nèi)場景結(jié)構(gòu)，這樣我們也可以更容易地為這些任務(wù)獲得真實(shí)值。

接下來我們?yōu)槿蝿?wù)列表里的這 26 個(gè)任務(wù)分別訓(xùn)練了 26 個(gè)任務(wù)專用神經(jīng)網(wǎng)絡(luò)，這些畫面就是這 26 個(gè)任務(wù)的輸出。3D 任務(wù)比如曲率預(yù)測，語意任務(wù)比如物體識(shí)別；也有一些任務(wù)是自監(jiān)督的，比如著色。

我們的任務(wù)學(xué)模型有四個(gè)主要步驟，第一步就是訓(xùn)練這 26 個(gè)任務(wù)專用網(wǎng)絡(luò)，然后把權(quán)值鎖定下來；這時(shí)候每一個(gè)任務(wù)就都有一個(gè)專門為了它訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。

下一步是量化不同任務(wù)之間的關(guān)系。比如以計(jì)算法線估計(jì)和曲率估計(jì)之間的關(guān)系為例，我們用鎖定了權(quán)值的法線估計(jì)模型訓(xùn)練一個(gè)小的復(fù)制模型，這個(gè)小模型從法線估計(jì)模型的表征中嘗試計(jì)算曲率。然后我們就用新的測試數(shù)據(jù)評(píng)估小模型的表現(xiàn)。這個(gè)表現(xiàn)就是評(píng)估具體這兩個(gè)任務(wù)之間的直接遷移關(guān)系的依據(jù)。

那么，含有 26 個(gè)任務(wù)的清單，一共有 26 x 25 中組合方式，我們把它們?nèi)甲隽诉@樣的訓(xùn)練和評(píng)估。這樣就得到了我們想要的完整的任務(wù)關(guān)系圖結(jié)構(gòu)。不過，節(jié)點(diǎn)之間的值還需要標(biāo)準(zhǔn)化，因?yàn)檫@些任務(wù)都是屬于各自不同的輸出空間的，也有不同的數(shù)學(xué)性質(zhì)。對于關(guān)系的描述，我們求了這樣的整個(gè)圖結(jié)構(gòu)的鄰接矩陣（adjacency matrix），從計(jì)算結(jié)果可以明顯看到其中有一些東西在矩陣中起到了決定性的作用。原因就是因?yàn)檫@些任務(wù)存在于不同的輸出空間中，我們需要做標(biāo)準(zhǔn)化。

我們對矩陣做標(biāo)準(zhǔn)化的方法是一種名為分析性層次過程（Analytic Hiererchical Proess）的序數(shù)方法。在這里我就不詳細(xì)介紹了，不過簡單來說，我們選取了一種序數(shù)的模式，因?yàn)橄啾绕渌囊恍┓治龇椒?，它對輸出空間的數(shù)學(xué)性質(zhì)做出的假設(shè)對我們來說非常關(guān)鍵。具體內(nèi)容可以參見我們的論文。

那么， 這個(gè)完整的關(guān)系圖結(jié)構(gòu)已經(jīng)是完全量化了的，針對一對一對的任務(wù)之間，它的取值就是任務(wù)遷移的依賴程度。值得注意的是，并不是任意兩個(gè)任務(wù)之間的遷移都有用，有很多任務(wù)之間的關(guān)系都很弱。但是當(dāng)然有一些很強(qiáng)的關(guān)系，而且有一些明顯的模式。

我們就希望從完整的圖結(jié)構(gòu)中提取出這種稀疏的關(guān)系。對我們來說，提取出的結(jié)構(gòu)能幫助我們最大化原先任務(wù)的表現(xiàn)，并且告訴我們?nèi)绾螢樾氯蝿?wù)選擇一個(gè)最好的源任務(wù)、哪個(gè)源任務(wù)可以遷移到盡可能多的任務(wù)中，以及如何遷移到一個(gè)任務(wù)清單中不包括的新任務(wù)上去。

在這一步中我們做的簡單來說可以形式化為一個(gè)子圖選擇問題。我們已經(jīng)定義好了任務(wù)清單，之前已經(jīng)見過的任務(wù)用灰色的節(jié)點(diǎn)表示，未見過的新任務(wù)用紅色的節(jié)點(diǎn)表示。然后我們設(shè)定一些限制，用二進(jìn)制抽取的方式計(jì)算得到最優(yōu)的子圖。計(jì)算細(xì)節(jié)可以看我們的論文或者海報(bào)，還挺簡單直接的。

子圖抽取得到的結(jié)果就給我們提供了想要解決每一個(gè)任務(wù)所需的連接性，包括全新的任務(wù)，如何使用有限的資源、不超過用戶定義限度的資源來最大化各個(gè)任務(wù)的表現(xiàn)，而用戶定義的資源的數(shù)量實(shí)際上也決定了源任務(wù)的任務(wù)清單能夠有多大。這也就是我們的目標(biāo)。

（雷鋒網(wǎng) AI 科技評(píng)論注：論文中有另一張全過程示意圖如下）

還有一點(diǎn)我沒有時(shí)間展開講的是高階任務(wù)遷移，就是 2 個(gè)甚至更多的任務(wù)可以一起作為源任務(wù)和資源開銷，在我們的框架內(nèi)進(jìn)行計(jì)算。那么實(shí)際上我們的鄰接矩陣也就遠(yuǎn)大于 26 x 25 ，因?yàn)檫€有多對一的情況。

下面說一下實(shí)驗(yàn)結(jié)果。對于 26 個(gè)任務(wù)的任務(wù)清單，一共有 3000 個(gè)任務(wù)遷移網(wǎng)絡(luò)，花費(fèi)了 47829 小時(shí)的 GPU 時(shí)間。訓(xùn)練模型大概花了我們 4.7 萬美元。訓(xùn)練遷移后的模型只用了 1% 的任務(wù)專用網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。

這是一個(gè)任務(wù)分類結(jié)果的例子。這個(gè)例子中包含的是我前面說的這 26 個(gè)任務(wù)，其中有 4 個(gè)是作為目標(biāo)的任務(wù)，也就是說它們只有非常少的數(shù)據(jù)，這些數(shù)據(jù)剛剛夠訓(xùn)練復(fù)制的遷移網(wǎng)絡(luò)，而無法從零訓(xùn)練一個(gè)新的網(wǎng)絡(luò)。查看一下這幾個(gè)任務(wù)的連接性就會(huì)直覺上覺得是那么回事，3D 任務(wù)和其它的 3D 任務(wù)之間有更強(qiáng)的聯(lián)系，以及和 2D 任務(wù)的相似度很低。

為了評(píng)估我們的遷移策略的效果，我們提出了兩個(gè)評(píng)價(jià)指標(biāo)，增益 Gain 以及質(zhì)量 Quality。增益是指遷移的網(wǎng)絡(luò)的表現(xiàn)相比用同樣的少量數(shù)據(jù)從零訓(xùn)練的表現(xiàn)的勝率；圖中越深的藍(lán)色表示越高的勝率，也就是說遷移的效果總是要更好。質(zhì)量是指遷移的網(wǎng)絡(luò)相比用全部數(shù)據(jù)訓(xùn)練的任務(wù)專用網(wǎng)絡(luò)的勝率，我們可以看到許多情況下都是白色，就是說這些遷移后的模型的表現(xiàn)已經(jīng)和作為黃金標(biāo)準(zhǔn)的任務(wù)專用網(wǎng)絡(luò)的表現(xiàn)差不多好了。

這只是一個(gè)分類學(xué)的例子，大家可以編寫自己的實(shí)現(xiàn)，不過最好的方法還是試一試我們的在線實(shí)時(shí) API， taskonomy.vision/api，你可以自己設(shè)定想要的參數(shù)，查看任務(wù)分類學(xué)的定性以及定量的計(jì)算結(jié)果。值得一提的是，我們的分類學(xué)結(jié)果很適合配合 ImageNet 的特征使用，因?yàn)樗彩悄壳白畛Ｓ玫奶卣髁恕Ｎ覀円沧隽艘恍┖?ImageNet 相關(guān)的實(shí)驗(yàn)，歡迎大家看我們的論文。

最后總結(jié)一下：

• 我們向著認(rèn)識(shí)視覺任務(wù)空間的目標(biāo)邁出了積極的一步；

• 我們把任務(wù)作為一個(gè)結(jié)構(gòu)化空間中的群體，而不是作為單個(gè)單個(gè)的概念來看待；這里這張圖就是根據(jù)量化的關(guān)系繪制的。

• 這是一個(gè)完全可計(jì)算化的框架；
  

• 它可以幫助我們做遷移學(xué)習(xí)，也可以幫助我們尋找通用化的感知模型。
  

訪問我們的網(wǎng)站 http://taskonomy.stanford.edu/ 的話還可以看到一個(gè) YouTube 的介紹視頻。謝謝！

（完）

實(shí)際上 http://taskonomy.stanford.edu/ 網(wǎng)站上有豐富的研究介紹以及資源，實(shí)時(shí)演示 demo、用于定制化任務(wù)計(jì)算的 API、遷移過程的可視化、預(yù)訓(xùn)練模型、數(shù)據(jù)集下載等一應(yīng)俱全。同作者所說一樣，希望了解更多信息的可以閱讀論文原文以及訪問他們的網(wǎng)站。

論文地址：http://taskonomy.stanford.edu/taskonomy_CVPR2018.pdf

雷鋒網(wǎng) AI 科技評(píng)論報(bào)道。更多 AI 學(xué)術(shù)內(nèi)容請繼續(xù)關(guān)注我們。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。