遷移學(xué)習(xí)，簡(jiǎn)單的說(shuō)，就是能讓現(xiàn)有的模型算法稍加調(diào)整即可應(yīng)用于一個(gè)新的領(lǐng)域和功能的一項(xiàng)技術(shù)。這個(gè)概念目前在機(jī)器學(xué)習(xí)中其實(shí)比較少見(jiàn)，但其實(shí)它的潛力可以相當(dāng)巨大。楊強(qiáng)教授在剛剛結(jié)束的CCF-GAIR上的演講中曾提到一個(gè)愿景——利用遷移學(xué)習(xí)，即使是自身沒(méi)有條件獲得大量訓(xùn)練數(shù)據(jù)的小公司也可以按照自己的需要應(yīng)用大公司訓(xùn)練出來(lái)的模型，從而普及AI的應(yīng)用。

在目前大家都在努力提高人工智能應(yīng)用通用性的大背景下，遷移學(xué)習(xí)的崛起之勢(shì)已經(jīng)比較明顯。不過(guò)楊強(qiáng)教授其實(shí)早在2009年之前就開(kāi)始研究遷移學(xué)習(xí)了——那時(shí)他是國(guó)內(nèi)為數(shù)不多的研究遷移學(xué)習(xí)的學(xué)者之一。2010年，楊強(qiáng)教授參與在IEEE Transactions on knowledge and data engineering上發(fā)表了一篇詳細(xì)解釋了遷移學(xué)習(xí)的論文：A Survey on Transfer Learning，其中對(duì)遷移學(xué)習(xí)的概念、與機(jī)器學(xué)習(xí)幾個(gè)傳統(tǒng)方法的區(qū)別以及一些常用的遷移學(xué)習(xí)方法都做出了解釋。讓我們選取論文中一些比較有代表性的部分（節(jié)選+精編），為大家展示這個(gè)機(jī)器學(xué)習(xí)新趨勢(shì)的方法與傳統(tǒng)方法到底有什么區(qū)別。

A Survey on Transfer Learning

摘要

許多機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法都會(huì)基于一個(gè)假設(shè)：訓(xùn)練數(shù)據(jù)和未來(lái)將要處理的數(shù)據(jù)都處在相同的特征空間，并且有著相同的分布規(guī)律。但是，在現(xiàn)實(shí)世界的很多應(yīng)用中，這個(gè)假設(shè)很可能是不成立的。比如，我們經(jīng)常面臨需要在一個(gè)領(lǐng)域內(nèi)完成一項(xiàng)分類任務(wù)，卻只在另一個(gè)領(lǐng)域中有足夠的訓(xùn)練數(shù)據(jù)的情況。兩者的數(shù)據(jù)可能有著不同的特征空間或者遵從不同的數(shù)據(jù)分布規(guī)律。在這種情況下，進(jìn)行一次成功的知識(shí)遷移能極大的提升學(xué)習(xí)效果，從而避免大量繁重的數(shù)據(jù)標(biāo)記的勞動(dòng)。在最近幾年中，遷移學(xué)習(xí)作為一種新的學(xué)習(xí)框架被提出來(lái)用于解決這個(gè)問(wèn)題。這篇文章聚焦于分類回顧現(xiàn)有的用于解決分類、回歸和聚類問(wèn)題的遷移學(xué)習(xí)項(xiàng)目的研究進(jìn)程。在這篇文章中，我們還會(huì)討論遷移學(xué)習(xí)和其他相關(guān)的機(jī)器學(xué)習(xí)技術(shù)比如領(lǐng)域適應(yīng)、多任務(wù)學(xué)習(xí)和樣本選擇偏差，以及協(xié)變量轉(zhuǎn)換。我們也會(huì)探索一些未來(lái)在遷移學(xué)習(xí)研究上比較有潛力的方法。

介紹：

數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)已經(jīng)在知識(shí)工程領(lǐng)域包括分類、回歸和聚類等取得了相當(dāng)大的成功。但是，當(dāng)數(shù)據(jù)分布規(guī)律改變的時(shí)候，大多數(shù)統(tǒng)計(jì)模型需要使用新的訓(xùn)練數(shù)據(jù)來(lái)重建。在現(xiàn)實(shí)世界的許多應(yīng)用中，這樣做付出的代價(jià)是非常大的，甚至是不可能的。所以，減小重新收集訓(xùn)練數(shù)據(jù)的必要性和工作量就成了非常有必要的一件事。也就是說(shuō)，在不同任務(wù)領(lǐng)域間的知識(shí)轉(zhuǎn)換或遷移學(xué)習(xí)能取得令人滿意的成效。

在許多知識(shí)工程案例中，遷移學(xué)習(xí)確實(shí)是很有用的，比如在網(wǎng)頁(yè)分類任務(wù)中，新創(chuàng)建的網(wǎng)頁(yè)的數(shù)據(jù)特征和分布可能同之前用來(lái)訓(xùn)練的網(wǎng)頁(yè)不同，因此這時(shí)就會(huì)需要用到遷移學(xué)習(xí)技術(shù)來(lái)轉(zhuǎn)移模型。

如果訓(xùn)練數(shù)據(jù)很容易過(guò)期，即數(shù)據(jù)的分布規(guī)律在不同的時(shí)間段可能會(huì)不同，這時(shí)也會(huì)需要遷移學(xué)習(xí)來(lái)使模型不會(huì)失效。比如在室內(nèi)WiFi定位問(wèn)題——一種根據(jù)收集到的使用者的WiFi使用數(shù)據(jù)來(lái)檢測(cè)使用者當(dāng)前位置的技術(shù)上，但是，由于WiFi的信號(hào)強(qiáng)度完全可能隨時(shí)間、使用者的設(shè)備和一些其他因素的變化而變化，一個(gè)靜態(tài)的模型顯然也無(wú)法應(yīng)對(duì)這個(gè)問(wèn)題。

第三個(gè)例子是：情感分類的問(wèn)題。在這個(gè)問(wèn)題中收集數(shù)據(jù)的方法是收集大量設(shè)備使用者的敘述并將其分類，但是由于不同產(chǎn)品產(chǎn)生的數(shù)據(jù)分布結(jié)果可能會(huì)非常不同，如果想要使用傳統(tǒng)方法有足夠好的分類結(jié)果，可能需要針對(duì)不同的設(shè)備建立不同的模型，然而這樣做的代價(jià)顯然太大了。所以最好有一種能建立通用于各設(shè)備間的模型的方法。

遷移學(xué)習(xí)歷史簡(jiǎn)介、以及與傳統(tǒng)方法的比較：

傳統(tǒng)數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法可以使用用之前的標(biāo)記過(guò)或未標(biāo)記過(guò)的數(shù)據(jù)訓(xùn)練出來(lái)的統(tǒng)計(jì)學(xué)模型做出對(duì)未來(lái)數(shù)據(jù)的預(yù)測(cè)。半監(jiān)督學(xué)習(xí)可以通過(guò)使用少量標(biāo)記的數(shù)據(jù)和大量未標(biāo)記的數(shù)據(jù)訓(xùn)練的方法解決可用來(lái)建立可用分類器的數(shù)據(jù)量過(guò)少的問(wèn)題。用來(lái)處理不完美的訓(xùn)練數(shù)據(jù)的監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的變種方法已經(jīng)被詳細(xì)研究過(guò)了。也得出了許多不錯(cuò)的成果，但是它們中的很多都基于標(biāo)記和未標(biāo)記的數(shù)據(jù)都有相同的分布規(guī)律。而與之相比，遷移學(xué)習(xí)則允許用來(lái)訓(xùn)練和測(cè)試的數(shù)據(jù)集的領(lǐng)域、任務(wù)和分布規(guī)律有所不同。在現(xiàn)實(shí)世界中，我們觀察到了許多遷移學(xué)習(xí)的案例。比如，我們認(rèn)知蘋(píng)果的過(guò)程可能對(duì)我們認(rèn)知梨子也有幫助。類似的，學(xué)習(xí)彈電子琴可能會(huì)對(duì)學(xué)習(xí)彈鋼琴也有很大幫助。展開(kāi)對(duì)遷移學(xué)習(xí)的研究，是因?yàn)槲覀儼l(fā)現(xiàn)了人類擁有這種使用之前學(xué)到的知識(shí)來(lái)更快或更好的解決新問(wèn)題的能力的事實(shí)。機(jī)器學(xué)習(xí)中研究遷移學(xué)習(xí)的根本動(dòng)力來(lái)源于一次在研討會(huì)上主題為“學(xué)會(huì)學(xué)習(xí)”的，以開(kāi)發(fā)一種可以保持并重新利用現(xiàn)有知識(shí)的“終極”機(jī)器學(xué)習(xí)方法的討論。

對(duì)遷移學(xué)習(xí)的研究從1995年開(kāi)始興起，在換了一個(gè)又一個(gè)名字的同時(shí)也開(kāi)始吸引越來(lái)越多的注意力：學(xué)會(huì)學(xué)習(xí)（learning to learn）、終身學(xué)習(xí)（life-long learning）、知識(shí)轉(zhuǎn)移（knowledge transfer）、歸納轉(zhuǎn)移（inductive transfer）、多任務(wù)學(xué)習(xí)（multi-task learning）、知識(shí)鞏固（knowledge consolidation）、上下文學(xué)習(xí)（context-sensitive learning），基于知識(shí)的歸納偏差（knowledge-based inductive bias），元學(xué)習(xí)（meta learning）以及增值/累積學(xué)習(xí)。在這其中，一個(gè)與遷移學(xué)習(xí)密切相關(guān)的技術(shù)是多任務(wù)學(xué)習(xí)框架，這個(gè)框架的目標(biāo)是同時(shí)學(xué)習(xí)多個(gè)任務(wù)，哪怕它們之間是互不相同的。一個(gè)典型的多任務(wù)學(xué)習(xí)的實(shí)現(xiàn)方法是發(fā)現(xiàn)這些各自獨(dú)立的任務(wù)之間的一些（潛在的）共同規(guī)律。

2005年，美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）的信息處理技術(shù)辦公室（IPTO）發(fā)布的通告（BAA）讓遷移學(xué)習(xí)有了一個(gè)新的使命：一個(gè)能認(rèn)知并且將在之前的任務(wù)中學(xué)習(xí)到的知識(shí)應(yīng)用到新的任務(wù)中去的系統(tǒng)。在這個(gè)定義下，遷移學(xué)習(xí)的目標(biāo)即為從一個(gè)或多個(gè)任務(wù)中提取出知識(shí)并應(yīng)用到另一個(gè)目標(biāo)任務(wù)中去。與多任務(wù)學(xué)習(xí)更注重于同時(shí)學(xué)習(xí)所有來(lái)源相比，遷移學(xué)習(xí)更關(guān)注于目標(biāo)任務(wù)。在遷移學(xué)習(xí)中源和目標(biāo)的關(guān)系不再對(duì)等了。

圖1展示了傳統(tǒng)技術(shù)和遷移學(xué)習(xí)之間的處理過(guò)程的區(qū)別。我們可以看到，在高質(zhì)量訓(xùn)練數(shù)據(jù)不夠的時(shí)候，傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)更多是通過(guò)隨機(jī)測(cè)試來(lái)從任務(wù)中學(xué)習(xí)，而遷移學(xué)習(xí)則是通過(guò)從之前的任務(wù)中學(xué)習(xí)來(lái)訓(xùn)練。

如今，遷移學(xué)習(xí)方法已經(jīng)在幾個(gè)高端領(lǐng)域中得到了應(yīng)用。尤其是在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和其應(yīng)用中。

幾個(gè)遷移學(xué)習(xí)的分類表格、圖表

結(jié)論：

在這篇文章中，我們回顧了幾種目前遷移學(xué)習(xí)領(lǐng)域的趨勢(shì)：遷移學(xué)習(xí)有三種不同的類型：歸納遷移學(xué)習(xí)、轉(zhuǎn)導(dǎo)遷移學(xué)習(xí)和無(wú)監(jiān)督遷移學(xué)習(xí)，之前的工作大多數(shù)聚焦于前兩類。不過(guò)在未來(lái)無(wú)監(jiān)督遷移學(xué)習(xí)可能會(huì)得到越來(lái)越多的注意。不僅如此，具體實(shí)現(xiàn)的遷移學(xué)習(xí)的方法還能按照“遷移了什么”來(lái)分為四類：立即遷移、代表特征遷移、參數(shù)遷移和相關(guān)知識(shí)遷移。前三種的環(huán)境中的數(shù)據(jù)滿足i.i.d假設(shè)，而最后一種則關(guān)注與遷移學(xué)習(xí)中的相關(guān)數(shù)據(jù)。這些方法大多數(shù)都假設(shè)選定的源領(lǐng)域和目標(biāo)領(lǐng)域是有關(guān)聯(lián)的。

在未來(lái)，仍有幾個(gè)重要的問(wèn)題需要在研究中加以解決。第一：如何避免消極轉(zhuǎn)移仍然是個(gè)懸而未決的問(wèn)題，目前的許多遷移學(xué)習(xí)算法都假設(shè)源領(lǐng)域和目標(biāo)領(lǐng)域有著某種程度的關(guān)聯(lián)。但是如果這個(gè)假設(shè)不成立的話，就有可能會(huì)發(fā)生消極轉(zhuǎn)移的問(wèn)題。著可能會(huì)導(dǎo)致轉(zhuǎn)移后的算法會(huì)表現(xiàn)得比轉(zhuǎn)移前還差。因此這是遷移學(xué)習(xí)中非常有必要解決的一個(gè)問(wèn)題。目前要避免這種情況的發(fā)生，我們要先對(duì)源領(lǐng)域到目標(biāo)領(lǐng)域的可轉(zhuǎn)移性進(jìn)行評(píng)估。要定義兩個(gè)領(lǐng)域間的可轉(zhuǎn)移性，我們可以用相應(yīng)的方法進(jìn)行測(cè)量，也需要一個(gè)測(cè)量源領(lǐng)域和任務(wù)之間相似性的方法。而一個(gè)與之相關(guān)的問(wèn)題是：如果一個(gè)領(lǐng)域的整體不能用于遷移學(xué)習(xí)，我們是否仍然有機(jī)會(huì)轉(zhuǎn)移領(lǐng)域中的一部分用來(lái)幫助新領(lǐng)域中的學(xué)習(xí)？

另外，大部分現(xiàn)有的遷移學(xué)習(xí)算法都聚焦于提升不同源和目標(biāo)領(lǐng)域或任務(wù)的分布之間的一般化遷移方法。為了做到這一點(diǎn)，他們會(huì)假設(shè)源領(lǐng)域和目標(biāo)領(lǐng)域的特征空間是相同的。但是在很多實(shí)際應(yīng)用中，我們都可能會(huì)需要在擁有不同特征空間的源領(lǐng)域和目標(biāo)領(lǐng)域間進(jìn)行轉(zhuǎn)移，而且有可能需要從多個(gè)這樣的源領(lǐng)域中同時(shí)轉(zhuǎn)移。我們管這種遷移學(xué)習(xí)叫做“多相遷移學(xué)習(xí)”（heterogeneous transfer learning）。

最終，目前的遷移學(xué)習(xí)技術(shù)主要在變量有限的小規(guī)模應(yīng)用中使用，比如說(shuō)像基于傳感器網(wǎng)絡(luò)的定位，文字分類和圖像分類問(wèn)題等，在未來(lái)遷移學(xué)習(xí)將被廣泛應(yīng)用于解決其他有挑戰(zhàn)性的應(yīng)用中，比如視頻分類、社交網(wǎng)絡(luò)分析和邏輯推理等。

完美的遷移學(xué)習(xí)是否也是AI的一種？

正如前文所說(shuō)，目前的AI的研究，大多數(shù)都是以讓AI具備更強(qiáng)大的適應(yīng)能力、乃至具備真正的學(xué)習(xí)能力為目的而進(jìn)行的。而遷移學(xué)習(xí)正是一種能在很大程度上達(dá)到這個(gè)目的技術(shù)。想象一下，如果一個(gè)AI具備了同人一樣的學(xué)習(xí)能力，能將在舊事物上學(xué)到的經(jīng)驗(yàn)完美應(yīng)用于新事物，那即使這個(gè)AI一開(kāi)始很笨，它應(yīng)該也能通過(guò)不斷的學(xué)習(xí)變得越來(lái)越聰明。這是否也是一種智能呢？

不過(guò)無(wú)論怎么說(shuō)，遷移學(xué)習(xí)看起來(lái)都是一種極具潛力的方法。相信能在不遠(yuǎn)的將來(lái)大放異彩。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。