伯克利AI研究所：新型元學習法MAML的前世今生。

本文作者：汪思穎

編輯：楊曉凡

2017-07-21 17:50

導語：伯克利AI研究所帶來了他們的最新研究——未知模型元學習法（MAML）。這種方法非常簡單，并且優(yōu)于已知的很多方法。

雷鋒網(wǎng) AI科技評論按：伯克利AI研究所帶來了他們的最新研究——未知模型元學習法（MAML）。它不會對模型的形式做任何假設，也沒有為元學習引入額外的參數(shù)，極易應用于許多領(lǐng)域，包括分類、回歸和強化學習。這種方法非常簡單，并且優(yōu)于已知的很多方法。

雷鋒網(wǎng) AI科技評論將其編譯如下：

智能的一個關(guān)鍵層面是多才多藝——即擁有做許多不同事情的能力。目前的人工智能系統(tǒng)擅長掌握單一技能，如精通圍棋的Go、深度回答能力超強的Watson，甚至還有自動控制直升機系統(tǒng)。但是，當你讓人工智能系統(tǒng)去做不同種類看似簡單的問題時，它就會舉步維艱。在《Jeopardy》中的智力問答冠軍Watson不能交談，一個能熟練操控直升機飛行的系統(tǒng)不能應用于其他新的、簡單的情形，比如為了撲滅火災，進行定位、飛行和懸停操作。相比之下，人類可以做很多事，智能地適應各種新的、未曾看過的情形。怎樣才能使人工智能變得像人一樣多才多藝呢?

已經(jīng)有了幾種技術(shù)來解決上述問題，在這篇文章中，伯克利AI研究所評價了這些技術(shù)，同時討論了他們針對上述問題的最新技術(shù)——未知模型元學習法（點擊打開關(guān)于這個方法的論文以及代碼）。

當前的AI系統(tǒng)能從零開始學習，花費大量的時間和經(jīng)驗掌握一項復雜的技能。但是，如果希望系統(tǒng)能夠掌握許多技能并適應多種狀況，從零開始逐個技能逐步訓練的代價太大了。現(xiàn)在需要系統(tǒng)重用以前的經(jīng)驗，更快地學習新任務，而不是從頭學習。這種方法叫學會學習或元學習，是通往全能型系統(tǒng)的關(guān)鍵踏腳石，這種通用系統(tǒng)在生命期內(nèi)能從大量任務中持續(xù)不斷地學習。

什么是學會學習，它現(xiàn)在都有哪些應用？

最早的元學習方法可以追溯到上世紀80年代末和90年代初，Jürgen Schmidhuber的論文、Yoshua和Samy Bengio的工作中都有提到。近年來，元學習成為熱門話題，關(guān)于它的論文席卷而來。它最常用在這些地方：超參數(shù)和神經(jīng)網(wǎng)絡優(yōu)化，發(fā)掘好的網(wǎng)絡架構(gòu)，小樣本圖像識別和快速的強化學習。

伯克利AI研究所：新型元學習法MAML的前世今生。

上圖是幾種常見的元學習方法

小樣本學習

2015年，Brendan Lake等人發(fā)表了一篇論文，挑戰(zhàn)了現(xiàn)代機器學習方法。他們指出機器可以通過一個概念中的單個或幾個例子學會新的概念。例如，Lake認為人類可以只看到一張圖片(如下圖所示)就學會識別“新型雙輪車”，而在這之前的機器則不能像人一樣泛化概念。(對于從未見過的字母表中的字符，人類也可以在見過一個示例之后將它畫出來)。

伯克利AI研究所：新型元學習法MAML的前世今生。

和論文一起，Lake還公布了Omniglot數(shù)據(jù)集，這個數(shù)據(jù)集是MNIST的“轉(zhuǎn)置”，共計1623類字符，每類包含20個樣本。很快，緊隨2016年ICML的論文，出現(xiàn)了兩種深度學習模型，它們使用的是記憶增強神經(jīng)網(wǎng)絡和順序生成模型，這表明，深度模型通過少量例子學會學習是可能的，雖然還沒有達到人類的水平。

目前元學習方法的工作原理

先是讓系統(tǒng)接觸大量的任務進行訓練,然后再測試這個系統(tǒng)學習新任務的能力。比如會有這樣的任務：要識別一張新圖像是五個分類中的哪一個，每個分類只有一張示例圖像；或?qū)W會在一次遍歷之后高效的走出迷宮。這與許多標準的機器學習技術(shù)不同，它們的方法是在單個任務上進行訓練，在任務中單獨留出的樣例中進行測試。

伯克利AI研究所：新型元學習法MAML的前世今生。

元學習過程中，在元訓練集中訓練模型學習任務。有兩種優(yōu)化在起作用——一種是學習器，它負責學習新任務；另一種是元學習器，它負責訓練學習器。元學習的方法通常分為三類:循環(huán)模型、度量學習和學習優(yōu)化器法。

循環(huán)模型

有一些做法可以訓練出一個循環(huán)模型，例如LSTM網(wǎng)絡，先是連續(xù)地接收數(shù)據(jù)集，然后處理來自目標任務的輸入。對于圖像識別來說，可能需要持續(xù)把數(shù)據(jù)集中成對的圖像—標簽對傳遞給網(wǎng)絡，然后再傳遞要識別的新樣例。

伯克利AI研究所：新型元學習法MAML的前世今生。

元學習器使用梯度下降法，而學習器只是簡單地在循環(huán)網(wǎng)絡中執(zhí)行。這是最常見的方法之一，已經(jīng)被用于小樣本識別和回歸、元強化學習。由于其靈活性，這種方法比其他方法(從元的角度)更低效，因為學習器網(wǎng)絡需要從零開始找到學習策略。

度量學習

這種方法需要學習一個度量空間，在這個空間里學習特別高效。該方法主要用于小樣本識別。直觀地說，如果目標是從少量的樣本圖像中學習，那么有一種簡單的方法是用已有的樣本圖像與試圖識別的圖像作比較。

但是，正如你可能想象的那樣，在像素空間中比較圖像不會起到很好的效果。你可以在一個訓練好的度量空間里訓練孿生網(wǎng)絡或執(zhí)行比較。與以前的方法一樣，元學習使用梯度下降法（或你偏好的神經(jīng)網(wǎng)絡優(yōu)化器），鑒于學習器扮演的角色是元訓練度量空間中的對比體系，例如近鄰算法。這些方法可以很好地用于小樣本識別，即使在回歸或強化學習等其他元學習領(lǐng)域尚未證實有同樣的效果。

學習優(yōu)化器法

最后一個方法是學習優(yōu)化器法。在這種方法中，一個網(wǎng)絡（元學習器）學習更新另一個網(wǎng)絡（學習器），以便學習器高效地學習任務。為了更好地優(yōu)化神經(jīng)網(wǎng)絡，人們對這種方法進行了廣泛的研究。元學習器通常是循環(huán)網(wǎng)絡，以便記住之前是如何校正學習器模型的。元學習器可以用強化學習或監(jiān)督學習的方式來訓練。Ravi和Larochelle最近演示了這種方法用于小樣本圖像識別的優(yōu)點，提出了這樣的觀點：學習器模型也是一種需要學習的優(yōu)化過程。

像元學習一樣學會初始化

可以證明，目前為止，遷移學習最大的成果是用ImageNet預訓練來初始化視覺網(wǎng)絡權(quán)重。特別是，當處理新的視覺任務時，眾所周知的范式是首先為任務收集帶標簽的數(shù)據(jù)集，得到預訓練過的ImageNet分類器，然后利用梯度下降法，基于采集到的數(shù)據(jù)來微調(diào)網(wǎng)絡。使用這種方法，神經(jīng)網(wǎng)絡可以更有效地從更少的數(shù)據(jù)集中學習新的基于圖像的任務。

然而，預訓練的效果也就這樣。因為網(wǎng)絡的最底層仍然需要高度適應新的任務，像小樣本學習那樣太小的數(shù)據(jù)集仍會造成嚴重的過擬合。此外，遺憾的是現(xiàn)在在語音、語言和控制等非視覺領(lǐng)域沒有類似的預訓練體系。從微調(diào)的方法既然取得了這么好得效果，有什么可以借鑒的嗎?

未知模型元學習法（Model-Agnostic Meta-Learning ，MAML）

需要找到能夠根據(jù)少量樣本高效地進行微調(diào)的表征，那么有沒有可能直接對初始表征做優(yōu)化呢？這是伯克利AI研究所最近提出的未知模型元學習法（MAML）背后的想法。和其他元學習法一樣，MAML能在大量不同的任務上訓練，通過少量的梯度步驟，能快速得到適應新任務的表征。

元學習器試圖找到一個初始值，不僅可以適應各種問題，而且可以快速（只需少量步驟）高效（只使用幾個例子）地適應。下面是一個可視化圖–假設我們正試圖尋找一組具有高度適應性的參數(shù)θ，在元學習過程中（粗線），MAML優(yōu)化一組參數(shù)，以便當執(zhí)行關(guān)于某個任務i（灰線）的梯度步驟時，參數(shù)接近i任務的最優(yōu)參數(shù)θi*。

伯克利AI研究所：新型元學習法MAML的前世今生。

這種方法非常簡單，并且有許多優(yōu)點。它不會對模型的形式做任何假設。它相當有效——沒有為元學習引入額外的參數(shù)，并且使用已知的優(yōu)化過程(梯度下降法)，而不是必須從零開始想出策略。最后，它極易應用于許多領(lǐng)域，包括分類、回歸和強化學習。

盡管這種方法很簡單，令人驚訝的是，它在流行的小樣本圖像識別基準、Omniglot和MiniImageNet2上優(yōu)于現(xiàn)在的許多方法，包括更復雜的或適用于特定領(lǐng)域的方法。

除了識別之外，他們還試圖學習如何讓模擬機器人的行為適應不同的目標，這類似于文章最開始提到多才多藝性。為此，他們將MAML與強化學習中的策略梯度方法結(jié)合。通過MAML可以學到一種策略，它可以讓模擬機器人在單一的梯度更新中適應移動方向和速度。請看如下視頻：伯克利AI研究所：新型元學習法MAML的前世今生。