雷鋒網(wǎng) AI 科技評論按：通常而言，深度學(xué)習(xí)是典型的數(shù)據(jù)驅(qū)動型技術(shù)，面對數(shù)據(jù)有限的情況，傳統(tǒng)的深度學(xué)習(xí)技術(shù)的性能往往不盡如人意。在本屆 ICLR 上，許多研究者們利用元學(xué)習(xí)、遷移學(xué)習(xí)等技術(shù)對小樣本學(xué)習(xí)問題進(jìn)行了探究，發(fā)表了多篇高質(zhì)量論文，可謂百家爭鳴！深度學(xué)習(xí)工程師 Isaac Godfried 在 Medium 上發(fā)表了一篇文章，基于今年 ICLR 上關(guān)于小型數(shù)據(jù)集深度學(xué)習(xí)研究的論文，探討了目前小樣本學(xué)習(xí)的最新進(jìn)展。雷鋒網(wǎng) AI 科技評論編譯如下。

今年的國際表征學(xué)習(xí)大會（ICLR）于 2019 年 5 月 6 日如期開幕。按照我此前的計劃，我會深入研究本屆會議發(fā)表的一些有趣的 ICLR 論文。其中大多數(shù)的論文都與我個人感興趣的研究領(lǐng)域相關(guān)（無監(jiān)督學(xué)習(xí)、元學(xué)習(xí)、注意力機(jī)制、自然語言處理），但是我只會選出一些高質(zhì)量的、并且在其各自的領(lǐng)域有所影響的精品論文進(jìn)行分析，并更新系列博文。該系列博文的第一篇將介紹在小型數(shù)據(jù)集上的深度學(xué)習(xí)研究；第二篇將討論在自然語言處理和其它類型的序列化數(shù)據(jù)上取得突破性進(jìn)展的論文；而第三篇則將分析各類其它的、我認(rèn)為十分有趣的論文。

遷移學(xué)習(xí)、元學(xué)習(xí)和無監(jiān)督學(xué)習(xí)

訓(xùn)練數(shù)據(jù)有限的問題對各行各業(yè)都有著廣泛的影響，包括醫(yī)療衛(wèi)生、農(nóng)業(yè)、汽車、零售、娛樂，等等。在另外一些情況下，我們擁有大量的數(shù)據(jù)，但是它們卻未被標(biāo)注。由于收集和標(biāo)注數(shù)據(jù)的時間/成本很大，這個問題往往會成為將深度學(xué)習(xí)技術(shù)整合到目標(biāo)任務(wù)中的障礙。

《學(xué)習(xí)無監(jiān)督學(xué)習(xí)規(guī)則》

Learning unsupervised learning rules

論文下載地址：https://openreview.net/forum?id=HkNDsiC9KQ

該論文同時建立在元學(xué)習(xí)和無監(jiān)督學(xué)習(xí)（這里指 Metz 等人的工作）的概念之上。具體而言，該論文提出利用元學(xué)習(xí)以一種無監(jiān)督學(xué)習(xí)的方式學(xué)習(xí)下游任務(wù)的有效表征。該論文重點(diǎn)關(guān)注「半監(jiān)督學(xué)習(xí)」分類問題，但是它之所以有趣是因為：至少在理論上，這種學(xué)習(xí)規(guī)則「可以被優(yōu)化，從而為任意后續(xù)任務(wù)生成表征」。這一點(diǎn)十分有用，因為在針對表征的無監(jiān)督學(xué)習(xí)的工作中，作者都定義了一個明確的訓(xùn)練算法或損失函數(shù)。而這里的模型會「學(xué)習(xí)創(chuàng)建由元目標(biāo)確定的有用的表征的算法」。這個自定義的規(guī)則往往需要經(jīng)過大量的實驗以及領(lǐng)域知識才能得出，因此并不能很輕易地適用于新的領(lǐng)域。對自編碼器的使用就是其中的一個例子，它試著通過先進(jìn)行編碼、再解碼出一個與原始數(shù)據(jù)相同的輸出來學(xué)習(xí)表征。自編碼器往往需要一個明確指定的損失函數(shù)。

為了理解該方法究竟是如何工作的，我們不妨回想一下：在元學(xué)習(xí)中，我們通常有一個內(nèi)層循環(huán)和外層循環(huán)。在內(nèi)層循環(huán)中，模型會作用于一個具體的任務(wù)，例如：在圖像分類問題中，這樣的任務(wù)可能是識別出貓和狗。通常而言，內(nèi)層循環(huán)會在一定數(shù)量 n（一般來說，n 在 1 到 10 之間）個示例上運(yùn)行。然后，外層循環(huán)會使用某些內(nèi)層循環(huán)得到的參數(shù)（權(quán)重本身、累計損失或其它參數(shù)）來執(zhí)行一次「元更新」。這種「元更新」的具體情況隨著模型的變化而變化，但是它們通常會遵循如下所示的方法：

元學(xué)習(xí)過程一覽

考慮到這一點(diǎn)，他們的模型架構(gòu)本質(zhì)上是通過元學(xué)習(xí)學(xué)到某種在創(chuàng)建表征之后更新內(nèi)層模型的方法。在創(chuàng)建了某種表征之后，該規(guī)則有效地在更新內(nèi)層模型的過程中替代了隨機(jī)梯度下降方法。此外，不同于權(quán)重本身通過 MAML 方法或注意力模型的權(quán)重通過 SNAIL 更新的情況，這種無監(jiān)督的更新規(guī)則是在循環(huán)的最后進(jìn)行更新的。這意味著這種無監(jiān)督學(xué)習(xí)規(guī)則不僅僅可以被應(yīng)用于類似的任務(wù)，還可以被用于全新的任務(wù)、新的基礎(chǔ)模型，甚至是新模態(tài)的數(shù)據(jù)（例如從圖像數(shù)據(jù)到文本數(shù)據(jù)）。

首先，作者通過展現(xiàn)以前方法存在的問題來評價他們的模型的實驗結(jié)果。例如，一個變分自編碼器（VAE）會存在目標(biāo)函數(shù)（即損失）不匹配的問題，隨著時間的推移，這會導(dǎo)致模型的性能不佳。盡管可以使用原型網(wǎng)絡(luò)遷移特征，但如果不同任務(wù)的特征維度不同，這種方法就會崩潰。相反，Metz 等人的方法學(xué)到了一種在「小樣本」分類任務(wù)中具備更好的泛化性能的更新規(guī)則。他們還展示了訓(xùn)練時的元更新，即使該網(wǎng)絡(luò)僅僅在圖片分類任務(wù)上進(jìn)行訓(xùn)練，它仍然可以泛化到提升文本分類的性能（但同時他們也發(fā)現(xiàn)：如果元函數(shù)在圖片分類任務(wù)上訓(xùn)練了太久，會產(chǎn)生明顯的性能下降，這是由于該元函數(shù)在圖片任務(wù)上發(fā)生了過擬合）。

總而言之，這是一篇非常棒的論文，也是在無監(jiān)督技術(shù)上取得的巨大進(jìn)步。即使它沒有取得任何目前最先進(jìn)的實驗結(jié)果，但是它完全可以被應(yīng)用于許多數(shù)據(jù)稀疏的領(lǐng)域。本論文官方版本的代碼可以通過該鏈接獲取：https://github.com/tensorflow/models/tree/master/research/learning_unsupervised_learning

通過元學(xué)習(xí)實現(xiàn)的無監(jiān)督學(xué)習(xí)

有趣的是，在今年的 ICLR 上發(fā)表了兩篇同時提出將元學(xué)習(xí)和無監(jiān)督學(xué)習(xí)結(jié)合起來的論文（盡管兩篇文章實現(xiàn)的方法完全不同）。在本文中，作者使用無監(jiān)督學(xué)習(xí)為元學(xué)習(xí)劃分?jǐn)?shù)據(jù)及，而并非使用元學(xué)習(xí)來學(xué)會無監(jiān)督學(xué)習(xí)的規(guī)則。

本文是我最喜愛的論文之一，因為它開啟了無需進(jìn)行顯式任務(wù)描述的元學(xué)習(xí)的大門。元學(xué)習(xí)存在的某些問題在于：元學(xué)習(xí)往往需要定義得非常好的任務(wù)集合。這就將元學(xué)習(xí)的適用范疇限制在研究者擁有非常大的已標(biāo)注元數(shù)據(jù)集（往往被劃分為不同的子數(shù)據(jù)集）的前提下。本文的方法提出自動地將數(shù)據(jù)集劃分為不同的子集。本文作者發(fā)現(xiàn)，即便使用簡單的無監(jiān)督聚類算法（例如 K-means 算法），元學(xué)習(xí)器仍然能夠從這些任務(wù)中進(jìn)行學(xué)習(xí)，并且在后續(xù)人為標(biāo)記過的任務(wù)上比直接利用這些嵌入進(jìn)行學(xué)習(xí)的方法（例如在無監(jiān)督學(xué)習(xí)后，緊接著進(jìn)行監(jiān)督分類的情況）的性能更好。他們使用的兩種元學(xué)習(xí)技術(shù)為「ProtoNets」和「MAML」。本文介紹了一種有趣的半監(jiān)督學(xué)習(xí)范式，在這里，我們首先進(jìn)行無監(jiān)督的預(yù)訓(xùn)練，然后進(jìn)行監(jiān)督學(xué)習(xí)。在本例中，「帶監(jiān)督的」部分會進(jìn)行「小樣本學(xué)習(xí)」（few-shot learning）。

作者在 4 個數(shù)據(jù)集上（MNIST，Omniglot，miniImageNet，以及 CelebA）將他們的方法和無監(jiān)督學(xué)習(xí)方法進(jìn)行了對比。最終，他們發(fā)現(xiàn)，他們的方法比所有其它的「無監(jiān)督+監(jiān)督學(xué)習(xí)」方法（包括聚類匹配，多層知機(jī)（MLP），線性分類，以及K最近鄰）的性能都要好得多?？偠灾?，本文朝著「讓元學(xué)習(xí)更容易被應(yīng)用于各種不同類型的問題」的方向邁出了一大步，而不是讓元學(xué)習(xí)僅僅適用于那些被良好定義的任務(wù)切片。

《帶有潛在嵌入優(yōu)化（LEO） 的元學(xué)習(xí)》

Meta-Learning with Latent Embedding Optimization (LEO)

論文下載地址：https://openreview.net/forum?id=BJgklhAcK7

本文旨在將基于梯度的元學(xué)習(xí)和一個潛在的表征網(wǎng)絡(luò)結(jié)合起來。LEO 的操作分為兩步：首先，它會學(xué)習(xí)一個模型參數(shù)的低維嵌入；接著它會在模型的低維嵌入空間上執(zhí)行元學(xué)習(xí)。具體而言，首先將會為模型給出一個任務(wù) T 以及會被傳給編碼器的輸入。編碼器會生成一個潛在編碼，該編碼隨后會被解碼成一組參數(shù)。該編碼器還帶有一個關(guān)系網(wǎng)絡(luò)，它有助于將編碼變得具有上下文依賴。接著，這些參數(shù)會在內(nèi)層循環(huán)中被優(yōu)化，而編碼器、解碼器和關(guān)系網(wǎng)絡(luò)則會在外層循環(huán)中被優(yōu)化。作者指出，他們的工作的主要貢獻(xiàn)是說明了低維嵌入空間中的元學(xué)習(xí)會比在類似于 MAML 中使用的那樣的高維空間中的元學(xué)習(xí)的性能好得多。LEO 在「tieredImageNet」和「miniImageNet」數(shù)據(jù)集上都取得了很好的實驗結(jié)果（包括在 5 way 1-shot 對比基準(zhǔn)測試上實現(xiàn)的準(zhǔn)確率為 61%，令人印象深刻，同時還在 5 way 5-shot 任務(wù)上取得了77% 的準(zhǔn)確率）。和許多其它的論文一樣，本文僅僅在圖像數(shù)據(jù)集上進(jìn)行了測試，因此尚不清楚該模型在其它類型數(shù)據(jù)上的泛化能力。

《跨程序的遷移學(xué)習(xí)》

Transferring Learning Across Processes

論文下載地址：https://openreview.net/forum?id=HygBZnRctX

由于本文作者已經(jīng)在 Medium 上發(fā)表了一篇詳細(xì)介紹其模型工作原理的博文（文章查看地址：https://medium.com/@flnr/transferring-knowledge-across-learning-processes-f6f63e9e6f46），我在這里就不過多贅述技術(shù)層面的細(xì)節(jié)了。相較于其它大量關(guān)于元學(xué)習(xí)的論文，該論文有下面幾點(diǎn)值得強(qiáng)調(diào)的亮點(diǎn)：首先，本文的模型同時在小樣本學(xué)習(xí)（few-shot learning）和數(shù)據(jù)規(guī)模更大的場景下進(jìn)行了測試評估。這一點(diǎn)是很重要的，因為元學(xué)習(xí)算法往往并沒有考慮在有更多的數(shù)據(jù)示例（但數(shù)據(jù)規(guī)模仍然太小，以致于無法從頭開始訓(xùn)練模型）的情況下元優(yōu)化的工作情況。本文還研究了一些尚未被探索的領(lǐng)域。具體而言，本文研究了往往未被探索的「遠(yuǎn)程遷移」領(lǐng)域，即在明顯不同的任務(wù)之間實現(xiàn)具有積極效果的知識遷移。

《學(xué)習(xí)深度多維聚類變分自編碼器中的潛在上層結(jié)構(gòu)》

Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering 

論文下載地址：https://openreview.net/forum?id=SJgNwi09Km

本文討論了使用一種新型的用于更好地對高維數(shù)據(jù)進(jìn)行聚類的變分自編碼器（VAE）。在無監(jiān)督學(xué)習(xí)中，將數(shù)據(jù)項聚類到不同的中是一個重要的預(yù)處理步驟。本文作者指出，許多種類的數(shù)據(jù)可以基于其屬性的許多不同部分被進(jìn)行聚類。作者指出「LTVAE 會生成多個數(shù)據(jù)劃分，每個劃分都會由一個上層的潛變量導(dǎo)出?！?/span>

「LT-VAE 不僅僅會學(xué)習(xí)每個聚類的位置來更好地表征數(shù)據(jù)，它還會學(xué)習(xí)這些簇的編號和底層樹形架構(gòu)的層次結(jié)構(gòu)。這是通過一個三步的學(xué)習(xí)算法實現(xiàn)的：第一步，訓(xùn)練一個傳統(tǒng)的『編碼器-解碼器』神經(jīng)網(wǎng)絡(luò)，從而提升它們對數(shù)據(jù)的擬合效果。第二步，一種類似于最大期望算法（EM）的優(yōu)化過程，從而更好地擬合學(xué)到的后驗概率的潛在先驗的參數(shù)。第三步，調(diào)整潛在先驗的結(jié)構(gòu)從而提升其 BIC 得分[3]，這樣做在對潛在后驗的良好擬合以及潛在先驗的參數(shù)數(shù)量（即復(fù)雜度）之間取得了平衡?！?/p>

本文提出的方法的主要優(yōu)點(diǎn)在于，它提高了聚類的可解釋性（即使從對數(shù)似然方面來說，它整體的效果并沒有那么好）。此外，針對特定的因素進(jìn)行聚類使其在許多真實世界的應(yīng)用中變得十分具有吸引力。盡管本文與許多其它的文章有所不同，并且沒有顯式地研究小樣本學(xué)習(xí)問題，我認(rèn)為將這種聚類方法與小樣本方法相結(jié)合可能會很有用。例如，它可能可以在「基于元學(xué)習(xí)環(huán)境的無監(jiān)督學(xué)習(xí)」問題中被用于任務(wù)劃分。

《基于元學(xué)習(xí)的深度在線學(xué)習(xí)》

Deep online learning via meta-learning

論文下載地址：https://sites.google.com/berkeley.edu/onlineviameta

本文聚焦于使用元學(xué)習(xí)和一個「Chinese Restaurant Proces」，在強(qiáng)化學(xué)習(xí)模型在線運(yùn)行時（即在生產(chǎn)過程中）快速地更新它們。該工作受啟發(fā)于這一事實：人類常常面臨之前從未（真正地）經(jīng)歷過的新狀況；然而我們可以利用過去的經(jīng)驗，并將其與我們從新的經(jīng)歷中獲得的反饋相結(jié)合，從而迅速適應(yīng)新的狀況。

本文提出的方法首次使用了 MAML 來初步訓(xùn)練模型。在 MAML 給出有效的先驗后會使用在線學(xué)習(xí)算法。該在線學(xué)習(xí)算法使用了「中餐館程序」來生成新的帶有合適的初始化設(shè)置的新模型或選擇一個已經(jīng)存在的模型。接著，作者會基于在線學(xué)習(xí)的結(jié)果，使用隨機(jī)梯度下降（SGD）算法更新模型參數(shù)。作者將本文提出的方法命名為「用于在線學(xué)習(xí)的元學(xué)習(xí)」（或簡稱 MoLE）。

作者在一些強(qiáng)化學(xué)習(xí)環(huán)境中測試評估了他們提出的方法。第一個環(huán)境是穿越不同難度的斜坡的仿真獵豹。第二個環(huán)境是一個腿部有殘缺的六足履帶機(jī)器人。實驗結(jié)果表明，MoLE 比基于模型的強(qiáng)化學(xué)習(xí)、使用元學(xué)習(xí)的k-shot 自適應(yīng)技術(shù)、以及使用元學(xué)習(xí)的連續(xù)梯度步技術(shù)的性能要好（盡管有趣的是，它僅僅略微優(yōu)于使用元學(xué)習(xí)的梯度步）。

《學(xué)習(xí)通過最大化遷移和最小化干擾進(jìn)行不會遺忘的學(xué)習(xí)》

Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference

論文下載地址：https://arxiv.org/pdf/1810.11910.pdf

當(dāng)神經(jīng)網(wǎng)絡(luò)對一系列任務(wù)進(jìn)行學(xué)習(xí)時，它往往會遭遇被稱作「災(zāi)難性遺忘」的問題。由于災(zāi)難性遺忘，神經(jīng)網(wǎng)絡(luò)無法再在之前訓(xùn)練的任務(wù)上取得好的性能。災(zāi)難性遺忘可以被認(rèn)為是存在明顯的消極負(fù)向遷移的遷移學(xué)習(xí)的特例。遷移學(xué)習(xí)（正如大多數(shù)人們所指的）以及元學(xué)習(xí)通常尋求最大化在最終的任務(wù)上的正向積極遷移，但是一般來說并不會關(guān)注它對于源任務(wù)的影響。本文試圖在仍然能夠?qū)崿F(xiàn)積極遷移但不以災(zāi)難性遺忘（干擾）為代價的情況下取得更大的平衡。

為了解決這個問題，Riemer 等人提出了一種被稱為元經(jīng)驗回放（MER）的方法。MER 采用了標(biāo)準(zhǔn)的經(jīng)驗回放，交叉存取過去的訓(xùn)練示例與當(dāng)前的訓(xùn)練示例，從而防止發(fā)生災(zāi)難性遺忘。作者假設(shè)過去的訓(xùn)練示例學(xué)習(xí)率較低；其次，MER 采用流行的 REPTILE 元學(xué)習(xí)算法在新數(shù)據(jù)上進(jìn)行訓(xùn)練。不過，MER 也將內(nèi)存緩存器中的過去的訓(xùn)練示例與新的示例交錯在一起，輸入給由 REPTILE 驅(qū)動的內(nèi)層訓(xùn)練循環(huán)，從而防止災(zāi)難性遺忘的發(fā)生。

我非常喜歡這篇論文，因為它同時探究了積極遷移和消極遷移的想法。本文的方法在 Omniglot 和強(qiáng)化學(xué)習(xí)環(huán)境中取得的實驗結(jié)果似乎相當(dāng)不錯。然而，作者只在小型「玩具」數(shù)據(jù)集上進(jìn)行了測試，尤其是在監(jiān)督分類問題中。他們本應(yīng)該也在 CIFAR-10 對比基準(zhǔn)、CALTech-Birds 或 CORRE50 上進(jìn)行測試。從這一點(diǎn)上說，由于還存在許多更加真實的 CL 數(shù)據(jù)集，他們沒有理由僅僅在稍微修改過的 MNIST 或 Omniglot 數(shù)據(jù)集上進(jìn)行測試。此外，我發(fā)現(xiàn)由于作者「重復(fù)命名」了一些之前命名過的概念，文中的一些術(shù)語令人困惑。而且，在理想情況下，當(dāng)我們連續(xù)進(jìn)行學(xué)習(xí)時，我們不必再在任何之前的數(shù)據(jù)上重新進(jìn)行訓(xùn)練（重新訓(xùn)練會帶來額外的計算開銷）。然而，所有的這一切都是朝著正確的方向邁進(jìn)了，我希望有更多的論文同時關(guān)注正向和負(fù)向遷移。更多關(guān)于該論文的信息，請參閱 IBM 的博文：「Unifying Continual Learning and Meta-Learning with Meta-Experience Replay」（https://www.ibm.com/blogs/research/2019/05/meta-experience-replay/）；論文代碼地址：https://github.com/mattriemer/MER

《文本轉(zhuǎn)語音的高效自適應(yīng)采樣》

Sample Efficient Adaptive Text-to-Speech

論文下載地址：https://openreview.net/forum?id=rkzjUoAcFX

這是一個將元學(xué)習(xí)運(yùn)用到「序列到序列」建模任務(wù)中的有趣應(yīng)用。在本例中，作者使用元學(xué)習(xí)來實現(xiàn)對說話者聲音的小樣本自適應(yīng)。該應(yīng)用十分重要，因為大多數(shù)情況下，你可能并不能獲取某個特定說話者持續(xù) 100 秒或 1000 秒的聲音。具體而言，作者拓展了 WaveNet 架構(gòu)，從而引入了元學(xué)習(xí)技術(shù)。有趣的是，根據(jù)作者的說法，在他們初步的試驗中，MAML 并沒有生成有意義的先驗。因此，他們不得不開發(fā)他們自己的架構(gòu)。

 該架構(gòu)的工作流程分為三步：（1）在一個包含多名說話者的「文本-語音」對的大型語料庫上訓(xùn)練模型；（2）根據(jù)某個特定說話者的少量「文本-語音」對調(diào)整模型；（3）最終在純文本上進(jìn)行推理，并將其轉(zhuǎn)化為合適的語音。作者研究了兩種小樣本學(xué)習(xí)場景：帶有一個嵌入編碼器（SEA-ENC）的參數(shù)化 few-soht 自適應(yīng)，以及帶有調(diào)優(yōu)過程的非參數(shù)化 few-shot 自適應(yīng)（SEA-ALL）。在 SEA-ENC 的情況下，作者訓(xùn)練一個輔助嵌入網(wǎng)絡(luò)，該網(wǎng)絡(luò)會在給定新數(shù)據(jù)的情況下預(yù)測出一個說話者的嵌入向量。相比之下，對于 SEA-ALL 來說，作者同時訓(xùn)練網(wǎng)路和嵌入。在測試評估階段，SEA-ALL 似乎性能更好，盡管作者聲稱模型在 SEA-ALL 的情況下會發(fā)生過擬合。因此，他們推薦使用早停法（early stopping）防止過擬合。（他們的模型僅僅在 10 秒內(nèi)的 Librispeech 任務(wù)上比早先的論文所提出的模型表現(xiàn)更好）。

本文是一個很好的范例，它將小樣本學(xué)習(xí)應(yīng)用于典型的圖像分類領(lǐng)域之外的棘手問題，并對其進(jìn)行必要的調(diào)整使其能夠真正有效。希望我們能夠在未來看到有更多的研究者嘗試將小樣本學(xué)習(xí)應(yīng)用于通用模型。作者提供了一個網(wǎng)站，你可以在上面測試他們的 TTS（Text to speaking）模型的demo。然而，遺憾的是，他們似乎沒有公開他們的代碼。

ICLR 其它相關(guān)論文概述

《K for the Price of 1：參數(shù)高效的多任務(wù)和遷移學(xué)習(xí)》

K for the Price of 1: Parameter-efficient Multi-task and Transfer Learning

論文下載地址：https://openreview.net/pdf?id=BJxvEh0cFQ

Mudrarkarta 等人提出了一個由少量可學(xué)習(xí)的參數(shù)組成的模型補(bǔ)丁包，這些參數(shù)專門針對各個任務(wù)。這種方法替代了對網(wǎng)絡(luò)的最后一層進(jìn)行調(diào)優(yōu)的通常做法。作者發(fā)現(xiàn)這種方法不僅可以減少參數(shù)的數(shù)量（從超過 100 萬減少到 3.5 萬），還可以在遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí)的環(huán)境下提升調(diào)優(yōu)的準(zhǔn)確率。唯一的缺點(diǎn)是，該補(bǔ)丁包似乎針對的只是相當(dāng)具體的架構(gòu)。

《用于距離度量學(xué)習(xí)的無監(jiān)督域自適應(yīng)方法》

Unsupervised Domain Adaptation for Distance Metric Learning 

論文下載地址：https://openreview.net/forum?id=BklhAj09K7

盡管本論文第一部分的標(biāo)題為「無監(jiān)督域自適應(yīng)」，它實際上研究的是遷移學(xué)習(xí)問題?；叵胍幌?，通常目標(biāo)域會通過域自適應(yīng)獲得一組相同的標(biāo)簽。然而，在本例中，作者假設(shè)了一個無標(biāo)簽的目標(biāo)域——正如一些審稿人提到的，本論文因此也變得有些令人困惑；不過，本文仍然有一些值得關(guān)注的地方：為了分離源域和目標(biāo)域的調(diào)整空間，作者提出了一種特征遷移網(wǎng)絡(luò) FTN。并且，該作者在跨種族人臉識別任務(wù)上取得了目前最先進(jìn)的性能。

《學(xué)習(xí)用于語法引導(dǎo)的程序合成的元解算器》

Learning a Meta-Solver for Syntax-Guided Program Synthesis

論文下載地址：https://openreview.net/forum?id=Syl8Sn0cK7&noteId=BJlUkwHxeV

本文討論如何將元學(xué)習(xí)應(yīng)用到程序合成任務(wù)中。在本文中，作者構(gòu)建了一個語法引導(dǎo)程序，它遵循一個邏輯公式和語法，然后生成一個程序。本文是一個將元學(xué)習(xí)用于典型的小樣本圖像數(shù)據(jù)集之外的應(yīng)用中的很好的范例。

《深度線性網(wǎng)絡(luò)中泛化動態(tài)和遷移學(xué)習(xí)的分析理論》

An analytic theory of generalization dynamics and transfer learning in deep linear networks

論文下載地址：https://arxiv.org/abs/1809.10374

本文研究了學(xué)習(xí)和遷移學(xué)習(xí)的理論。作者聲稱「我們的理論解釋了知識遷移敏感但可計算依賴于『信噪比』和任務(wù)對的輸入特征對齊」?？偠灾?，對于那些喜歡深入研究理論的人來說，這篇文章非常有趣。

結(jié)語

我希望本文很好地概述了本屆 ICLR 上有關(guān)小樣本學(xué)習(xí)的大多數(shù)論文（盡管我可能會漏掉一些）。如你所見，本屆 ICLR 上出現(xiàn)了各種各樣有趣的新技術(shù)，它們開啟了將深度學(xué)習(xí)用于數(shù)據(jù)有限的情況的大門。

via https://towardsdatascience.com/iclr-2019-overcoming-limited-data-382cd19db6d2    雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。