無監(jiān)督學(xué)習(xí)和transformers如何在OpenAI手里玩出新花樣

本文作者： sanman

編輯：楊曉凡

2018-08-03 18:46

導(dǎo)語：Transformer模型的NLP任務(wù)表現(xiàn)

雷鋒網(wǎng) AI 科技評論按：OpenAI 近期更新了一篇博客，他們利用一個任務(wù)無關(guān)的可擴展系統(tǒng)在多語言任務(wù)上取得了卓越進展。論文及代碼已經(jīng)公布。他們的方法結(jié)合了 transformers 和無監(jiān)督學(xué)習(xí)兩個已經(jīng)存在的方法。項目結(jié)果證明了將監(jiān)督學(xué)習(xí)和無監(jiān)督預(yù)訓(xùn)練結(jié)合的方法十分有效。這是很多人設(shè)想過的方法，他們希望他們的成果可以激勵更多人將該方法應(yīng)用于更大更復(fù)雜的數(shù)據(jù)集上。原文發(fā)表在 OpenAI 的博客上，雷鋒網(wǎng)對博客內(nèi)容編譯如下。

無監(jiān)督學(xué)習(xí)和transformers如何在OpenAI手里玩出新花樣

他們的系統(tǒng)分兩個階段工作。首先他們利用無監(jiān)督的方式在超大數(shù)據(jù)集上訓(xùn)練一個 transformer 模型，過程中使用語言建模作為訓(xùn)練信號，然后放在較小數(shù)據(jù)集上進行微調(diào)使它可以處理一些特定任務(wù)。該方法基于他們情感神經(jīng)元的相關(guān)工作，在那項工作中他們發(fā)現(xiàn)當(dāng)訓(xùn)練數(shù)據(jù)量達到一定程度時，無監(jiān)督學(xué)習(xí)會表現(xiàn)出令人驚訝的區(qū)分性特征。因此，他們決定驗證一個想法，即是否可以開發(fā)一個模型，先以無監(jiān)督的方式在大數(shù)據(jù)集上進行訓(xùn)練，然后再進行微調(diào)以保證應(yīng)對不同任務(wù)時的表現(xiàn)。而結(jié)果顯示，此方法效果拔群。相同的核心模型只要進行極小的微調(diào)就可以應(yīng)對不同任務(wù)。

本工作基于半監(jiān)督序列學(xué)習(xí)中介紹到的方法，該方法先對 LSTM 進行無監(jiān)督的預(yù)訓(xùn)練然后再進行有監(jiān)督的微調(diào)，以此來優(yōu)化文本分類效果。該方法還拓展了 ULMFiT 中提到的方法，ULMFiT 介紹了如何對單個訓(xùn)練集未知的 LSTM 模型進行微調(diào)使它可以在不同的文本分類數(shù)據(jù)集上取得優(yōu)秀的成績。OpenAI 的工作為基于 Transformer 的模型提供了調(diào)整方案，讓這些模型可以適應(yīng)多種任務(wù)，這些任務(wù)不限于文本分類，還有常識推理，語義相似性研究，閱讀理解等。本工作與 ELMo 類似，但在任務(wù)無關(guān)性上更勝一籌，ELMo 也使用了預(yù)訓(xùn)練，但使用了針對任務(wù)定制的架構(gòu)以保證在各種任務(wù)中取得最優(yōu)表現(xiàn)。

僅需少量調(diào)整即可達成他們的目標(biāo)。所有的數(shù)據(jù)集都使用單一的前向語言模型，且不包含任何集成方法，絕大多數(shù)研究成果使用的是完全相同的超參數(shù)配置。

他們的方法在 COPA， RACE 和 ROCStories 這三個數(shù)據(jù)集上的表現(xiàn)著實亮眼，這三個數(shù)據(jù)集就是用來測試常識推理和閱讀理解的。他們的模型在這些數(shù)據(jù)集上取得了最優(yōu)的成績，且進步斐然。這些數(shù)據(jù)集著重測試多語句推理能力和重要世界知識的知識量，在這些數(shù)據(jù)集上取得優(yōu)異成績說明他們的模型通過無監(jiān)督學(xué)習(xí)顯著的提升了這些能力。這也為使用無監(jiān)督學(xué)習(xí)去開發(fā)復(fù)雜語言理解能力的研究帶來了希望。

為什么是無監(jiān)督學(xué)習(xí)？

監(jiān)督學(xué)習(xí)是目前大多數(shù)機器學(xué)習(xí)成功案例的核心。但是，監(jiān)督學(xué)習(xí)需要使用到大數(shù)據(jù)集，這些大數(shù)據(jù)集必須標(biāo)注明確，保持超低錯誤率，因此成本很高。無監(jiān)督學(xué)習(xí)由于可以規(guī)避這些缺點所以顯得很值得研究。由于無監(jiān)督學(xué)習(xí)突破了“人類明確標(biāo)注”這一瓶頸，所以隨著算力的提升和原始數(shù)據(jù)可用性的增加，無監(jiān)督學(xué)習(xí)也發(fā)展的越來越快。無監(jiān)督學(xué)習(xí)是一個很熱門的研究領(lǐng)域，但是實際應(yīng)用還是很受限制。

近期有人嘗試使用無監(jiān)督學(xué)習(xí)向系統(tǒng)中添加大量無標(biāo)注數(shù)據(jù)，想以此來提升語言能力。通過無監(jiān)督學(xué)習(xí)訓(xùn)練出來的詞表征可以使用 TB 級的數(shù)據(jù)集，而且如果和監(jiān)督學(xué)習(xí)結(jié)合起來就可以大幅提升處理各種 NLP 任務(wù)的效果。直到最近，這些應(yīng)用于 NLP 的無監(jiān)督技術(shù)（比如 GLoVe 和 word2vec）使用簡單模型（詞向量）和已訓(xùn)練的信號（詞局部共生）。Skip-Thought Vectors 是一個值得注意的早期嘗試，它顯示了更復(fù)雜的方法可能達到的潛在改進。但現(xiàn)在使用的新技術(shù)也可以大幅提升性能。這些新技術(shù)包括預(yù)訓(xùn)練語句表征模型，語境化詞向量（尤其值得注意的是 ELMo 和 CoVE），以及 OpenAI 的可以融合無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)的定制架構(gòu)。

無監(jiān)督學(xué)習(xí)和transformers如何在OpenAI手里玩出新花樣

在大型文本語料庫上預(yù)訓(xùn)練我們模型可以提升它在極具挑戰(zhàn)性的自然語言處理任務(wù)（如 Winograd Schema Resolution）上的表現(xiàn)

OpenAI 發(fā)現(xiàn)他們可以使用底層語言模型去執(zhí)行任務(wù)且不需要訓(xùn)練。例如，隨著底層語言模型的優(yōu)化，模型做選擇題這種任務(wù)時的表現(xiàn)在穩(wěn)步提升。雖然這些方法的絕對性能相較于當(dāng)前最優(yōu)的監(jiān)督方法來說往往更加低下（在問答任務(wù)中，還是簡單滑動窗口基線模型表現(xiàn)更好），但是這些方法在各種任務(wù)中表現(xiàn)出的魯棒性令人鼓舞。不包含任何任務(wù)信息和現(xiàn)實信息的隨機初始化網(wǎng)絡(luò)的表現(xiàn)不比啟發(fā)式隨機初始化網(wǎng)絡(luò)好。這也為生成式預(yù)訓(xùn)練為什么可以提升下游任務(wù)的表現(xiàn)這個問題提供了一些啟發(fā)意見。

OpenAI 還可以用模型中已有的語言功能來執(zhí)行情感分析。斯坦福情緒樹數(shù)據(jù)集（Stanford Sentiment Treebank）由電影的正/負(fù)面評論組成，他們可以用語言模型來猜測評論是積極的還是消極的，具體方法是在評論句子后面加上「very」，然后再觀察模型把這個「very」判斷為「積極」還是「消極」。這種方法不需要根據(jù)任務(wù)去調(diào)整模型，其性能與經(jīng)典基線相當(dāng)，準(zhǔn)確度能達到 80％。

OpenAI 的工作驗證了 transformer 結(jié)構(gòu)的魯棒性和實用性，也表明它足夠靈活，不需要復(fù)雜的任務(wù)定制和超參數(shù)調(diào)整就可以在各種任務(wù)中拔得頭籌。

缺點

這個項目有這幾個值得注意的點：

● 算力需求：許多以前的針對 NLP 任務(wù)的方法是從頭開始在單塊 GPU 上訓(xùn)練一個小模型。OpenAI 的方法的預(yù)訓(xùn)練過程很昂貴——8 塊 GPU 訓(xùn)練一個月。幸運的是，這個過程只需要進行一次，而他們已經(jīng)開源了自己的模型，所以其他人就省了這個步驟。該模型比較大（相較于之前的工作），需要使用更大的算力和內(nèi)存，他們使用了 37 層（12 塊）transformer 架構(gòu)，并在多達 512 個 token 的序列上訓(xùn)練。大多數(shù)實驗是在 4 或 8 塊 GPU 上進行的。這個模型調(diào)整起來很快，這也變相的減輕了資源需求。

● 通過文本認(rèn)識世界的限制與偏見：網(wǎng)上隨處可見的書籍和文本并不包含這個世界的全部信息，有時候信息也并不準(zhǔn)確。近期的工作表明某些信息只通過文本無法進行學(xué)習(xí)，另一些工作表明模型會學(xué)習(xí)和利用數(shù)據(jù)分布上的偏差。

● 泛化能力依舊脆弱：盡管 OpenAI 的方法在各種任務(wù)上提升了性能，但現(xiàn)在的深度 NLP 模型依然存在著令人驚訝和反直覺的行為，以系統(tǒng)化，對抗性或超越數(shù)據(jù)分布的方式進行評估時表現(xiàn)尤為明顯。他們的方法已經(jīng)有了一些進步，但對此問題也束手無策。他們方法相較于之前的純神經(jīng)網(wǎng)絡(luò)在文本蘊含任務(wù)上有更好的詞魯棒性。在 Glockner 等人使用的數(shù)據(jù)庫上，他們的模型取得了 83.75% 的準(zhǔn)確率，和通過 WordNet 整合了外部知識的 KIM 性能相近。

未來的工作

● 擴展該方法：OpenAI 發(fā)現(xiàn)語言模型的改進與下游任務(wù)的改進關(guān)聯(lián)密切。他們現(xiàn)在使用的是單個 8GPU 的商用機器，訓(xùn)練的數(shù)據(jù)集也不過幾千本書的量（大概 5GB 文本）。所以在算力和數(shù)據(jù)上有很明顯的改進空間。

● 改進微調(diào)方法：OpenAI 的現(xiàn)有的方法很簡單，通過復(fù)雜的適配以及遷移其他工作（如 ULMFiT）中的技術(shù)，可以對他們的工作進行重大的更新。

● 更加深入的研究生成式預(yù)訓(xùn)練這么好用的原因：OpenAI 本文介紹了他們的部分想法，而更加具有針對性的試驗和研究會為一些相互競爭的觀點祛魅。例如，實驗會證明現(xiàn)在取得的進步有多少受益于泛文本處理能力的提升，又有多少是因為世界知識的提升。