0
| 本文作者： 楊曉凡 | 2017-11-21 17:38 |
雷鋒網(wǎng) AI 科技評論按：許多自然問題都有一定的不確定性，比如一個杯子從桌上掉地，它可能躺在桌角、立在凳子下面，甚至直接摔碎。這種具有多種可能結(jié)果的未來預(yù)測一直是一個難題。深度學(xué)習(xí)三駕馬車之一的 Yann LeCun 近日就發(fā)布了一篇論文介紹他對這類問題的最新研究成果：誤差編碼網(wǎng)絡(luò) ENN。雷鋒網(wǎng) AI 科技評論把這篇論文的主要內(nèi)容介紹如下。
學(xué)習(xí)關(guān)于時間序列的前饋預(yù)測模型是人工智能中的一個重要問題，它可以應(yīng)用于無監(jiān)督學(xué)習(xí)、規(guī)劃以及壓縮。這類任務(wù)中的一個主要難點(diǎn)是，如何處理許多時間序列中都會展現(xiàn)出的多模態(tài)本質(zhì)。如果一個時間序列有多種可能的演變方式，用經(jīng)典的l1或者l2范數(shù)損失訓(xùn)練的模型做出的預(yù)測就會是各個發(fā)展方向中不同結(jié)果的平均值或者中位數(shù)，那么這個結(jié)果本身就是一個不會發(fā)生的結(jié)果、是一個無效的預(yù)測。
近年來，Ian Goodfellow 等人發(fā)明并發(fā)揚(yáng)光大的生成式對抗性網(wǎng)絡(luò)GANs就是一種通用的框架，它把預(yù)測問題轉(zhuǎn)換為了預(yù)測函數(shù)和可訓(xùn)練的鑒別器網(wǎng)絡(luò)（代表著損失）之間的極大極小值游戲。通過這個可訓(xùn)練的損失函數(shù)，理論上它可以處理多種輸出模式，因為如果生成器能生成每一種模式的樣本的話就肯定可以騙過鑒別器，從而走向收斂。然而，只能生成某一個模式的樣本的生成器其實(shí)也能騙過生成器走向收斂，實(shí)際中研究人員們也廣泛觀察到了這種現(xiàn)象。圍繞這種問題，大家開發(fā)出了一些解決或者緩解模式崩潰問題的方法，比如minibatch鑒別、增加參數(shù)化噪聲、通過展開的鑒別器做反向傳播以及用多個GANs覆蓋不同的模式等等。然而，其中的很多方法還是帶來了額外的麻煩，比如增加了實(shí)現(xiàn)的復(fù)雜度以及增加了計算量消耗。類似視頻預(yù)測這種輸出高度依賴輸入的條件生成任務(wù)中，模式崩潰的問題顯得更為嚴(yán)重。
在這篇論文中，作者們介紹了一種新的架構(gòu)，它讓時間序列數(shù)據(jù)的條件預(yù)測也可以是多模態(tài)且健壯的。它的構(gòu)建基于一個簡單的直覺，就是把未來狀態(tài)分成確定部分和隨機(jī)部分的組合；確定部分可以根據(jù)當(dāng)前狀態(tài)直接做出預(yù)測，隨機(jī)的（或者說難以預(yù)測）的部分就代表了關(guān)于未來的不確定性。訓(xùn)練這個確定性的網(wǎng)絡(luò)就能夠以網(wǎng)絡(luò)預(yù)測的形式獲得確定性因子，同時也得到了與真實(shí)狀態(tài)相比得到的預(yù)測誤差。這個誤差可以用低維隱含變量的形式編碼，然后送入第二個網(wǎng)絡(luò)中；這第二個網(wǎng)絡(luò)經(jīng)過訓(xùn)練后就可以利用這些額外的信息準(zhǔn)確地更正前一個確定性網(wǎng)絡(luò)的預(yù)測結(jié)果。這就是論文中提出的誤差編碼網(wǎng)絡(luò)（Error Encoding Network，ENN）。
簡單來說，這個框架在三個時間步驟中分別含有三個函數(shù)映射：
第一個函數(shù)映射把當(dāng)前狀態(tài)映射到未來狀態(tài)，它也就把未來狀態(tài)分成了確定性和不確定性的兩個部分
第二個函數(shù)映射是從不確定部分映射到低維隱含向量‘
第三個函數(shù)映射是基于隱含向量的條件，把當(dāng)前狀態(tài)映射到未來狀態(tài)，這個過程中也就編碼了未來狀態(tài)的模式信息。
模型的訓(xùn)練過程中會用到全部的三個映射，推理部分只需要最后一個映射。
前述的兩個網(wǎng)絡(luò)都是根據(jù)監(jiān)督學(xué)習(xí)的目標(biāo)函數(shù)端到端訓(xùn)練的，隱含變量是通過學(xué)到的參數(shù)化函數(shù)計算的，這樣一來訓(xùn)練過程就可以簡單、快速。
以往的視頻預(yù)測模型中，有的做法只關(guān)注了確定性，忽略了時間序列預(yù)測的多模態(tài)性本質(zhì)；也有的做法里需要訓(xùn)練數(shù)據(jù)帶有額外的標(biāo)簽，才能以不同的動作為條件生成不同的預(yù)測。與這些方法相比，論文中提出的方法是以隱含變量為條件生成的，而這些隱含變量是以無監(jiān)督的方式從視頻中學(xué)到的。
有一些研究在視頻預(yù)測中使用了對抗性損失，比如使用多尺度架構(gòu)和多種不同的損失組合進(jìn)行預(yù)測。增加的對抗性損失和梯度差異損失能夠提升圖像質(zhì)量，尤其可以降低使用l2損失時經(jīng)常出現(xiàn)的模糊現(xiàn)象。然而，當(dāng)時研究者們也指出生成器學(xué)會了忽略噪聲，生成的結(jié)果和不帶噪聲訓(xùn)練的確定性模型的結(jié)果相似。
也有其它的視頻預(yù)測模型中用交替最小化的方式推測隱含變量。一種做法里包含了一個離散的隱含變量，它的作用是在幾個用來預(yù)測未來視頻的隱藏狀態(tài)的不同模型間切換。這要比一個純粹的確定性模型靈活得多，然而一個離散的隱含變量仍然會把可能的未來模式顯示在一個離散的集合中。這篇論文中的模型則是通過一個學(xué)到的參數(shù)化函數(shù)推測連續(xù)的隱含變量。
近期也有研究表明，好的生成式模型可以通過在隱含空間聯(lián)合學(xué)習(xí)表征和解碼器的參數(shù)得到。這樣做的要比訓(xùn)練對抗式網(wǎng)絡(luò)簡單。生成式模型當(dāng)然也可以通過交替最小化隱含變量和解碼器的參數(shù)得到，但每個樣本的隱含變量都可以在每次更新后存儲下來，當(dāng)對應(yīng)的樣本再次從訓(xùn)練集中拿出時優(yōu)化過程也還可以繼續(xù)。這種做法和論文中的方法有所關(guān)聯(lián)，不過區(qū)別是，這次沒有為每個樣本存儲隱含變量，而是通過確定性網(wǎng)絡(luò)的預(yù)測誤差學(xué)習(xí)一個函數(shù)。
在游戲（Atari Breakout，Atari Seaquest，F(xiàn)lappy Bird）、機(jī)器人操控、模擬駕駛的視頻數(shù)據(jù)集上的測試結(jié)果都表明，這種方法可以持續(xù)地產(chǎn)生未來幀內(nèi)容的多模態(tài)預(yù)測。它們都具有完善定義的多模態(tài)結(jié)構(gòu)，其中的環(huán)境可以根據(jù)智能體的動作而改變，又或者是隨機(jī)地改變，同時還能足夠多樣化的視覺環(huán)境。作者們訓(xùn)練模型根據(jù)已知的4幀畫面，預(yù)測接下來的1到4幀。
比如下方打磚塊游戲的預(yù)測結(jié)果，基準(zhǔn)線的確定性模型預(yù)測的反彈板越來越模糊，這表明了模型對它的未來位置越來越不確定，不過同時靜態(tài)的背景一直非常清晰。殘差，也就是ground truth和基準(zhǔn)模型之間的差別，值預(yù)測了確定性模型無法預(yù)測的小球和反彈板的運(yùn)動。把殘差作為輸入，網(wǎng)絡(luò)學(xué)到的函數(shù)就可以把它編碼為隱含變量z。在訓(xùn)練集內(nèi)采樣不同的z值，就得到了以同一組幀為條件的三種不同生成結(jié)果。
在另一個游戲Flappy Bird中，除了玩家的動作和新出現(xiàn)的管子的高度之外都是確定的。在第一個例子中可以看到，通過改變隱含變量可以得到兩種不同的結(jié)果，新的管子在不同的時間進(jìn)入畫面、有不同的高度，或者干脆沒有新的管子出現(xiàn)。
在第二個例子中，改變隱含變量可以改變小鳥飛行的高度。這就說明環(huán)境中的兩種變量都可以被EEN建模。
論文中以信噪比為指標(biāo)對比了一個基準(zhǔn)的確定性模型和一個GAN?？梢钥吹?，隨著生成的樣本數(shù)量更多，論文中所提模型的表現(xiàn)也跟著提升；這表明它的生成結(jié)果足夠多樣化，起碼某些測試集中出現(xiàn)的模式都已經(jīng)覆蓋到了。也可以看到，隨著增加生成樣本的數(shù)目，GAN的表現(xiàn)并沒有提升，這說明它的隱含變量對生成的樣本幾乎沒什么影響。這也和其它研究中得到的結(jié)果相符。
另外還可以看到，不同模型之間用信噪比為指標(biāo)對比的話，可比性不是很強(qiáng)，因為基準(zhǔn)模型是直接優(yōu)化l2損失的，ENN是以給定的測試樣本為條件進(jìn)行優(yōu)化，GAN則是總體優(yōu)化了另一個loss。這里作者們主要想要表明，隨著生成的樣本變多，ENN的生成質(zhì)量也會提高；而GAN就不會這樣。
這篇論文提出了一種在帶有不確定的情況下進(jìn)行時間預(yù)測的新框架，方法是把未來狀態(tài)中可預(yù)測和不可預(yù)測的部分分開。這種方法執(zhí)行速度快、易于實(shí)現(xiàn)且便于訓(xùn)練，不需要對抗性網(wǎng)絡(luò)或者交替最小化。論文中是在視頻數(shù)據(jù)集上的做的測試，但這也是一種通用化的方法，理論上可以用于任意值連續(xù)的時間序列預(yù)測問題中。
關(guān)于未來研究，這篇論文中采用了一個簡單的技巧，采樣隱含變量時不考慮是否依賴當(dāng)前狀態(tài)；作者們認(rèn)為可能還能找到更好的辦法。另外，這個模型的一個好處是，它可以快速從沒有見過的數(shù)據(jù)中提取隱含變量，因為畢竟它只需要在前饋網(wǎng)絡(luò)中運(yùn)行一次。如果關(guān)于動作的隱含變量是易于解耦的，這就可以成為一種從大規(guī)模無標(biāo)簽數(shù)據(jù)集中抽取動作、進(jìn)行模仿學(xué)習(xí)的好方法。其它有意思的應(yīng)用方式還包括用模型做預(yù)測、用它展開不同的未來可能性。
更多細(xì)節(jié)請查看原論文：https://arxiv.org/abs/1711.04994
雷鋒網(wǎng) AI 科技評論編譯
相關(guān)文章：
Yann Lecun CoLR演講全解讀：機(jī)器該如何像動物和人類一樣有效學(xué)習(xí)？
Yann LeCun的“層級損失函數(shù)”：牧羊犬和摩天大樓，哪個更像哈巴狗？
論文被拒千百遍，團(tuán)隊不受待見，Yann LeCun為何仍待深度學(xué)習(xí)如初戀？
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
