研究了個寂寞？Reddit熱議：AI教父Yann LeCun提出的『能量模型』到底是個啥？

本文作者：貝爽

2020-12-14 17:50

導(dǎo)語：AI的未來是個“ppt”？

“能量自監(jiān)督學(xué)習(xí)到底是什么鬼？”不少Reddit網(wǎng)友評論說。

剛剛，深度學(xué)習(xí)教父Yann LeCu登上了Reddit熱搜。一位不知名的開發(fā)者發(fā)表了一篇題為“Yann LeCun提出基于能量的自監(jiān)督學(xué)習(xí)到底是什么”的帖子，引發(fā)眾多網(wǎng)友討論。

研究了個寂寞？Reddit熱議：AI教父Yann LeCun提出的『能量模型』到底是個啥？

討論的焦點之一是，基于能量的自監(jiān)督學(xué)習(xí)模型能做什么？有什么優(yōu)勢或意義？

這位開發(fā)者剛剛看完LeCun最新的主題演講，他說，Yann LeCun似乎是在建議訓(xùn)練一個有條件的潛在變量模型，它可以根據(jù)輸入和潛在變量預(yù)測輸出（類似于pix2pix GAN或VAE）；同時，它也可以處理圖像、視頻或者音頻等不同類型。

但有關(guān)優(yōu)化生成模型的方法有很多，比如OpenAI通過iGPT預(yù)訓(xùn)練預(yù)測缺失像素，采用“對比預(yù)測編碼法”，通過對比損失來進(jìn)行丟失信息預(yù)測。這些方法在實際應(yīng)用中均取得不錯的成果。

相比之下，基于能量的自監(jiān)督學(xué)習(xí)好像并沒有特別之處，也沒有相關(guān)的成功應(yīng)用案例。

Reddit上，超過95%的網(wǎng)友對這一觀點表示了贊同。

另外，還有一位網(wǎng)友透露，最近3-4年很多專家都對它很著迷，他們認(rèn)為基于能量的模型是深度學(xué)習(xí)的『未來』。

那么，代表ML未來的『能量模型』到底是什么？

AI的未來：『能量』SSL模型

Yann LeCun，是2018年圖靈獎得主之一，與Geoffrey Hinton 和 Yoshua Bengio二人被合稱為深度學(xué)習(xí)三巨頭。同時，他自己也被稱為“CNN之父”。

研究了個寂寞？Reddit熱議：AI教父Yann LeCun提出的『能量模型』到底是個啥？

LeCun在在業(yè)界和學(xué)術(shù)界頗具影響力。目前，他在Facebook公司擔(dān)任人工智能研究院院長一職，同時也在紐約大學(xué)、Courant 數(shù)學(xué)科學(xué)研究所、神經(jīng)科學(xué)中心和電氣與計算機工程系等擔(dān)任要職。

2019年11月，LeCun代表Facebook參加了《Using Physical Insights for Machine Learning》主題研討會，并發(fā)表了名為《基于能量的自監(jiān)督學(xué)習(xí)（Energy-Based Self-Supervised Learning）》的主題演講。

在這篇演講中，LeCun詳細(xì)介紹了基于能量的學(xué)習(xí)方法在解決現(xiàn)有挑戰(zhàn)方面的可能性。

近幾年，深度學(xué)習(xí)在計算機感知、自然語言理解和控制方面取得了重大進(jìn)展。但這些成功在很大程度上都依賴于監(jiān)督學(xué)習(xí)或無模型強化學(xué)習(xí)。其中，監(jiān)督學(xué)習(xí)是從標(biāo)記的訓(xùn)練數(shù)據(jù)來推斷一個功能的機器學(xué)習(xí)任務(wù)。強化學(xué)習(xí)分為有模型和無模型兩種策略，前者區(qū)別與后者的特點是，有模型的方法主要學(xué)習(xí)前向狀態(tài)轉(zhuǎn)移模型p(st+1|st,at)，而無模型方法則不是。

從現(xiàn)有研究來看，無論是監(jiān)督學(xué)習(xí)，還是無模型強化學(xué)習(xí)都存在明顯的局限性。前者需要人類提供大量數(shù)據(jù)標(biāo)簽，后者需要機器學(xué)習(xí)動作回報最大化。

也就是說，監(jiān)督學(xué)習(xí)只適用于特定任務(wù)，即使是學(xué)習(xí)簡單的任務(wù)；強化學(xué)習(xí)也需要與環(huán)境進(jìn)行大量的交互。例如，它在游戲和仿真工作中十分有效，但在現(xiàn)實世界很難奏效。

但如果存在一款模型能夠像人類或動物那樣，只需要少量觀察和互動就能學(xué)習(xí)大量與任務(wù)無關(guān)的知識，那么這些現(xiàn)實困境就可以被很好的解決。而這款模型必須依靠自監(jiān)督學(xué)習(xí)（Self-Supervised Learning，簡稱SSL）方法。

LeCun認(rèn)為，SSL是深度學(xué)習(xí)的『未來』，基于能量的SSL可以在回避概率的同時處理不確定性。以下是基于能量的SSL模型：

研究了個寂寞？Reddit熱議：AI教父Yann LeCun提出的『能量模型』到底是個啥？

標(biāo)量值能量函數(shù)F（x，y）可以被測量，包括：

測量x和y之間的兼容性。
低能量：y是x的最佳預(yù)測
高能量：y是x的最差預(yù)測

同時，它也有無條件的模型版本。

在訓(xùn)練方面，首先將能量函數(shù)參數(shù)化，在獲取訓(xùn)練數(shù)據(jù)，最后計算出新Shape。這個過程通常有兩種方法，一是對比法（Contrastive Methods），二是建構(gòu)法（Architectural Methods）。

研究了個寂寞？Reddit熱議：AI教父Yann LeCun提出的『能量模型』到底是個啥？

其中對比法涉及三種策略：

C1：數(shù)據(jù)點能量下推，其它位置上推：最大似然（Max likelihood）。

C2：數(shù)據(jù)點能量下推，選擇位置上推：最大似然和MC/MMC/HMC，對比散度，度量學(xué)習(xí)，噪聲對比估計，比率匹配，噪聲對比估計，最小概率流，對抗生成器GAN

C3：訓(xùn)練一個函數(shù)，將數(shù)據(jù)流形上的點映射到數(shù)據(jù)流形上的點：去噪自動編碼器，屏蔽自動編碼器（如BERT）

研究了個寂寞？Reddit熱議：AI教父Yann LeCun提出的『能量模型』到底是個啥？

建構(gòu)法涉及三種策略：

A1：建立機器使低能量物質(zhì)的體積有界：PCA，K-均值，高斯混合模型，平方ICA。

A2：使用正則化項來度量具有低能量的空間體積：稀疏編碼、稀疏自動編碼器、LISTA、變分自動編碼器

A3：F（x，y）=C（y，G（x，y）），使G（x，y）相對于y盡可能“恒定”：收縮自動編碼器，飽和自動編碼器。

A4：最小化梯度，最大化數(shù)據(jù)點周圍的曲率：分?jǐn)?shù)匹配

在此基礎(chǔ)上，LeCun還演示了關(guān)于視頻預(yù)測的應(yīng)用實例。他表示，無監(jiān)督學(xué)習(xí)會成為未來的主流，能解決我們的學(xué)習(xí)系統(tǒng)難以處理的眾多問題，研究無監(jiān)督和預(yù)測性前向模型（predictive forward model）的建立，也會是接下來幾年的挑戰(zhàn)。

（文末獲取LeCun完整PPT內(nèi)容）