0
隨著每一年的結(jié)束，麻省理工學院電氣工程與計算機科學系博士 Gregory J Stein 都會回顧一下對其影響最大的各大研究趨勢或論文，今年亦如此。
作為該領域的研究人員，他發(fā)現(xiàn)深入研究其認為研究界取得的巨大進展，或找出目前可能沒有取得進展的領域，可能會很有意義。
本文中，Gregory J Stein 對機器學習和機器人研究領域的目前的發(fā)展現(xiàn)狀發(fā)表了他的看法。
AlphaZero 是2017年我最喜歡的論文之一。DeepMind 的國際象棋和圍棋 AI 今年實現(xiàn)了重大升級，現(xiàn)在的版本名叫： MuZero，從而順利將 Atari 游戲添加到了其以超越人類的表現(xiàn)完成的任務清單之列。
以前對于 AlphaZero 來說，Atari 游戲是遙不可及的，因為這款游戲的觀察空間非常大，這使得 AlphaZero 難以構(gòu)建行為樹并得出決策結(jié)果。在圍棋中，由于棋盤會遵循采取某個動作后棋盤會呈現(xiàn)的局勢的一系列規(guī)則，因此預測行為結(jié)果是很容易的。
但對于 Atari 而言，預測行動結(jié)果原則上需要預測下一幀游戲可能呈現(xiàn)的戰(zhàn)局。當系統(tǒng)試圖估計它在幾幀內(nèi)的動作會對未來所造成的影響時，這種非常高維的狀態(tài)空間和難以定義的觀察模型，將極具挑戰(zhàn)。
MuZero論文地址：https://arxiv.org/abs/1911.08265
MuZero 通過學習狀態(tài)空間的潛在（低維）表示形式（包括當前幀），然后在該學習空間中規(guī)劃從而規(guī)避了此問題。有了這一轉(zhuǎn)變，智能體就可以在這個狹小的隱藏空間中采取行動，并想象許多不同行動的影響并評估可能發(fā)生的取舍，這就是 AlphaZero 和 MuZero 都基于的蒙特卡洛樹搜索（MCTS）算法的標志性特征。
這種方法感覺更像是我所期望的真正的智能決策系統(tǒng)：擁有權(quán)衡不同選擇，而不必精確地預測每個選擇對于真實世界的影響的能力。這里的復雜之處在于他們?nèi)绾瓮瑫r學習潛在空間并學會在該潛在空間進行規(guī)劃，更多詳細信息可以參閱他們的論文。
這項工作真正令我吃驚的是，它是如何將個人想法組合成一個更大的工作系統(tǒng)。這篇論文與我見過的其它關于機器學習工作的系統(tǒng)論文一樣，但除了表征特征化神經(jīng)網(wǎng)絡訓練這一常年慣用的技巧之外，MuZero 中提出的想法還幫助回答了關于如何為日益復雜的問題構(gòu)建 AI 的深刻問題。
整個 AI 研究社區(qū)都正在努力將個人的想法匯集起來，集合個體思想以建立更強大的決策系統(tǒng)。AlphaZero 和 MuZero 也都朝著這個方向發(fā)展，識別 MCTS 樹結(jié)構(gòu)（模擬選擇不同動作的影響）以及預測每個動作的未來優(yōu)點的能力，將產(chǎn)生更強大的學習系統(tǒng)。
而 MuZero 學習緊湊表示的額外能力（系統(tǒng)動態(tài)模型），可以模擬規(guī)劃動作和隨后觀察來達到規(guī)劃接下來的動作的目的，這讓我相信這樣的系統(tǒng)可能有一天能夠解決現(xiàn)實世界機器人技術(shù)的問題。
然而，AlphaZero 和 MuZero 目前還缺乏解決實際問題的能力，相關討論可參考這篇文章：
隨著我們努力使 AI 變得越來越智能，這項工作將推著我們往更好地理解哪些想法和工具能夠讓這些系統(tǒng)在現(xiàn)實中得以應用的方向前進。
在此領域，另一個值得一提的成果是 Facebook AI 的 Hanabi 紙牌游戲 AI，該系統(tǒng)中需要讓 AI 玩一個部分可觀察的協(xié)作式紙牌游戲。
也許最讓我興奮的進展，要數(shù)表征學習領域。
我是老式經(jīng)典規(guī)劃和所謂的符號 AI 的忠實擁護者，在該方法中，智能體通過理解對象或人此類的符號與真實世界建立聯(lián)系。
人類一直是這樣做的，但是將我們的能力轉(zhuǎn)譯給機器人或者人工智能體時，我們經(jīng)常需要指明希望智能體推理出什么對象或者其他的預測。
但一個在很大程度上難以獲得確切答案的問題是：符號從何而來？更籠統(tǒng)地說：我們應該如何表征世界，以便機器人在解決復雜的現(xiàn)實問題時能夠快速有效地做出決策？
最近的一些工作已開始在能夠從數(shù)據(jù)中學習這種表征的方向上取得真正的進展，使學習系統(tǒng)能夠自行推斷對象或建立它們能夠用以與此前未見過的位置進行交互的對象和位置的“關系圖”。
這項研究目前仍處于初級階段，但是我很渴望看到它的進展，因為我堅信朝著能力更強的機器人方向前進，需要對這個領域有更深入的了解和取得重大的進步。我發(fā)現(xiàn)了幾篇特別有趣的論文，包括：
Entity Abstraction in Visual Model-Based Reinforcement Learning（基于視覺模型的強化學習中的實體抽象）
這篇文章是最近嘗試讓系統(tǒng)了解什么是對象，然后使用所學的動力學正向模擬那些對象的行為來構(gòu)建學習問題的少數(shù)研究之一。該篇論文表示：“ OP3 強制執(zhí)行實體抽象，將潛在狀態(tài)分解為局部實體狀態(tài)，每個局部狀態(tài)均使用以通用實體作為參數(shù)的相同函數(shù)進行對稱處理。”
此工作尚處于起步階段，但我期待看到社區(qū)將如何繼續(xù)研究使用新穎的學習結(jié)構(gòu)，來系統(tǒng)找出感興趣的實體，然后用于后續(xù)的規(guī)劃管道中。
圖1 這是來自實體抽象論文的一個示例，展示了如何使用此方法對未來進行預測
Bayesian Relational Memory for Semantic Visual Navigation （語義視覺導航的的貝葉斯關系記憶）
這篇論文涉及到構(gòu)建一個在線拓撲圖作為尋找語義目標的智能體導航（例如找到廚房）。導航時，智能體將定期識別新的房間，并在它們變得足夠確定時將新房間添加到其不斷增長的關系圖中。這里執(zhí)行的一切處理都基于視覺，意味著系統(tǒng)必須處理相當大的不確定性和高維輸入。這篇文章與 ICLR 2018 上發(fā)表的一篇極具影響力的論文《 Semi-parametric Topological Memory for Navigation》的想法類似：智能體需要事先演示環(huán)境以構(gòu)建它的地圖。
在未來幾年里，我期望看到 AI 研究社區(qū)如何繼續(xù)將基于模型和不基于模型的技術(shù)之間的邊界模糊化。
概括而言：我希望符號 AI 和更多“現(xiàn)代”深度學習方法能夠交叉取得更多的進展，以解決像基于視覺的地圖構(gòu)建、不確定性下的規(guī)劃和終身學習等機器人技術(shù)社區(qū)感興趣的問題。
自從 Facebook 研究院的 Mask-RCNN 在 2018 年興起以來，我在監(jiān)督機器視覺領域再也沒有看到尤為鼓舞人心的研究成果。這并不是說這個領域的研究不重要。
在這個領域，諸如語義分割或?qū)ο髾z測之類的研究進展已經(jīng)相當成熟。ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）的對象檢測已逐漸淡出人們的視線，因為只有企業(yè)（通常擁有優(yōu)質(zhì)豐富的數(shù)據(jù)集或財務資源）愿意在這一挑戰(zhàn)賽中爭取獲得好的名次。
但這不是一件壞事！事實上現(xiàn)在尤其是機器人研究者的好時機，因為研究社區(qū)已經(jīng)發(fā)展到了這樣一個節(jié)點：在研究人員可用的數(shù)據(jù)集之外盡可能地追求更高的性能，并且開始更加關注廣泛采用機器人工具和與這一過程相關的“便利功能”。
現(xiàn)在研究社區(qū)在使用各種各樣的新技術(shù)來更快地訓練這些系統(tǒng)，并且在不影響準確性的情況下使它們更快更有效。
作為一個對真實世界感興趣和經(jīng)常使用這些新技術(shù)的人，我發(fā)現(xiàn)我對尤其是在像智能手機和小型自動機器人等資源受限的系統(tǒng)上使用這些技術(shù)的研究特別感興趣，這些研究將會促使這些工具和功能得到更廣泛的應用。
在網(wǎng)絡蒸餾方面，一些很棒的工作十分值得關注：在訓練模型后使用優(yōu)化技術(shù)刪除對整體性能影響不大的神經(jīng)網(wǎng)絡部分，代價只不過是增加些計算量。
對于如何避免需要剪枝來初始化和訓練小型神經(jīng)網(wǎng)絡，《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》一文提出了一些有趣的想法，盡管該成果尚未產(chǎn)生廣泛的實際影響。
同時，在下方這篇“超棒”的 GitHub 貼文提供了不同網(wǎng)絡剪枝方法的完整列表。
還有一些相關技術(shù)，是使用專用的硬件功能來進一步加速網(wǎng)絡編譯?！禙astDepth:Fast Monocular Depth Estimation on Embedded Systems》一文就是在單目深度估計（monocular depth estimation）任務中結(jié)合使用這些技術(shù)的一個很好的例子。
新技術(shù)和新領域的進展讓人振奮，但這些技術(shù)研究開始放緩，同樣值得關注。隨著許多研究領域已經(jīng)取得了初級的研究成果，研究本身變得越來越有趣，并且由于阻礙該領域進展的真實挑戰(zhàn)也變得越來越明晰，會促使研究人員對該領域進行更深層的研究。
對于機器人技術(shù)和機器學習的交叉領域的研究人員，我發(fā)現(xiàn)大多數(shù)人的觀點是：只有技術(shù)變得足夠強大時，人們才可能相信它們能為現(xiàn)實中硬件的決策提供依據(jù)。
我對圖神經(jīng)網(wǎng)絡的忠實擁護者。從《 Relational inductive biases, deep learning, and graph networks》一文發(fā)表以來，我一直在深入思考如何將GNN學習集成為我自身研究工作的學習后端。
總體思路很簡單：構(gòu)建一個圖，其中節(jié)點與各個實體（對象、空間區(qū)域、語義位置）相對應，并根據(jù)它們相互影響力將它們進行連接。簡而言之，我的想法是：在最容易定義的目標問題上采用盡可能多的架構(gòu)，然后讓深度神經(jīng)網(wǎng)絡根據(jù)該結(jié)構(gòu)來學習實體之間的關系（這與我在上文中提到的表征學習概念類似）。
圖模型在 AI 中已使用了數(shù)十年，但是如何處理高維觀測值的問題卻是一大瓶頸，在一段時間內(nèi)，似乎只有手動設計特征能夠成功解決該問題。
但隨著 GNN 的出現(xiàn)，高維輸入不再是一大難題。去年我們看到了使用 GNN 完成對其他表征學習方法（如量子化學）極具挑戰(zhàn)的有趣目標的工具，呈爆炸式的增長。
今年，隨著用于構(gòu)建和使用圖網(wǎng)絡的工具日趨成熟，研究人員開始將 GNN 用于解決他們自己的問題，在機器學習和機器人技術(shù)的交叉研究方向開展了一些有趣的工作。
使用 GNN 感興趣的讀者，可以訪問 DeepMind 提供的 Collaboratory Notebook ，上面有大量演示結(jié)果。
同時，我對機器人良好導航?jīng)Q策能力（特別是當它們僅獲取了周圍環(huán)境的不完整信息時）也十分感興趣，以及《Autonomous Exploration Under Uncertainty via Graph Convolutional Networks》和 NikoSünderhauf 發(fā)表的《Where are the Keys? 》等論文都非常引人深思，相關論文可以參考下文地址：
盡管我對深度學習和表征學習方法的前景感到十分興奮，但這些技術(shù)所產(chǎn)生的系統(tǒng)通常是難以理解的。由于這些系統(tǒng)逐漸面向人類，其難以理解的特點將成為一個問題。
幸運的是，人們對可解釋的 AI 的關注度逐漸增加并取得了一些進展，總體上正在朝著人類可能愿意相信和共存的 AI 方向努力。
最近引起我關注的可解釋 AI 領域中最有趣的論文之一，是杜克大學 Cynthia Rudin 實驗室 Chenhaofan Chen 和 Oscar Li 所著的《This Looks Like That: Deep Learning for Interpretable Image Recognition 》。
文中作者通過識別當前圖像的哪些區(qū)域與其他圖像中的相似區(qū)域相匹配，并匹配兩者之間的分類，建立了一個圖像分類管道。由于該分類方法專門提供了訓練集中相似圖像和特征的直接對比，因此該分類方法比其他性能接近的技術(shù)更具可解釋性。
下圖來自論文，展示了系統(tǒng)如何對黏土色的麻雀圖像進行分類：
圖2 《This Looks Like That: Deep Learning for Interpretable Image Recognition 》一文中圖像分類方法的示例。
今年 Cynthia Rudin 還發(fā)表了她的著作：《 Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead》。她在書中提出，我們應該停止事后“解釋”黑盒模型做出的決策，而應該構(gòu)建在構(gòu)造上可解釋的模型。
我不知道我是否一定認同應立即停止使用黑盒模型，但她在論文中提出了一些充分合理的觀點，對于當前以開發(fā)黑盒模型為主流的 AI 領域至關重要。
過去一年中還有一些不錯的研究，例如由我的朋友和同事 Leilani H. Gilpin 和 Cecilia Testart 等人所著的《Explaining Explanations to Society》，致力于研究什么類型的模型解釋對社會最有用，以及我們?nèi)绾谓鉀Q現(xiàn)有深度學習系統(tǒng)輸出結(jié)果的局限性等相關問題。
簡而言之，2019年以來，我最大收獲之一是：研究人員尤其應該意識到，我們開發(fā)模型和嘗試構(gòu)建系統(tǒng)時，應該盡可能設計成可解釋性的。
不久前我撰寫了《Deepmind's Alphazero and the Real Word》一文，其中提到的一些應用我非常感興趣，并希望研究社區(qū)中越來越多的人能優(yōu)先進行可解釋系統(tǒng)設計。
如果數(shù)據(jù)不夠多樣化，則模擬是一種非常有用的工具，因為數(shù)據(jù)便宜且有效無限。
2018年出現(xiàn)了大量模擬工具，其中許多模擬工具通過模擬現(xiàn)實環(huán)境提供了許多逼真的圖像，目的是直接用于實現(xiàn)現(xiàn)實功能。
這些環(huán)境包括超大規(guī)模、多傳感器、逼真的室內(nèi)數(shù)據(jù)集 InteriorNet 和“ 由 1447 層組成的 572 棟完整建筑物，總面積 21.1 萬平方米”的 GibsonEnv 數(shù)據(jù)集。
今年，這一領域孩子持續(xù)發(fā)展，包括新交互式的 Gibson 環(huán)境和 Facebook （發(fā)布的令人）驚艷的 AI Habitat 環(huán)境。
圖3 這些圖像取材自Facebook關于AI Habitat真實模擬環(huán)境的技術(shù)報告，該技術(shù)報告于今年開源，圖像確實看起來令人難以置信。（相關閱讀參考：https://arxiv.org/pdf/1904.01201.pdf）
在現(xiàn)實世界中，出現(xiàn)了越來越多模擬工具技術(shù)并且能夠獲得良好的性能。在域隨機化中，模擬場景的元素（紋理，光照，顏色等）是隨機變化的，因此學習算法學著忽略那些通常無關的細節(jié)。誠然，我從未（完全）看好域隨機化的前景。
對于許多機器人應用而言，特定的紋理和光照實際上可能對規(guī)劃十分重要，并且特定域技術(shù)可能更合適和隨機化，例如一些數(shù)據(jù)增強處理，可能會引入自身的一些問題。話雖如此，研究人員過去一年的努力（包括《Sim-to-Real via Sim-to-Sim》這篇論文在內(nèi)）和通過在各個子領域中廣泛使用這些技術(shù)來提高性能，讓我開始相信這些技術(shù)的實用性。
OpenAI 還將域隨機化應用到視覺外觀和物理學上，來讓 AI 學習操作魔方，證明了機器人的手可比我們?nèi)祟愐`活得多。
對此，2019年 RSS大會上的一篇論文《Workshop on Closing the Reality Gap in Sim2real Transfer for Robotic Manipulation》。值得一讀，閱讀地址如下：
去年，除了隨機化，致力于研究在各個領域間遷移知識的域適應性算法也取得了一些進展。我對諸如《 Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience》等工作特別感興趣，文中用一些現(xiàn)實世界的推理使 RL 智能體從模擬中調(diào)整它的經(jīng)驗。
如果不圍繞“ 痛苦的教訓 ”進行一番討論，那對 2019 年 AI 的討論將是不完整的。
在 AI 界備受推崇、遠近聞名的研究者 Rich Sutton 在網(wǎng)站上發(fā)了一篇博文探討了，在 AI 的歷史發(fā)展進程和他的職業(yè)生涯中，這些由人類手工設計的基于模型的方法如何反復被不基于模型的方法取代，如深度學習。
他列舉了用于對象檢測的“SIFT”特征算法作為一個例子，雖然“SIFT”特征算法已經(jīng)流行了20年，但是深度學習卻能非常輕易地得到該算法所實現(xiàn)的所有結(jié)果。
他繼續(xù)說道：
這是一個重要的教訓。在 AI 這個領域，由于我們正繼續(xù)犯同樣的錯誤，我們?nèi)晕赐耆私馑?span style="font-size: 14px; color: #3F3F3F;">為了看到并有效規(guī)避這些錯誤，我們必須理解這些錯誤背后的誘因。我們必須吸取痛苦的教訓：從長遠來看，我們必須吸取沉重的教訓，即建立在我們的想法之上的思考方式是行不通的。
慘痛的教訓是基于歷史觀察得出的：1）人工智能研究人員經(jīng)常試圖將知識構(gòu)建到智能體中； 2）這在短期內(nèi)是有幫助的，并且使研究人員滿意，但是 3）從長遠來看，這會使研究停滯不前甚至阻礙了進一步發(fā)展，并且4）然而最終的突破性進展，往往是得益于完全相反的方法即基于通過搜索和學習進行縮放計算的方法而實現(xiàn)的。由于算法的成功基于個人喜好和以人為中心，所以最終的成果往往充滿了苦澀并且通常無法為人們所完全接受。
從慘痛的教訓中應該學到的一件事是：通用方法（如搜索和學習兩種方法）十分強大，即使可用的計算變得很大，這些方法也會隨著計算量的增加而不斷擴展。
他的觀點引發(fā)了 AI 研究界的廣泛爭論，以及 Rodney Brooks 和 Max Welling 等人令人難以置信的反駁，相關閱讀參考下文：
相關文章地址：https://rodneybrooks.com/a-better-lesson/
https://staff.fnwi.uva.nl/m.welling/wp-content/uploads/Model-versus-Data-AI-1.pdf
我的看法呢？我們的學習算法中總是存在一些先驗假設，而我們對數(shù)據(jù)和學習特征如何轉(zhuǎn)化為泛化能力，只是略懂皮毛。
這是我對表征學習和深度學習與經(jīng)典規(guī)劃技術(shù)的交叉研究感到如此興奮的原因之一。只有通過代碼清晰表達如何編碼智能體重復使用知識的能力，AI系統(tǒng)才有希望在復雜的多序列計劃任務上獲得可信賴的泛化。我們應該期望 AI 能夠展示像人類一樣的組合泛化能力，可以實現(xiàn)無需指數(shù)級增長數(shù)據(jù)集的有效泛化。
盡管在 2019年，AI 領域取得的進展很多，但未來幾年仍將會有許多成熟領域增長。我希望看到AI 技術(shù)在更多“ 部分可觀察區(qū)域”得到應用，這要求智能體對它的環(huán)境有著深刻理解從而能夠?qū)ξ磥磉M行預測，這也是我正在積極努力研究的事情。
我還樂于看到所謂的終身 AI ，即系統(tǒng)在花更多時間與周圍環(huán)境交互時能夠持續(xù)學習并成長的 AI 能夠取得更多進展。
目前，許多與現(xiàn)實世界交互的系統(tǒng)都很難以優(yōu)雅的方式處理噪聲，并且隨著傳感器數(shù)據(jù)的增加，除了最簡單的應用之外，這些處理噪聲的方法在大多數(shù)學習模型上都會失效。
作者注：這篇文章毫無疑問只是我通過個別樣本得出的該領域進展，不可能有效全面地涵蓋所有內(nèi)容。正如 Jeff Dean 在《Deep_Learning_for_Solving_Important_Problems》一文中所指出的，每天大約有 100 篇機器學習論文發(fā)表在 Machine Learning ArXiv 上。
與此同時，這些研究從哪些方面推動了該領域的進展，我的看法也可能與大家有所不同。
文中相關參考文獻，可閱讀原文：
http://www.cachestocaches.com/2019/12/my-state-of-the-field/ 雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
