0
雷鋒網(wǎng) AI 科技評論按：去年年底的時候，大家都知道了 DeepMind 的人工智能要開始玩星際了，今天DeepMind 也正式發(fā)布了論文和相關(guān)博文介紹了自己在這方面的成果，他們與暴雪聯(lián)手發(fā)布了一系列工具，方便更多的研究者參與到（讓人工智能）玩星際2中來。雷鋒網(wǎng) AI 科技評論編譯如下。
DeepMind 一直抱有這樣的一個科學目標：構(gòu)建能學會解決復雜問題的系統(tǒng)，以此來不斷推進人工智能的發(fā)展前沿。為此，DeepMind 開發(fā)了各種各樣的智能體，然后在自己搭建的 DeepMind Lab 平臺上用各種各樣的環(huán)境測試它們。
有一類重要的測試環(huán)境是游戲。它們雖然不是專門為人工智能研究設(shè)計的，但畢竟人類可以玩得很好，它們也就是評估人工智能表現(xiàn)的一種重要方法。在圍棋和 Atari 游戲都玩得比較熟練了以后，DeepMind 這次介紹了自己在新游戲中的研究進展：星際2。
DeepMind和暴雪一起發(fā)布了SC2LE，這是一個幫助研究如何讓人工智能玩學會星際2這個RTS游戲的工具包。此次發(fā)布的 SC2LE 中包括：
一個機器學習API，由暴雪開發(fā)，它能夠幫研究者和開發(fā)者接入游戲。其中還首次包括了運行在Linux上的工具。
一個匿名的游戲replay數(shù)據(jù)集，目前只有6萬5千場，在接下來幾周內(nèi)會增加到50萬場左右。
DeepMind的工具包PySC2的開源版本，研究者可以借助它輕松讓智能體使用暴雪的特征層API。
一篇DeepMind和暴雪聯(lián)合完成的論文，它大致介紹了環(huán)境的組成、在測試小游戲中取得的初期基準成果、如何從replay監(jiān)督學習，以及與游戲內(nèi)置的 AI 進行1v1的天梯對抗。
星際和星際2算得上是所有游戲里最大、最成功的那一批，玩家們在這些游戲里廝殺也有超過20年了。不僅星際2，第一代星際也已經(jīng)被人工智能和機器學習研究者用作測試環(huán)境，每年的 AIIDE 上都會舉辦人工智能星際大賽。星際之所以如此長壽，有相當一部分原因是由于它豐富、多層面的游戲過程，這樣它也就成為了理想的人工智能研究環(huán)境。
比如，星際的最終目標是要擊敗對手，但玩家還是需要執(zhí)行一系列收集資源、造建筑這樣的分目標并在它們之間找到平衡。而且，一場游戲所花的時間短則幾分鐘，長則一小時，那么在游戲早期采取的行動就可能在很長一段時間內(nèi)都看不到對應的收獲。最后，地圖上只有一部分區(qū)域是可見的，智能體就需要綜合使用記憶和規(guī)劃能力，才能取得勝利。
除此之外，這個游戲還有一些別的方面也對研究者有吸引力，比如每天都有眾多的玩家在線上游戲中對抗。這就保證了會有海量的replay數(shù)據(jù)供智能體學習，而智能體將來也會有許許多多極具天賦的對手可以切磋。
不過，即便只是星際的操作都是一項不小的挑戰(zhàn)，每時每刻可以選擇的基礎(chǔ)操作超過300種。這就跟 Atari 游戲形成了明顯的區(qū)別，它里面可選的動作不超過10種（比如上下左右）。在此基礎(chǔ)上，星際中的操作也是有層次的、可以修改以及增強的，其中的許多操作都需要在屏幕上點擊。就算只是一個84x84那樣的小屏幕，所有可能的操作加起來也會高達上億種。
在這次的工具發(fā)布以后，研究者就可以用暴雪自己的工具解決一些上面提到的麻煩，這樣就可以更方便地構(gòu)建自己的任務和模型。
DeepMind 的 PySC2 工具可以把環(huán)境分類打包，從而為強化學習智能體提供了一個靈活易用的界面，幫助它們玩游戲。在此次發(fā)布的初始版本中，PySC2 把游戲中不同的元素劃分成了不同的“特征層”，比如不同類型的單位、生命值、地圖的可見性等等會相互分開，同時還能保持游戲核心的視覺和空間元素。
SC2LE工具包里還包含一系列的測試小游戲，它們把整個游戲分為了多個不同的可控片段，這樣就可以測試智能體在特定任務上的表現(xiàn)，比如切換視角、采礦或者選擇單位等等。研究者可以在這樣的小游戲中測試他們的技術(shù)，同時也可以幫助建立更多的測試小游戲，便于更多的研究者繼續(xù)競爭和評估。
以DeepMind目前的研究進展，他們的智能體已經(jīng)可以在這樣的特定任務小游戲中發(fā)揮不錯的表現(xiàn)，但是到了整場游戲，即便是 A3C 這樣比較強的基準 AI 也根本打不贏“簡單”的游戲內(nèi)置 AI。比如，下面動圖里左邊的就是一個訓練早期的智能體，它沒法讓礦工采礦，這件事對人類來說不費吹灰之力。經(jīng)過訓練之后，智能體表現(xiàn)出了有意義的動作，但是如果要讓它們有競爭性的話，還需要在深度強化學習和相關(guān)領(lǐng)域有更大突破。
DeepMind的研究人員發(fā)現(xiàn)了一種讓智能體學到更強策略的技巧，就是模仿學習。這樣的學習方法在暴雪的幫助下也很快就會變得容易，他們已經(jīng)答應會繼續(xù)發(fā)布幾十萬局星際2天梯上的匿名游戲replay。這不僅可以讓研究者用監(jiān)督學習的方法訓練智能體，而且也為序列預測、長期記憶等等其它的研究領(lǐng)域提供了可能。
DeepMind希望這些新發(fā)布的工具可以讓人工智能大家庭在星際游戲上已有的研究成果再前進一步，鼓勵更多的人從事深度強化學習研究，也讓研究者可以更輕松地跟上這個領(lǐng)域的前沿發(fā)展。DeepMind也期待人工智能大家庭可以有一些精彩的發(fā)現(xiàn)。
論文地址：https://deepmind.com/documents/110/sc2le.pdf
PySC2 github地址：https://github.com/deepmind/pysc2
暴雪的星際2 API地址（包含了Linux版的信息、游戲replay和其它相關(guān)內(nèi)容）：https://github.com/Blizzard/s2client-proto
via DeepMind Research Blog，雷鋒網(wǎng) AI 科技評論編譯
相關(guān)文章：
阿里推出多智能體雙向協(xié)調(diào)網(wǎng)絡(luò)BicNet，玩《星際爭霸》堪比人類
繼圍棋之后“阿爾法狗”又有新戰(zhàn)場，谷歌打算讓它去玩星際爭霸
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
