0
| 本文作者： 叢末 | 2019-01-25 10:23 |
雷鋒網(wǎng) AI 科技評(píng)論按：AI 在游戲戰(zhàn)場(chǎng)上的進(jìn)展到哪了？去年 8 月份，OpenAI 的 5v5 DOTA AI 「OpenAI Five」完勝人類讓我們驚喜連連，不過現(xiàn)在，DeepMind 也給我們交出了一份讓人熱血澎湃的答卷。日前，DeepMind 和暴雪聯(lián)合官宣，將于當(dāng)?shù)貢r(shí)間周四下午 6 點(diǎn)（北京時(shí)間周五凌晨 2 點(diǎn)）以線上直播的方式公布《星際爭(zhēng)霸 II》AI 的最新進(jìn)展！
DeepMind CEO Demis Hassabis 也發(fā) Twitter 稱：《星際爭(zhēng)霸 II》是一款復(fù)雜的實(shí)時(shí)戰(zhàn)略游戲，對(duì) AI 來說是一個(gè)長(zhǎng)期而巨大的挑戰(zhàn)——很高興我們將在周四展示我們的最新進(jìn)展，各位肯定不想錯(cuò)過直播！:-)
截圖自 Demis Hassabis Twitter主頁
DeepMind 與《星際爭(zhēng)霸 II》的這場(chǎng)「較量」，最早要追溯到 2016 年，當(dāng)時(shí)，在使用 AlphaGo 擊敗了圍棋世界冠軍李世石后，DeepMind 就開始把注意力轉(zhuǎn)向了經(jīng)典的實(shí)時(shí)戰(zhàn)略游戲《星際爭(zhēng)霸 II》，并在 11 月份一年一度的 Blizzcon 上宣布與著名游戲公司暴雪達(dá)成協(xié)議，共同合作《星際爭(zhēng)霸》系列游戲，至此算是定下了 DeepMind 與《星際爭(zhēng)霸 II》這長(zhǎng)達(dá) 2 年多的淵源。
用 AI 打游戲，從來都不是 AI 研究者的最終目的，而是他們用來「進(jìn)化」AI 能力并將其應(yīng)用到現(xiàn)實(shí)世界中的「測(cè)試場(chǎng)景」。相比于圍棋和國(guó)際象棋來說，《星際爭(zhēng)霸》這類實(shí)時(shí)戰(zhàn)略游戲要遠(yuǎn)復(fù)雜得多，自然也與「復(fù)雜的現(xiàn)實(shí)世界」更近得多，因此，這款游戲也成為了人工智能研究者們立志「攻破」的目標(biāo)。
正如當(dāng)時(shí) DeepMind 團(tuán)隊(duì)負(fù)責(zé)人 Oriol Vinyals 所提到的：「能玩《星際爭(zhēng)霸》的人工智能必須能夠有效利用記憶，能夠進(jìn)行長(zhǎng)期戰(zhàn)略規(guī)劃，同時(shí)還得根據(jù)不斷出現(xiàn)的新情況做出反應(yīng)調(diào)整。以這種標(biāo)準(zhǔn)開發(fā)的機(jī)器學(xué)習(xí)系統(tǒng)，最終完全可以應(yīng)用到現(xiàn)實(shí)世界中的任務(wù)中去」。
對(duì)于用 AI 來打《星際爭(zhēng)霸 II》的復(fù)雜性，想必大家也都能夠想象得到：
游戲?qū)崟r(shí)進(jìn)行時(shí)，玩家不僅需要掌控生產(chǎn)，探索地圖，開采水晶和氣礦，然后開拓新的礦點(diǎn)；還需要同時(shí)具有長(zhǎng)期戰(zhàn)略規(guī)劃與應(yīng)變對(duì)手的快速?zèng)Q策能力。此外，在整個(gè)對(duì)戰(zhàn)過程中，玩家不僅無法充分把握對(duì)手的信息，而且他們的規(guī)劃、決策、行動(dòng)的結(jié)果在一段時(shí)間后才會(huì)呈現(xiàn)出來。
DeepMind 也在博客上描述了這個(gè)項(xiàng)目的難度：
玩家必須派出他們的隊(duì)伍去偵察未知地圖，以獲取敵人的信息，并需要長(zhǎng)時(shí)間記住獲取到的信息。同時(shí)，周圍環(huán)境只有部分可見，這使得挑戰(zhàn)更為復(fù)雜——這也是星際爭(zhēng)霸和象棋和圍棋這類有完整信息的游戲之間一個(gè)有趣的不同之處。這是一款實(shí)時(shí)戰(zhàn)略游戲，雙方玩家都同步進(jìn)行游戲，因此必須快速高效地計(jì)算出每一個(gè)決定。一個(gè)人或者 AI 要能玩星際爭(zhēng)霸，就需要有效利用記憶力，具有進(jìn)行長(zhǎng)期規(guī)劃并根據(jù)新的信息調(diào)整游戲策略的能力。
對(duì)于研究者來說，要設(shè)計(jì)出將所有因素考慮進(jìn)去，并同時(shí)處理規(guī)劃、決策和行動(dòng)等任務(wù)的系統(tǒng)，難度可想而知。
至于 AI 何時(shí)能在《星際爭(zhēng)霸 II》中實(shí)現(xiàn)像 AlphaGo 那樣的光輝成績(jī)，Vinyals 連同《星際爭(zhēng)霸 II》的執(zhí)行制作人 Chris Sigaty 當(dāng)時(shí)都持保留態(tài)度，他表示：「從研究的角度來看，我們可能會(huì)取得很大的進(jìn)步，但我認(rèn)為我們現(xiàn)在還不知道我們能否擊敗最好的玩家。」
自 2016 年 3 月暴雪在 WCS 中國(guó)區(qū)總決賽上確認(rèn) DeepMind AI 將挑戰(zhàn)《星際爭(zhēng)霸 II》的消息，到如今即將直播《星際爭(zhēng)霸 II》AI 首秀，在這兩年多的時(shí)間里，DeepMind 的《星際爭(zhēng)霸 II》AI 項(xiàng)目是如何一步步走到今天的呢？我們不妨來簡(jiǎn)單回顧一下：
2016 年 3 月底，在 AlphaGo 五局四勝贏了李世石之后，暴雪娛樂制作總監(jiān) Tim Morten 就在 WCS 中國(guó)區(qū)總決賽上確認(rèn)DeepMind AI 將挑戰(zhàn)《星際爭(zhēng)霸 II》的消息，不過當(dāng)時(shí) Tim Morten 直言 DeepMind AI 不會(huì)在《星際爭(zhēng)霸 II》中戰(zhàn)勝人類。
2016 年 11 月 5 日的暴雪嘉年華開幕式上，暴雪宣布了有關(guān) Deepmind 人工智能與《星際爭(zhēng)霸 II》在未來領(lǐng)域關(guān)于 AI 人工智能的發(fā)展計(jì)劃，同時(shí) Oriol Vinyals 登臺(tái)簡(jiǎn)述了有關(guān)谷歌 Deepmind 人工智能與《星際爭(zhēng)霸 II》緊密合作的最新進(jìn)展及未來的計(jì)劃，他透露，谷歌正在研制新一代的人工智能，將在未來的《星際爭(zhēng)霸 II》中為玩家、甚至是全人類帶來幫助，并將與 Alpha Go 與人類對(duì)弈圍棋一樣，與人類對(duì)戰(zhàn)《星際爭(zhēng)霸 II》。
接著在 11 月 6 日的暴雪嘉年華星際 2 人工智能未來座談會(huì)上，《星際爭(zhēng)霸 II》工程師 Kevin Calderone 與谷歌 DeepMind 團(tuán)隊(duì)科研人員 Oriol Vinyals 還具體講述了這個(gè)未來「星際 II Alpha Go」的具體計(jì)劃。
2017 年 8 月 9 日，DeepMind 在官網(wǎng)上宣布正式與暴雪娛樂合作，共同開發(fā)可以在《星際爭(zhēng)霸 II》中與人類玩家對(duì)抗的 AI。同時(shí)，雙方發(fā)布了一個(gè)旨在加速實(shí)時(shí)戰(zhàn)略游戲當(dāng)中 AI 應(yīng)用的工具集——SC2LE，該工具集包括暴雪官方回收的包含 6 萬 5 千場(chǎng)匿名游戲數(shù)據(jù)、由暴雪研發(fā)的《星際爭(zhēng)霸 II》機(jī)器學(xué)習(xí)編程入口、開源版本的 DeepMind 工具箱 PySC2、一系列從《星際爭(zhēng)霸 II》里抽象出來的增強(qiáng)學(xué)習(xí)迷你游戲以及一篇專門討論《星際爭(zhēng)霸 II》機(jī)器學(xué)習(xí)環(huán)境的論文。
2018 年 1 月份的《麻省理工科技評(píng)論》新興科技峰會(huì) EmTech China 上，谷歌 DeepMind 研究科學(xué)家 Oriol Vinvals 在題為《AI 對(duì)戰(zhàn)星際爭(zhēng)霸勝算幾何？》的演講中，向大家說明了《星際爭(zhēng)霸 II》AI 的研究進(jìn)度：「我們還沒有完成過整局游戲，但是完成了操作《星際爭(zhēng)霸 II》比較重要的 7 個(gè)操作，比如選擇一個(gè)單位并讓它移動(dòng)過去。我們所使用的算法能做到這一步，而且和人類玩家操作的效果基本一樣。而另一些任務(wù)，比如建造建筑、收集資源等，仍然是比較難的。我們測(cè)試的算法，表現(xiàn)會(huì)比隨機(jī)的環(huán)境要好，但和專業(yè)玩家還是有一段距離的?！?/p>
2018 年 6 月，DeepMInd 在論文《Relational Deep Reinforcement Learning》中用關(guān)系性深度強(qiáng)化學(xué)習(xí)來玩《星際爭(zhēng)霸 II》里抽象出來的增強(qiáng)學(xué)習(xí)迷你游戲，并在 6 個(gè)小游戲中達(dá)到了當(dāng)前最優(yōu)水平，其中 4 個(gè)還實(shí)現(xiàn)了超越人類大師級(jí)玩家水平的突破性進(jìn)展。
2018 年 11 月舉行的暴雪嘉年華（Blizzcon）上，暴雪也提到了 DeepMind 的《星際爭(zhēng)霸 II》AI 進(jìn)展：「DeepMind 一直在努力訓(xùn)練人工智能模型，以更好理解《星際爭(zhēng)霸 II》規(guī)則。一旦模型掌握游戲的基本規(guī)則，它就可以開始進(jìn)行一些有趣的行為，比如帶農(nóng)民 Rush 開局。在與「瘋狂」難度標(biāo)準(zhǔn)的星際爭(zhēng)霸 2 AI 模型對(duì)陣的時(shí)候，獲勝概率可以達(dá)到 50%?！?/p>
2019 年 1 月 23 日，DeepMind 和暴雪聯(lián)合官宣，將于北京時(shí)間周五凌晨 2 點(diǎn)以線上直播的方式公布《星際爭(zhēng)霸 II》AI 的最新進(jìn)展！
作為與「復(fù)雜的現(xiàn)實(shí)世界」十分接近的一款游戲，《星際爭(zhēng)霸》自然也引起 AI 巨頭挑戰(zhàn)星際爭(zhēng)霸的角逐，其中包括 Facebook 、微軟、阿里巴巴、騰訊等巨頭企業(yè)。
其中，F(xiàn)acebook 雖然沒有直接向《星際爭(zhēng)霸 II》發(fā)起挑戰(zhàn)，但也圍繞《星際爭(zhēng)霸》做出了自己的努力。2017 年 8 月 7 日，F(xiàn)acebook 的四名科學(xué)家 Zeming Lin, Jonas Gehring, Vasil Khalidov, Gabriel Synnaeve 公布了史上最大的《星際爭(zhēng)霸:母巢之戰(zhàn)》游戲數(shù)據(jù)集：內(nèi)存 365GB，包含了 65646 條星際爭(zhēng)霸游戲記錄的數(shù)據(jù)庫(kù)，包含了 15.35 億幀和 4.96 億玩家操作。
而國(guó)內(nèi)的騰訊 AI Lab，也于 2018 年 9 月聯(lián)合羅切斯特大學(xué)和西北大學(xué)的研究人員發(fā)表了一篇預(yù)印本論文，介紹了基于扁平化動(dòng)作結(jié)構(gòu)的深度強(qiáng)化學(xué)習(xí)智能體 TStarBots1 和基于分層動(dòng)作結(jié)構(gòu)規(guī)則控制器的智能體 TStarBots2 兩個(gè) AI，它們首次在完整的蟲族 VS 蟲族比賽中擊敗了星際爭(zhēng)霸Ⅱ的內(nèi)置 AI Bot。雖然兩個(gè) AI 都不是嚴(yán)格意義上的「自學(xué)」，依舊高度依賴人為歸納的信息，但還是給《星際爭(zhēng)霸 II》AI 研究帶來了較大的突破性意義。
實(shí)際上除了企業(yè)，一些學(xué)術(shù)界研究者也對(duì)這個(gè)項(xiàng)目有較大的熱情。例如，2018 年 11 月，塔爾圖大學(xué)的 Roman Ring 對(duì)《星際爭(zhēng)霸 II》深度強(qiáng)化學(xué)習(xí)（DRL）智能體 Reaver 進(jìn)行開源。據(jù)悉，這種模塊化的框架主要用于訓(xùn)練《星際爭(zhēng)霸 II》的各種任務(wù)，提供比大多數(shù)開源解決方案更快的單機(jī)環(huán)境并行化能力。
從最初對(duì)《星際爭(zhēng)霸 II》 AI 戰(zhàn)勝人類「沒那么有信心」，到如今直接呈上 AI 打《星際爭(zhēng)霸 II》的直播，DeepMind 到底給大家準(zhǔn)備了什么樣的驚喜？DeepMind AI 在游戲中又會(huì)有怎樣的表現(xiàn)？想必各位《星際爭(zhēng)霸 II》游戲愛好者、AI 研究者，都充滿了期待~小編最后也附上直播鏈接，跟大家一起「搓著小手」等直播！
Youtube：https://www.youtube.com/c/deepmind 雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
