雷鋒網(wǎng) AI 科技評論按：想必大家都對前段時間火遍學(xué)術(shù)圈的 BiCNet 并不陌生，這個 UCL 與阿里巴巴合作的多智能雙向協(xié)作網(wǎng)絡(luò)，可在星際爭霸中研究多智能體間的協(xié)作學(xué)習(xí)。在今年由中國計(jì)算機(jī)學(xué)會（CCF）主辦，雷鋒網(wǎng)與香港中文大學(xué)（深圳）承辦的第二屆CCF-GAIR全球人工智能與機(jī)器人峰會上，我們榮幸地邀請到了倫敦大學(xué)學(xué)院（UCL）計(jì)算機(jī)系教授汪軍博士做了主題演講。

汪軍教授在題為《A Society of AI Agents》的演講中，從多智體群體的特征切入，介紹了多智體的強(qiáng)化學(xué)習(xí)特性。具體表現(xiàn)為：在同一環(huán)境下，不同的智體既可以單獨(dú)處理各自的任務(wù)，又可以聯(lián)合在一起處理優(yōu)化一個主要的目標(biāo)方程，而且會根據(jù)具體的情況會有不同的變化。此外，汪軍教授還以多個例子闡述了強(qiáng)化學(xué)習(xí)與環(huán)境的關(guān)系。

演講全文：UCL計(jì)算機(jī)系教授汪軍：如何進(jìn)行大規(guī)模多智體強(qiáng)化學(xué)習(xí)？| CCF-GAIR 2017

汪軍教授告訴雷鋒網(wǎng) AI 科技評論，實(shí)際上他此前準(zhǔn)備的是《Artificial Collective Intelligence》的演講主題，但近期因?yàn)樵诙嘀悄荏w領(lǐng)域有了一些新的研究和嘗試，因此他在 CCF-GAIR 大會的演講中所引用的兩篇論文也是第一次在公開場合露面。其實(shí)他在演講中想講的東西還有很多，因此在演講之后，雷鋒網(wǎng) AI 科技評論與汪軍進(jìn)行了一次對話，雷鋒網(wǎng)整理如下：

目前學(xué)界少有人在多智能體上進(jìn)行深度學(xué)習(xí)方法的研究，這是因?yàn)榇蠹夷壳斑€只關(guān)注單個智能體的作用，還是說這個議題本身就非常難？

其實(shí)多智能體是一個研究領(lǐng)域，也有自成一體的會議，研究的人也很多。但目前將多智能體結(jié)合強(qiáng)化學(xué)習(xí)，特別是深度強(qiáng)化學(xué)習(xí)，目前還是比較新的一個話題。

首先，研究者要解決只有一個智能體的問題，比如說象棋、圍棋，等這個問題解決之后，可能就會接著用深度學(xué)習(xí)去處理更多的智能體。你可以看到，這有一個自然的脈絡(luò)在其中。所以今年就特別明顯，有很多多智能體的問題采用了深度學(xué)習(xí)的方法去解決，包括 UC 伯克利的一個研究室，做了一個理解語言的研究。在一個給定的場景下，研究者讓多智能體們自己去通訊、去交流，但不告訴彼此交流的內(nèi)容，最終發(fā)現(xiàn)慢慢地，語言就有可能在其中產(chǎn)生。因此這個也非常有意思。

我們團(tuán)隊(duì)可能是從另一個角度出發(fā)，想象這些場景在生物學(xué)上有沒有什么規(guī)律，比如有可能會出現(xiàn) Leader，那么我們可以在這個過程中理解領(lǐng)袖是如何產(chǎn)生的，是不是有些智能體自己就會成為領(lǐng)袖。我們現(xiàn)在所理解的內(nèi)容就是所謂的「grouping」，也就是在給定一些特定條件下，可能就會認(rèn)為這些多智能體可以成為一個團(tuán)隊(duì)，這與人類最早最原始的狀態(tài)其實(shí)是一樣的。最早的時候人需要捕獵，出于安全的考慮可能會組成一個團(tuán)隊(duì)。所以我們通過深度學(xué)習(xí)的方式，可以學(xué)習(xí)到以前完全學(xué)習(xí)不到的東西，甚至對人類學(xué)可以了解。

更進(jìn)一步地，我們是不是可以學(xué)習(xí)宗教是如何產(chǎn)生的？宗教到底是什么，因?yàn)槊總€人都可能是自私的，或者每個人都有自己的利益，如果有一個宗教把這些人約束起來，可能這個集團(tuán)的利益可能會最大化。當(dāng)然，我現(xiàn)在所說的只是一個假設(shè)，現(xiàn)在還沒有人去研究這個，我們所做的研究也只是第一步。

您在演講中也提到，目前很少有人研究超過 20 個智能體的協(xié)作，但您也提到了比如說像滴滴的調(diào)度問題，還有共享單車的問題。實(shí)際上 MSRA 的城市計(jì)算，或是滴滴研究院的調(diào)度系統(tǒng)都有類似的交通系統(tǒng)研究，但它是屬于一個系統(tǒng)調(diào)動所有的個體，那么將行為個體作為智能體的意義在什么地方？

在多智能體的情況下，你有兩種設(shè)置情況，一種情況是讓每個人之間只優(yōu)化自己的利益，利益之間雖然可能會有些聯(lián)系，但是每次做決定的時候，雙方不需要知道對方所做的決定。

還有一種是協(xié)作關(guān)系，在做決定之前需要相互獲取一些信息，最后聯(lián)合起來做一個決定。這兩個情況是不一樣的，如果你把它放到一個最特殊的情況，就像你剛才講的，我有一個大系統(tǒng)，我把所有的多智能體全部一起優(yōu)化，這時候呢這個多智能體其實(shí)就轉(zhuǎn)化成了單智能體，你可以把它當(dāng)作一個智能體，只不過它的這個輸出太多了，每個都要輸出一個結(jié)果。但這個計(jì)算量太大，可能有一百萬個，如果每個都要去權(quán)衡決策的話，這是不現(xiàn)實(shí)的。所以一般來說會選擇一種完全獨(dú)立的，或者中間有雙向通訊的方式。

那這樣是不是也涉及到一個博弈問題？

對，博弈有兩種，一個是啊就是我們所謂的零和博弈，就像下棋一樣，你贏了我就輸了，它是一個互相博弈的情況。那么還有一些協(xié)作的關(guān)系，比如我們倆的目標(biāo)是一樣的，那么會涉及到雙方的貢獻(xiàn)程度。

那么您在演講中所說的生態(tài)系統(tǒng)的例子，其實(shí)是希望找到背后的一些生態(tài)學(xué)規(guī)律？這些理論性的內(nèi)容能夠如何被應(yīng)用呢？

其實(shí)有兩個層面。第一個是，我們想從科學(xué)上面理解它背后的規(guī)律，要滿足我們的好奇心。比如說人工智能體在做出一個群體以后，是不是跟大自然的表現(xiàn)情況是一樣的，如果不一樣，有什么差別？如果一樣，為什么？我們完全不會考慮它可能會有什么（應(yīng)）用，主要還是滿足我們的好奇心。

我們當(dāng)時做環(huán)境動態(tài)變化研究的出發(fā)點(diǎn)在于，在玩游戲的時候，比如說玩王者榮耀，如果你玩游戲的水平比較弱，如果對手設(shè)計(jì)得太強(qiáng)了，你玩一下就覺得沒意思了；如果你的水平很強(qiáng)，但這個游戲?qū)κ值碾y度又很弱，你玩著也沒有意思。因此游戲難度的設(shè)計(jì)，本身也就是優(yōu)化這個游戲本身的一個過程。

但游戲還是在一個虛擬環(huán)境下設(shè)計(jì)的，那么在實(shí)際情況和實(shí)際應(yīng)用里，如何進(jìn)行各種指標(biāo)的量化？

主要有兩點(diǎn)，一個是在有些情況下你可以自己設(shè)定，那么進(jìn)行試錯就可以了。如果是理論性更加的話，還有一種叫「Inverse Reinforce Learning」的方法，就是說反過來玩，我們有一些最優(yōu)化的策略作為訓(xùn)練集，然后把它放回強(qiáng)化學(xué)習(xí)系統(tǒng)里去學(xué)習(xí) reward ，然后用獲得的 reward 再去解決新問題。

其實(shí)我看您的近期研究內(nèi)容與 GAN 的聯(lián)系非常緊密，包括 SeqGAN、IRGAN 等。你覺得目前 GAN 是一個比較有效的方法嗎？還是說，與 GAN 的結(jié)合會是未來的一個趨勢？

我們的 SeqGAN 出來之后，現(xiàn)在是目前唯一一個可以用在離散數(shù)據(jù)上的有效方法，所以今年你會看到有很多論文用 SeqGAN 去解決文本問題，所以我們那個文章的引用就變得非常高。

有研究者采用的是另外一個方法，那個方法理論很好，但是實(shí)際數(shù)據(jù)的表現(xiàn)還不是太好。所以我們現(xiàn)在也在嘗試，是不是要在一些標(biāo)準(zhǔn)的數(shù)據(jù)集上再好好地把效果提上去。

那如果引申到您非常擅長的推薦系統(tǒng)與計(jì)算化廣告領(lǐng)域，您覺得應(yīng)該如何用深度學(xué)習(xí)結(jié)合起來？

比如像 GAN 的話，我覺得現(xiàn)在就火得有點(diǎn)過了，它在解決某些問題可能還是夠嗆。（比如說呢？）比如說像離散數(shù)據(jù)就比較難解決，我們也只是提出了一個方法，具體效果好壞大家也都還在嘗試。此外，在優(yōu)化的時候不一定效果很好，可能要試很多次，不像現(xiàn)在的 Deep Learning。

以 IRGAN 為例，這是您與學(xué)術(shù)界進(jìn)行合作的一個成果；而像 BiCNet 這樣的多智能體協(xié)作系統(tǒng)則是與工業(yè)界合作聯(lián)系的，那么在這兩個研究中，您感受到最大的不同之處在哪里？

公司具有很強(qiáng)的工程性，而且有數(shù)據(jù)，比如說有些論文如果是與工業(yè)界合作，你可以進(jìn)行在線測試，包括系統(tǒng)上的 A/B Testing，但在學(xué)校不可能讓幾個博士生去做這個事情。博士生必須在這幾年內(nèi)找到一個題目，直接去做科學(xué)的研究。

除了與雙界合作外，我了解到您也在北京創(chuàng)辦了一個公司，做個性化推薦的業(yè)務(wù)，那么為何不選擇直接創(chuàng)業(yè)，學(xué)術(shù)界對您的吸引力可能在什么地方？

不論是在學(xué)校還是在產(chǎn)業(yè)界，大家的出發(fā)點(diǎn)都是想解決一些技術(shù)問題。我的興趣還是一直在學(xué)校，創(chuàng)立公司的目的也是希望通過這樣的方式實(shí)現(xiàn)技術(shù)轉(zhuǎn)化。像計(jì)算化廣告或是推薦系統(tǒng)，如果沒有一個公司作為載體，可能我就不能拿到用戶的數(shù)據(jù)，也不能做在線測試。

我覺得高校對我的吸引力在于解決一些最基礎(chǔ)的問題，在企業(yè)界可能不太容易能實(shí)現(xiàn)這個狀態(tài)，公司也有產(chǎn)品化的需求。

那么像阿里與高校合作研究星際爭霸，實(shí)際上是一個比較特殊的情況？因?yàn)樗⒉皇侵苯右援a(chǎn)品化為導(dǎo)向的？

是的，阿里做這個事情的確是一個比較特例的情況，而像 DeepMind 這樣的情況就更少了。DeepMind 給自己的定位是純研究機(jī)構(gòu)，但實(shí)現(xiàn)的卻是商業(yè)化的運(yùn)作。實(shí)際上我認(rèn)為，母公司提供資金，讓基礎(chǔ)研究機(jī)構(gòu)以商業(yè)化模式去管理，做一些比較前沿的研究，它的回報(bào)率會更高。我一直想強(qiáng)調(diào)的一點(diǎn)是，為什么中國不能出現(xiàn)像 DeepMind、Magic Pony 這樣的公司？

如果是 VC 比較急功近利，那可能就做不了，第一年投錢，第二年就想把產(chǎn)品做出來，這對基礎(chǔ)研究來說是不現(xiàn)實(shí)的。但如果把研究放回高校，高校的機(jī)制又存在著不足，也就是「一個蘿卜一個坑」。什么意思呢？一個博士生，他要在四年里獨(dú)立地完成一個項(xiàng)目。當(dāng)然我們有些機(jī)制可以讓學(xué)生們一起合作，但還是非常零散的狀態(tài)。不可能在高校里找 10 個最牛的學(xué)生去把星際這個問題徹底搞定，只有在工業(yè)界中雇 10 個最牛的人去做這個事情，這其中有工程師、有程序員、有系統(tǒng)維護(hù)，這樣才能產(chǎn)生一個 AlphaGo。

現(xiàn)在國內(nèi)很多企業(yè)也在建研究院，是不是也在想向這種方向靠攏？

對，但他們的研究院都是非常功利性的，都是研究院，但是都不研究。我覺得要解決這個問題可能有兩種渠道，一個是大公司突然就覺悟了，要做一個全新的商業(yè)化運(yùn)作的純研究機(jī)構(gòu)；另一個是創(chuàng)業(yè)公司自己帶頭做基礎(chǔ)研究，如果把 AlphaGo 這樣的研究做成了，我相信對 VC 的價值也很高。比如星際爭霸這個事情，或者說王者榮耀，如果能做到能與一般水平或者水平稍微好點(diǎn)的玩家對抗，那它的價值就非常大了。

后記：汪軍教授的微信簽名是「with a curious mind」，問他這是不是一個對自己的評價，他說，做學(xué)術(shù)就是這么回事，需要永遠(yuǎn)保持一顆好奇心。此外，這句簽名更多地也表達(dá)了他對生活的一種態(tài)度。汪軍教授表示，在回學(xué)校后打算繼續(xù)安安靜靜踏踏實(shí)實(shí)再做幾篇文章?！窤I 可能今年火，那明年可能就不火了，那么你是要改行干別的嗎？肯定不是，你還得繼續(xù)往下走?！?/p>

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。