雷鋒網(wǎng) AI 科技評論按：Jeff Dean是谷歌首席架構(gòu)師、谷歌研究院的高級研究員，也是谷歌的人工智能團隊谷歌大腦（Google Brain）的負責人。身披華盛頓大學博士、美國工程院院士、ACM（計算機協(xié)會） fellow、AAAS（美國科學促進會）fellow名譽的Jeff Dean在谷歌負責過許多大型項目，支持谷歌運行的超大規(guī)模計算框架MapReduce和機器學習的標志性軟件TensorFlow就是在他的領(lǐng)導下開發(fā)的。近兩年Jeff Dean還推動了一個谷歌大腦培訓生計劃（Google Brain Residency Program），給對人工智能感興趣的各界人士提供一個來到谷歌大腦進行一年進修的機會。

近日，Jeff Dean在科技自媒體Talking Machines接受采訪，談到了他的早年經(jīng)歷、在谷歌大腦領(lǐng)導的幾個研究項目以及谷歌大腦培訓生計劃。雷鋒網(wǎng) AI 科技評論聽譯。

您是如何做到現(xiàn)在的職位的？

Jeff Dean：我成為一個谷歌人已經(jīng)差不多17年了吧。我小時候的旅行特別多，在許多地方生活過，11年制和12年制的學校都上過。從夏威夷到波士頓、烏干達、再到波士頓、阿肯撒州、夏威夷、明尼蘇達、索馬里、明尼蘇達、亞特蘭大、日內(nèi)瓦、西雅圖，最后到了這兒（加利福尼亞州Palo Alto），大概20多年沒挪窩，終于定居了。挺好的，我小孩的童年終于不用像我自己那樣一直跑來跑去的了（笑）。

我長大之前就對電腦很感興趣，因為我父親是一位醫(yī)生，他很感興趣電腦能不能用來幫忙解決健康問題。所以當他在雜志封底看到當時第一臺組裝電腦Altair 8800的廣告之后立刻就買了，那時候我才9歲，然后我就看著他折騰、幫他折騰，后來我就能自己編程了，多數(shù)是游戲，我買了一本游戲源代碼的書，照著書上的往電腦里輸，然后自己也開始修改；這時候我也就是十二三歲吧。

這之后我開始感興趣電腦能不能用來解決實際問題，因為我很喜歡在電腦上可以描述解決方案、可以快速嘗試得到結(jié)果知道怎么樣可行怎么樣不可行、可以拓展或者修改軟件的這些特點，很吸引人。然后我就在明尼蘇達大學讀了計算機和經(jīng)濟學本科，當時為了獲得畢業(yè)榮譽我需要寫一篇高級論文，我的論文內(nèi)容就是研究如何并行訓練神經(jīng)網(wǎng)絡(luò)（記者：哇?。。?，這是人工智能第一次熱潮中的熱門話題。其實現(xiàn)在的計算機的計算能力都不完全夠，那時候就更不用說了，所以用并行訓練的方法就可以調(diào)用更多計算力來解決問題。那時候我想了一些好玩的算法，在64臺電腦連成的集群上做流動梯度。那時候的神經(jīng)網(wǎng)絡(luò)可以用有趣的方法完成一些小任務(wù)，但是沒辦法用來解決真正的問題；實際上缺的就是計算能力。

然后我就先把這事兒放在腦后了，在世界衛(wèi)生組織工作了一年，這算是在學校時候的暑期工作，給HIV疫情做一些軟件建模預測。這算是讀研讀博前的一個間隔年（記者：抽時間幫聯(lián)合國做事情，輕松加愉快），對，然后在華盛頓大學讀計算機科學的研究生。這之后本來想根據(jù)前幾年研究神經(jīng)網(wǎng)絡(luò)的經(jīng)驗，繼續(xù)學習并行計算的，結(jié)果被別人帶跑到研究詞匯語言的編譯器優(yōu)化去了，不過也挺好玩的。

然后我就來到了Palo Alto，在數(shù)字設(shè)備公司的西部研究實驗室工作了大概3年，做了很多不同的事情，這也就是我喜歡這個實驗室的一點，很多不同的人在做很多不同的事情。我做過操作系統(tǒng)級別的解析、研究過計算機架構(gòu)、做過信息提取，然后就沿著信息提取這條路逐漸來到了谷歌。

您現(xiàn)在在谷歌大腦這里做著各種各樣新奇的事情，那您手頭的事情里最吸引您的是哪件？

Jeff Dean：你知道，整個機器學習界都非常吸引人，有很多有趣的前沿研究，電腦能學會、有能力做的事情越來越多，有很多研究已經(jīng)投入實用了，我們想辦法把證明有效的技巧應(yīng)用在更多的領(lǐng)域里。然后對于計算機系統(tǒng)，我們要能夠擴大它們的規(guī)模、提高計算能力，來滿足前面這些方法的計算力需求。我們還要構(gòu)建合理的底層硬件平臺才能達到我們現(xiàn)在能在神經(jīng)網(wǎng)絡(luò)、機器學習項目看到的這種結(jié)果，就是，數(shù)據(jù)越多，計算能力越強，結(jié)果就越好。那么，如何建立更強的計算能力來達到這個目標，就是最吸引我的事情，實際做的時候也會有很多驚人的成果。

棒極了。我近期看到您說您對醫(yī)療和機器人方面的應(yīng)用也很感興趣。給我們介紹一下這些方面的研究吧。

Jeff Dean：好。在醫(yī)療方面，人工智能可以實現(xiàn)很多現(xiàn)在需要由專業(yè)醫(yī)生才能做到的事情。我們其實在醫(yī)學圖像方面早已有所投入，我們過去5年的研究就足以證明計算機視覺可以很好地解決這些問題，只要能搜集到大規(guī)模的帶標簽圖像，然后用大規(guī)模深度卷積神經(jīng)網(wǎng)絡(luò)去學習這些圖像。醫(yī)學圖像處理問題和其它的計算機視覺問題其實沒有多少區(qū)別，我們覺得有很大機會可以做出能夠幫助醫(yī)生做多種醫(yī)療圖像診斷的系統(tǒng)。

厲害！您覺得這樣的實際應(yīng)用什么時候會出現(xiàn)呢？近幾年還是近幾十年？

Jeff Dean：肯定不需要幾十年那么久?，F(xiàn)在的問題主要在監(jiān)管、隱私、敏感信息方面，而不是技術(shù)方面。如果你有大量的帶標簽圖像， 比如研究了很久的根據(jù)視網(wǎng)膜照片做糖尿病診斷，我們已經(jīng)有了一些早期的結(jié)果，效果很好，很有希望，我們CEO Sundar Pichai在今年谷歌I/O大會上也簡單提到過。我們覺得其它醫(yī)療圖像問題的結(jié)構(gòu)、復雜度都是類似的，在機器學習面前都不是難題。

棒極了！ 我聽說您最近啟動了一項谷歌大腦培訓生計劃，培訓谷歌內(nèi)部的或者其它背景的人。能不能跟我們講講這個計劃進度如何了？有沒有引起各種經(jīng)歷的人都對機器學習產(chǎn)生興趣？

Jeff Dean：我們啟動這個計劃的初衷就是訓練更多的人，讓他們學會如何做機器學習研究?，F(xiàn)在這個領(lǐng)域的狀況是，有很多人加入進來，都對做這件事很感興趣，不過全世界沒有那么多學術(shù)機構(gòu)可以讓很多人學習神經(jīng)網(wǎng)絡(luò)。我們以前招過一些短期的實習生，而這個進修計劃則是一年期的，面向更多的、我們也不確定有怎樣的教育或者工作經(jīng)歷的人，不過很多人申請，大概有2400個人，然后我們第一期的進修計劃班選了27個人。

我很喜歡的一點是，我們選的這些人以前的經(jīng)歷多種多樣，40%本科學歷、35%左右碩士學歷，其余的是博士或者某些領(lǐng)域的博士后；有一半的人在業(yè)界工作過，一半的是直接從大學過來的。他們之前的領(lǐng)域也有好幾種，三分之一是計算機科學的，三分之一是數(shù)學或者統(tǒng)計學，其它的人就是來自各種科學專業(yè)，比如物理學家、生物學家，還有來自醫(yī)藥學的，計算機金融的。所以有這么多種不同的人挺好的，以前我參與的讓不同經(jīng)歷、不同特長的人聚在一起的項目就經(jīng)常能夠比只有一兩類人參與的做得更多更好，因為一群人聚在一起以后就能解決很多沒辦法單獨一個人解決的問題。

所以這個進修計劃就跟目前機器學習的熱潮很相符，您在做的這種來自業(yè)界的內(nèi)部培訓，所能提供的基礎(chǔ)研究的環(huán)境和大學實驗室是同等的。您覺得隨著機器學習方面吸引人的事情越來越多，這樣的做法會如何改變工業(yè)界和學術(shù)界呢？

Jeff Dean：對，我覺得這事兒挺有意思的。當你把機器學習社區(qū)看作一個整體的時候，你就能感覺到它發(fā)展得非常塊。我開始是做計算機的，最近四五年開始做機器學習，然后我的感覺就是，大家一旦寫好了論文就會馬上把它傳到arXiv上去，以免被別人搶先了（笑）；全世界每個實驗室都會搜集一下本周新出的上百篇論文是哪些，快速瀏覽下其中有意思的，然后對它們做一些修改和完善、加一點自己的想法， 就很快又發(fā)表到arXiv上去了。那么現(xiàn)在大家的思考時間就是一兩周，而不是以往子領(lǐng)域里慢得多的傳統(tǒng)方式，你要把論文投遞到會議，9個月以后論文被接收了以后你才會考慮在會議正式開始之前把論文放到網(wǎng)上。那時候的思考時間大概是9個月或者1年，現(xiàn)在就只有一兩周，很震撼。

而且我發(fā)現(xiàn)機器學習可以影響很多很多的領(lǐng)域，除了計算機科學，還有很多理論研究、醫(yī)療保健、機器人等等，整體看來機器學習領(lǐng)域里面還有很多的東西可以挖，對人工智能基礎(chǔ)研究和實際應(yīng)用都有很大的影響。確實很厲害，可以把這么多不同背景的人聚集到一起，這也就是我們發(fā)起這個計劃的初衷。明年我們還會做一期，所以現(xiàn)在就可以開始申請了，實際開課的時間大概是在1月份。我們希望這會是另一批很棒的參加者，心里裝著有趣的點子的各種各樣不同的人。

真不錯。您在谷歌大腦的團隊非常棒，有很多厲害的人，那有沒有什么您自己特別感興趣的課題呢？

Jeff Dean：我對機器人很感興趣，我們在這方面的研究也非常積極。利用機器學習可以對機器人的端對端控制帶來不小提升。我們先建立一個神經(jīng)網(wǎng)絡(luò)，然后有個攝像頭提供輸入，就可以用輸出直接對機器手臂做電機的扭矩控制，不用單獨的機械手控制算法什么的，直接就可以搞定手眼協(xié)調(diào)、用手臂做事情之類的任務(wù)。我們還從壁櫥里找到了二十個沒人用的機械臂做了一個機械臂社團，都是一個谷歌收購的公司里本來要作為產(chǎn)品賣的，但是后來改了路線圖；我們研究員發(fā)現(xiàn)它們的時候特別驚喜。這樣我們就有了一個“農(nóng)場”，其實我更喜歡的名字是“垃圾堆”，不過最后還是決定叫它“機械臂農(nóng)場”了。在這個實驗室里我們就可以研究許多機器人之間的并行數(shù)據(jù)，你知道，大部分數(shù)據(jù)都會是相同的，但是有些地方會有微秒的區(qū)別，比如攝像頭不一樣、攝像頭的位置不一樣，有的攝像頭沒有精確校準到肩膀以上一定的位置 - 我不知道還能不能把那里叫肩膀。 （記者：那就叫“關(guān)節(jié)”吧）這樣能用真實的機器人做實驗就很好；同時我們也在積極研究機器人模擬器，就是即便你有20個機器人，能做的實驗也還是比較有限的。這事兒就挺讓人激動的。

我們還有很多別的讓人激動的事情，語言理解、計算機視覺，我們在改進機器翻譯方面也下了很多功夫，（記者：谷歌神經(jīng)機器翻譯系統(tǒng)，Google Neural Machine Translation）對，很棒的，我們剛剛發(fā)了一篇很好理解的論文到arXiv上，而且還有第一個正式的語言對：中文到英文和英文到中文現(xiàn)在都上線了，未來幾周到幾個月的時間里我們還會上線更多的語言對。相比以前基于詞匯對的概率翻譯模型，翻譯質(zhì)量得到了巨大提升；現(xiàn)在的系統(tǒng)用的是神經(jīng)網(wǎng)絡(luò)，端到端訓練的，語言之間轉(zhuǎn)換又輕松又好看。

那么下一步是把人類所用的所有語言都添加到里面，還是繼續(xù)提升翻譯質(zhì)量？

Jeff Dean：我們關(guān)注的事情有好幾件，谷歌翻譯這個產(chǎn)品支持的語言翻譯已經(jīng)有上萬種 - 上百種語言中的一種到上百種語言中的另一種，所以讓翻譯系統(tǒng)支持所有的語言是最終的目標之一；不過我們同樣關(guān)心如何提升翻譯質(zhì)量，我們有很多的好想法，有可能在目前的提升的基礎(chǔ)上再跨越一大步，我們自己也很期待。 我們小組的研究員和翻譯產(chǎn)品團隊之間的合作也非常愉快。

您的小組最近有一篇論文我很感興趣，主題應(yīng)該是“監(jiān)督學習中的公平機會”，我理解它好像是關(guān)于繼承性歧視的。能詳細講一下嗎？

Jeff Dean：當你給機器學習模型輸入很多數(shù)據(jù)的時候，它能夠識別其中的模式，有一些結(jié)果是我們想要的、有用的，但是有一些結(jié)果只是真實情況的客觀反應(yīng)，而不是我們想看到的樣子。那么這項研究的核心點是，一個經(jīng)過訓練后的機器學習系統(tǒng)會有不同的行為，有沒有可能根據(jù)它的行為來矯正模型，這樣不管這個系統(tǒng)是如何訓練出來的，都能讓它保持公正，比如不管什么膚色都有一樣的機會獲得貸款，即便機器學習系統(tǒng)可能會把其它的屬性和膚色聯(lián)系到一起從而導致膚色影響獲得貸款的可能性。我覺得這個問題挺重要的，如何讓機器學習系統(tǒng)具有我們想讓它們擁有的特質(zhì)，比如公平、無偏見。論文里采用的方法我很喜歡，任意一個機器學習系統(tǒng)都可以在最后額外增加這個保證公平的算法，而不是只能跟某一兩種機器學習系統(tǒng)緊密聯(lián)系起來。

學術(shù)界和工業(yè)界對其它一些道德問題有沒有想到什么能夠做成系統(tǒng)一部分的方法呢？

Jeff Dean：我們幾個月前也發(fā)表過另外一個方面的成果，跟UC伯克利、斯坦福和一些OpenAI的人一起做的，是關(guān)于人工智能安全中的實際問題的。不過這個就是安全問題而不是道德問題了。我覺得人們經(jīng)常談起對計算機取代人類的恐懼，一開始我覺得大家擔心這種事情擔心得太早了、太偏了，沒什么道理；不過我現(xiàn)在覺得近期確實會有一些具體問題是需要我們研究和改善的，要改進或者想辦法對機器學習系統(tǒng)的行為加以限制。即便它們是用數(shù)據(jù)訓練出來的，但是當它們遇到來自分布與訓練集不同的數(shù)據(jù)的時候，我們也要保證它們的行動也都安全、合理。這篇論文提出了五六個這種問題，這個問題就是其中一個。在我們看來這些就是具體的研究方向，它們遲早會變成真正的問題，我們要抓緊行動起來。對于真實世界中的機器人、接觸人類的機器人，這些問題就會得到體現(xiàn)，我們希望它們能安全行動，不要傷害別人，不要因為是用成人的數(shù)據(jù)訓練的就會把小孩踩在腳下，所以我們就要提前考慮、想到穩(wěn)妥的辦法預防這些問題的出現(xiàn)。機器學習社區(qū)應(yīng)該多考慮、多研究這些問題。

您曾經(jīng)提到過一個機器學習社區(qū)內(nèi)部的問題，就是對于這些學習計算機的、做研究的人來說，性別比例和少數(shù)族裔比例并不理想。您覺得有什么好辦法讓更多的人學計算機、讓更多不同的人參與思考和研究呢？

Jeff Dean：這件事也是我非常關(guān)心的一件事。從我個人在許多不同地方長大、能看到許多不同來歷的人的經(jīng)歷來說，我希望學習計算機科學的人的比例能反映出全世界的人群多樣性，而不僅僅是其中少數(shù)擁有這些機會的人的狀況。我覺得很重要的是要代表全世界范圍內(nèi)研究這個領(lǐng)域的人的多樣性，我們鼓勵女青年學習計算機科學，而不是在高中時候就被同班的男同學說“你不應(yīng)該學數(shù)學”。我們要想一些更廣闊的方法，把它看作涵蓋了整個教育過程、需要我們以很多不同的方法參與解決的問題；種族問題和社會地位承認的問題也一樣。有的人家里沒有機會買電腦，中學也沒有，沒有機會玩或者研究，那么他們即便想學習計算機科學也會處于劣勢；他們甚至可能意識不到自己需要學習計算機。我覺得想辦法讓這些人能夠接觸到計算機就是一件重要的事。

您在TensorFlow當中參與很多，它差不多改變了一切。那么您對TensorFlow的未來有什么打算？

Jeff Dean：TensorFlow一開始是為了我們的內(nèi)部研究和機器學習生產(chǎn)需求開發(fā)的開源系統(tǒng)。從一開始我們就決定要把它開源，所以花了9個月才做出我們自己覺得滿意的初始版本；到現(xiàn)在已經(jīng)開源了差不多一年了。我們都在準備蛋糕和蠟燭要開party慶祝開源一周年了（笑）。

我們一開始決定開源有這么幾個原因，其中一個原因是，如果我們能夠拿出與論文中所做的事情相符的算法實現(xiàn)，那么就可以復現(xiàn)我們的結(jié)果。因為你知道寫技術(shù)論文的時候會省略掉很多細節(jié)，比如我們?nèi)绻谡撐睦飳憽拔覀冞x用了較低的學習速率”，那讀者就會問“較低的學習速率具體是多少？”那么我們就覺得通過做出一個可重復的產(chǎn)品，可以加速科學到知識的轉(zhuǎn)化，而不僅僅是往arXiv上傳論文。第二個原因是，我們自己內(nèi)部覺得這可以讓整個社區(qū)獲益，這樣的系統(tǒng)可以讓算法的研究和生產(chǎn)實現(xiàn)用同一個系統(tǒng)完成，不用由于負載提升了就重寫整個系統(tǒng)，這件事會變得簡單得多。而且我們還希望它有一定的便攜性，可以在數(shù)據(jù)中心或者臺式機的GPU上訓練算法，然后在手機的應(yīng)用程序里運行同一個算法，這樣手機也就可以從深度學習受益了。

我們現(xiàn)在就基本達到了這些目標，而且我們在初始版本發(fā)布后的幾個月里還發(fā)布了一個分布式版本的TensorFlow。我們下面會開源一個連接到系統(tǒng)的編譯器，這樣就可以對TensorFlow圖中的一部分節(jié)點做計算、生成優(yōu)化代碼，而不需要做整體的矩陣乘法或者比例操作，類似這種，我們覺得這對性能有很大的改進；還有很多別的好處。我們現(xiàn)在還在考慮具體的細節(jié)，等到我們把這部分代碼開源出來的時候肯定很讓人激動。社區(qū)成員們一直在想辦法拿出越來越有用的模型，它們可以有效地解決各種各樣的問題，我們也會好好寫好文檔，TensorFlow一開始受到歡迎，就跟我們的入門教程有關(guān)系，我們不僅展示和描述了機器學習的思路，而且也解釋清楚了如何在TensorFlow中實現(xiàn)這些方法。這樣用的人一看就知道要怎么建立自己的模型了。

所以結(jié)果的可重復性也是機器學習方面的一個重要問題，尤其是有越來越多的人對機器學習感興趣，arXiv也一直推進這方面發(fā)展得非常塊。學術(shù)界和工業(yè)界還需要做什么提高可重復性、可持續(xù)性的事情，來讓大家能夠跟上發(fā)展的腳步嗎？

Jeff Dean：我覺得有一件事是，希望大家有更多的標準數(shù)據(jù)集可以選擇用來做自己的研究。還有就是，當我們看到別人發(fā)表的具有可重復性的算法實現(xiàn)的時候，理想狀況下，按下開始按鈕，幾小時或者幾天以后就會得到一個和論文里的某個表格里一樣的結(jié)果，感覺起來很順暢，不過我們還要更努力才能達到這個目標，這樣也對整個社區(qū)更好。

（完）

via The Talking Machines，雷鋒網(wǎng) AI 科技評論聽譯

相關(guān)文章：

谷歌大腦的2016實現(xiàn)了哪八個小目標？Jeff Dean親自撰文回顧

Jeff Dean解析谷歌大腦中的深度學習工作以及TensorFlow的前世今生 | AI Frontiers

Jeff Dean親自站臺背書，揭秘谷歌大腦培訓生養(yǎng)成計劃

專訪 Jeff Dean丨谷歌戰(zhàn)神談增強學習和無監(jiān)督學習

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。