雷鋒網(wǎng) AI 科技評論按， 本文轉(zhuǎn)載自公眾號“Robin.ly”，這是Robin.ly創(chuàng)始人Alex Ren和賈揚(yáng)清的對話以及觀眾提問訪談實(shí)錄，閱讀原文可以點(diǎn)擊這里。

本期Robin.ly硅谷交流活動邀請到Caffe作者賈揚(yáng)清博士與大家分享從Caffe到PyTorch的AI基礎(chǔ)架構(gòu)演進(jìn)以及AI時代軟件開發(fā)的趨勢和挑戰(zhàn)。他在現(xiàn)場與Robin.ly創(chuàng)始人Alex Ren對于Caffe和PyTorch的開發(fā)及軟硬件協(xié)同設(shè)計(jì)進(jìn)行了精彩的訪談對話，并回答了現(xiàn)場觀眾的問題。

以下為采訪實(shí)錄和問題摘要，：

「 從Caffe 到 PyTorch 」

Alex: 最早的時候聽說Caffe是你的一個side project，不是你論文的主要內(nèi)容。當(dāng)時開發(fā)Caffe的初衷是什么？中間經(jīng)歷過什么過程，可以給大家講一下嗎？

Yangqing: 主要的原因也是因?yàn)锳I research，以前researcher寫code，像Matlab之類的，很難reproduce。在2011年，2012年的時候大家還沒有太強(qiáng)的reproduceable research的這樣的想法，所以在AlexNet的paper出來之后呢，大家都沒辦法有一個比較reliable的平臺，來實(shí)現(xiàn)它的結(jié)果。當(dāng)時我們在Berkeley希望用Caffe來推動獨(dú)立研究，所以當(dāng)時內(nèi)部開始試圖來呈現(xiàn)它的結(jié)果，相當(dāng)是一個于side results。整個過程大概做了兩個月。

Alex: 后來到了Facebook之后繼續(xù)做Caffe你有遇到什么新的問題嗎？

Yangqing: Caffe因?yàn)橐呀?jīng)六年多了，所以當(dāng)時有很多歷史遺留問題。最開始做Caffe的時候大家都是照著computer vision的模式來做的，所以很多design都是在CV方面比較make sense，在NLP等其他地方都相對比較難一些。當(dāng)時整個modular design還沒有太清楚。Facebook在15年的時候其實(shí)很多產(chǎn)品里都還在用Caffe的runtime來部署，但是后來整個flexibility都會有些問題，所以這也是我們后來寫Caffe2跟PyTorch的原因。

Alex: 前段時間你們宣布了PyTorch1.0的發(fā)布，我記得Caffe主要是做production的，而PyTorch主要是research這個階段，當(dāng)你把它們合并在一起的時候，是希望解決什么問題呢？

Yangqing: 這個我們目前也是一個比較explorative的方向，我覺得整個行業(yè)大家都在往這個方向走。比如TensorFlow在TF2.0的announcement里面提到了eager mode，或者說是imperative mode。最大的一個挑戰(zhàn)基本上是research和production，這兩個 fundamentally是兩個不太一樣的priority。Research需要flexibility，一切都應(yīng)該可以調(diào)；而Production是要performance的時候，最后總是會需要有一些相對比較flexible的地方。所以很多時候都是看具體的實(shí)際應(yīng)用然后來consciously make some compromises。就比如說像計(jì)算機(jī)視覺，包括像推薦系統(tǒng)這種實(shí)在是太大規(guī)模，even 1% or 2% accuracy matters，在這種情況下我們會需要犧牲一些flexibility，來更加注重在performance上邊。像一些新的應(yīng)用比如說像自然語言處理，機(jī)器翻譯等，可能對于resource的要求沒有那么高。我們可以sacrifice比如說10%的performance，對于model iteration的要求比較高，所以這個就更加偏向于research這邊。

「 軟硬件協(xié)同設(shè)計(jì) 」

Alex: 上次我跟你聊，你說到你比較關(guān)注硬件方面的發(fā)展。我想知道你的角度是什么，是software hardware co-design嗎？

Yangqing: 更加偏向于software hardware co-design吧。CPU和GPU它的好處不光是在硬件上，而且是在軟件上。最可怕的事情是什么呢？就是我們知道它很好，但是最后大家發(fā)現(xiàn)沒人能在上邊寫程序，‘cause it’s too opaque。NVIDIA非常成功的原因是因?yàn)?，我可以隨便找一個人，花半天的時間，他就可以開始寫CUDA code，只要他懂C++，我就能讓他寫CUDA code。NVIDIA，從04年CUDA出來以后到今天，NVIDIA把它整個software layer做的如此之好，使得它的入門門檻很低。如果我突然來一個FPGA，沒有一個月的時間，沒人能在上邊寫程序，所以說新的硬件最大的一個挑戰(zhàn)不光是在硬件上，而且是在軟件上。這也是為什么我對軟硬件協(xié)同設(shè)計(jì)很感興趣。

Alex: 也就是說它搭建了一個eco-system，給developer們有更方便的方法去用，對吧?

Yangqing: 對！

「 計(jì)算機(jī)領(lǐng)域的文化 」

Alex: Facebook也是少有的做比較頂尖的AI research的一個公司，你在里邊帶領(lǐng)AI infrastructure這塊的一些研究。我知道Facebook，Google這樣的公司有個特點(diǎn)，就是它有很多大牛都在一起工作。而很多別的公司經(jīng)常有這種一山不能容二虎這種現(xiàn)象。我不知道你在這方面有什么體會，有什么心得可以分享？是什么樣的文化使得Facebook在research這方面有個cutting-edge research的結(jié)果？

Yangqing: 我覺得更多的算是計(jì)算機(jī)領(lǐng)域的文化吧，比如說大家最近經(jīng)常能夠聽到的消息比如像金融這個領(lǐng)域目前逐漸的越來越難吸引到頂尖的人才。一定的原因就是因?yàn)檎麄€領(lǐng)域太封閉了，誰都不知道其他人在做什么。那么這個時候就有很簡單的一個事，就是我們有句老話說的，叫獨(dú)木難支嘛，如果一個領(lǐng)域大家都在鉆著自己做自己的事情的話，有很多collective wisdom就很難被激發(fā)出來。而計(jì)算機(jī)這個領(lǐng)域的話，大家很多的想法，第一是說開源，第二是open research，第三是非常頻繁的交流。有很多的平臺本身就是，像我們用的Reddit啊，Hacker news都是一個很好的平臺，包括Robin.ly等等，所以我覺得整個這樣的一個文化使大家可以更快的把這個蛋糕做大，等到蛋糕做大了之后，誰都能從中獲益。

Alex: 謝謝你提到了我們！你提到了Reddit，我看到了你Reddit上有篇評論，里邊提了一個詞叫unframework，因?yàn)楫?dāng)時是Caffe 2.0的時候你提的，能給我們解釋一下是什么意思嗎？

Yangqing: Unframework基本上是說以前大家在做AI的software的時候一個framework什么都有。當(dāng)時六年前大家說Caffe，Torch跟Theano，就是一個framework，你在里頭或者外頭想做什么也很難。現(xiàn)在比如說，像我們有不同的硬件出來，有TPU，有visualization等等，逐漸有點(diǎn)類似于一個單元的 operation system，我做完一個operation system的時候不是說所有的事都完成就可以在上面裝app和extension了。發(fā)展到今天，framework是一個很小的部分，外面有很多其他各種組件譬如說硬件，visualization等等。舉個例子說PyTorch目前我們在跟Google合作來做一個Tensorboard，a very nice visualization tool for AI，它就是不光限制在一個framework，而是build different components，get components clip，用各種各樣的方式plug起來。

 「 管理團(tuán)隊(duì)的軟技能 」

Alex: 你當(dāng)初也是典型的engineering research出來的，現(xiàn)在去lead的組織，有很多工程師。你覺得在這個過程中soft skills你有些什么收獲，給大家有什么建議？

Yangqing: 這方面可能一個人做事情和一群人做事情還是有一些區(qū)別的。第一個是我們所謂叫innovator’s dilemma：一開始大家會覺得這個team做的太慢了，這事兒我一個人能夠兩個小時就能搞定的。為什么這個team一天還沒搞定。大家有時候怎么樣來properly set expectation，因?yàn)樽约阂粋€人的bandwidth是有限的，怎么樣來幫助整個team能夠合作把這個事情往前推?？赡茉趩蝹€的事情上efficiency不好但是在整個大的全組project上能夠更加accelerate一些；第二個是怎么樣grow people，就是create space for people to make mistakes，怎么樣能讓大家來逐漸take ownership。第三個是管理層面提到的give away your Legos，就是focus在別人需要你的地方而不是自己做的最好的地方。我覺得在做technical management或者technical leadership的這塊兒其實(shí)還是挺有意思的。

Alex: 接下來歡迎場下同學(xué)提問！

 「 從數(shù)據(jù)到?jīng)Q策的新趨勢 」

Q1: 這兩年我們看到了一個趨勢，從classification regression要做reasoning，然后要去做reinforcement learning，要去做decision making，在這個趨勢你有什么看法呢？因?yàn)閺奈覀兊闹庇X上來說這個是跟過去相反的趨勢，但是實(shí)際上我們看到如果不這么做的話，直接用probabilistic的方法遇到了很多問題，所以想問您對這個趨勢怎么看，這是個大趨勢嗎？他將來怎么樣發(fā)展會對現(xiàn)在Deep Learning社區(qū)有什么樣的幫助？

Yangqing: 我覺得這應(yīng)該是一個挺大的趨勢，在很多領(lǐng)域都有體現(xiàn)。比如說像六七年前我在做PhD的時候我們做probabilistic graphical model，第一個是，數(shù)據(jù)進(jìn)來之后我們可以把它建模成一個大的joint probability，但是graphical model關(guān)注的是怎么樣來interpret不同數(shù)據(jù)，或者不同dimension之間的relationship，causality等等。所以一方面是計(jì)算或者歸納，一方面是怎么從statistic當(dāng)中提取一些logic或者一些rule來，因?yàn)榫拖衲銊偛盘岬降模驗(yàn)槲覀兗冇胹tatistical或者現(xiàn)在的deep learning的方法的話，我們很難從中提煉出一些knowledge，what is the guiding principle for us to design new models？前面幾年像Alex提出來之后大家覺得這樣有一個principle來設(shè)計(jì)CNN，而我們在這個方向上已經(jīng)走的差不多了，然后接下來就是what is the new principle for us to design even better models？Maybe it’s AutoML，or maybe it’s kind of new principles.  所以從現(xiàn)有的這些數(shù)據(jù)當(dāng)中提煉出logic，提煉出知識來是一個挺重要的東西。

 「 計(jì)算機(jī)語言的選擇 」

Q2: 前段時間有一個語言叫Julia橫空出世，號稱集百家之長，所以我想問問你對這個語言有什么看法，有沒有打算基于Julia這個語言建立一個framework。

Yangqing: 我們其實(shí)嘗試過很多各種各樣的語言，所以說我不太好評論。Julia的好處是它對于low level language migration非常好，比如大家如果用Python的話，可能你在Python里寫for loop， performance非常差。Julia對這個low level language binding的performance一直都是挺不錯的。我們考慮過很多的language，包括我們自己Facebook以前有Torch，Torch是基于Lua的，我們最后發(fā)現(xiàn)了一點(diǎn)：it’s not about the language itself，it’s about the eco-system。很多人都說Python是一個很爛的語言，但是它有社區(qū)，它的整個的eco-system非常好，如果我要裝Python，我有Anaconda；如果我要用Python visualization，我有Matplotlib；如果我要有numerical computation我有NumPy和SciPy，如果我要做圖像處理，我有Scikit-image。 所以說最后我們發(fā)現(xiàn)這個eco-system很重要，當(dāng)年Luatorch遇到的很大的一個瓶頸是沒有人知道怎么寫Lua。大家都很懶，我也很懶，我不想為了學(xué)一個新語言而學(xué)一個新語言，whatever works for me。所以說這個時候Python作為一個很不錯的compromise，似乎是目前整個industry大家比較common的選擇。

 「 數(shù)據(jù)收集與處理 」

Q3: 我們知道deep learning是非常data hungry的，我在想在設(shè)計(jì)AI infrastructure的時候有沒有考慮在一定level上比較general的direction可以把data collection這件事情也集成進(jìn)來？

Yangqing: 在大公司可能這個不是一個問題，data is kind of naturally coming in，但是在很多應(yīng)用的時候的確我們也發(fā)現(xiàn)data的pipeline需要很緊密的integrate到compute系統(tǒng)。主要的兩塊第一個是how to actually process data，就是怎么樣用傳統(tǒng)的MapReduce或者說現(xiàn)在的online approach來feed data into training algorithms，特別是high performance的環(huán)境下我們發(fā)現(xiàn)不光計(jì)算是個瓶頸data也是一個瓶頸。如果我們在GPU上做計(jì)算的話，GPU能算得如此之快經(jīng)常導(dǎo)致大家的data input跟不上。另外一塊就是怎么樣做data versioning跟data management。我們發(fā)現(xiàn)模型train完了之后holdout上的data，validation上的data performance非常好，上線之后就發(fā)現(xiàn)不行，最后發(fā)現(xiàn)validation data搞錯了，跟training data有overlap等等。所以說，怎么樣讓我們很容易的detect這樣一些問題呢，可以更好的做data management，這個其實(shí)在infrastracture這邊的saving會很大。

Q4: 你覺得在設(shè)計(jì)AI infrastructure的時候如果想把data考慮進(jìn)去的話應(yīng)該怎么做呢？

Yangqing: 傳統(tǒng)的data infrastructure一直以來在很多公司都是一個挺大的organization，有非常成熟的像Hadoop，Google的Big Table這樣一些解決方案。基本上data infra這邊大家考慮的問題也是兩個，第一個是serving，像web serving，第二個是batch processing，像MapReduce。比如像Berkeley前面幾年我們一直在做的Spark的這個項(xiàng)目也是Spark ML一直以來比較偏向于batch processing MapReduce這樣一個方向。而現(xiàn)在突然這個SGD (Stochastic gradient descent)的training方法來了之后大家發(fā)現(xiàn)以前這種batch processing的想法已經(jīng)行不通了。所以像Berkeley的最近的Ray，Clipper這些project就會更加偏向于更加現(xiàn)代一些的SGD的某些computation pattern。這方面沒有一個太好的解決方案。

Q5: 你剛才說到數(shù)據(jù)的問題，其實(shí)很大的問題是像你說的，數(shù)據(jù)其實(shí)一直在變，這個tracking其實(shí)跟big data的stack是很不一樣的。Big data 很強(qiáng)調(diào)immutability，它要是不變的我們才可以做很多事情。現(xiàn)在你的數(shù)據(jù)不停在變，label在變，然后新的數(shù)據(jù)進(jìn)來，這個versioning現(xiàn)在是一個big mess。我們看了很多solution也都找不到很好的一種，我想聽聽你有沒有什么想法？

Yangqing: 對，不光是data version，而且model versioning也有問題。即使是同一個data，我們在上邊跑兩次training，出來結(jié)果都不一樣。我們在Facebook做testing的時候，有時候就算是兩個matrix application，你把threading換一下，從4個詞變成8個詞結(jié)果就不一樣。非常deep的neural network你從最開始有這些小的變化到最后的一個輸出，基本上有很多時候都是沒法guarantee binary wise compatibility的。CPU跟GPU之間幾乎不能，大概像ResNet這樣一個模型，最后的輸出可能會有1%到2%的fluctuation都是正常的。所以說對這種testing environment或者說怎么樣來interpret  ‘Correctness’，大家目前還不太清楚。最大的一個investment在Facebook這邊是怎么樣做更好的experimentation management，可能沒法解決這些問題，但是我們可以解決對于任意experiment來說，我們可以記錄as much information as possible，在哪個commit上面run的這個，在哪個版本的data上跑的，使得我們在manually做inspection的時候能夠有更多的information。

 「 工具的使用 」

Q6: 前面介紹提到說從research到production，一個方面是工具上的不同，另外一方面其實(shí)是research過程中，比如你用Jupyter Notebook，你會做很多的小的code的片段，但真的上production你需要一整塊的、經(jīng)過unit test的軟件工程整個進(jìn)入系統(tǒng)。這個之間其實(shí)還是有一個工具上的不同，想聽聽看Facebook有什么樣的解決方案。

Yangqing: 我先說工具的這個問題吧，工具的話其實(shí)我們也發(fā)現(xiàn)Jupyter Notebook最大的問題是什么呢，就是說跑實(shí)驗(yàn)的時候才能跑這些個，最后發(fā)現(xiàn)，再跑一遍跑不出來了。所以我們現(xiàn)在內(nèi)部有一個類似于Notebook這樣的environment但是更多的就是用來純做research，更多的時候工具這邊大家都是set expectation，就是說this is the place where you maximize your ideas but it’s not guaranteed to ship into products，at all。所以最后在做product的時候大家還是會需要enforce一些quality test相關(guān)的東西。更多的是從experience的角度來說，使得大家更加像一些，比如research用Matlab，product用C++，這怎么寫？如果research用的Python，只不過是我用的是Notebook，然后product用的是Python，只不過是一個.py file，這個時候migration就相對更加容易一些。所以我們在PyTorch跟Caffe2這邊非常重視怎么樣來unify experiences，包括比如說像Twython跟Scripton也是，they look similar，保證你真的回頭要transfer的時候你可以吧Twython改成Scripton就完了，沒有太多的像從Matlab到C++的這樣一個變化了。

 「 PyTorch 與 TensorFlow 」

Q7：PyTorch是一個用戶很多的一個系統(tǒng)，還有一些用戶比較多的系統(tǒng)就是TensorFlow，背后都有一個很大的community，有很大的公司在支持，但是其實(shí)你剛才也提到了就是TensorFlow也出了這個eager mode大家需求也都一樣，都有這個research developability或者interactivity這方面的需求，deployment都有scalability或者performance這方面的需求。那最后有沒有這兩個系統(tǒng)或者說市面上所有系統(tǒng)合并到一起的可能，從business的角度來說什么樣的條件會造成這種合并。

Yangqing: 我問你這樣一個小問題。我們在用uber，gmail，或者calendar的時候，我們會擔(dān)心是在Android上面，還是iOS上面嗎？就是說根本上到最后 product這邊， as long as we have a platform for us to run models, it's probably gonna be not different. 對于uber來說，它可能并不擔(dān)心iOS或者Android，假如說他們能合并，那這是一個最省事兒的事兒，那將來他們就不用寫app寫兩套了。但是it's not a deal breaker。 然后從framework的角度來說，我覺得一方面大家開玩笑說 There's a war on frameworks, 對吧？從當(dāng)年相對比較academic的Caffe 跟Torch 跟Theano 這三家，到現(xiàn)在Google的TensorFlow，Amazon的MXnet，F(xiàn)acebook的PyTorch，Microsoft的CNTK等等，到最后大家發(fā)現(xiàn)這些idea都會逐漸converge起來。所以我個人不會太擔(dān)心最后 which framework wins on framework， or which framework migrates which framework. 最后的idea都差不多。

 「 軟硬件結(jié)合的挑戰(zhàn)」

Q9: 你提到軟硬件一定要結(jié)合，才能發(fā)展。那你現(xiàn)在覺得從production eco-system 上看，有哪些地方軟硬件結(jié)合做的還不是很好？

Yangqing:  目前在production應(yīng)用上，軟硬件結(jié)合的只有CPU和GPU，大家都還在一個探索階段。CPU 跟 GPU 差不多都已經(jīng)足夠well known了。最大的挑戰(zhàn)可能是怎么樣來manage heterogeneous computation，因?yàn)樵谧鰌rediction service的時候，傳統(tǒng)CPU這邊的話，整個架構(gòu)都很homogeneous。我可以在production logic thread上來做computation也沒什么問題。然后一旦走向GPU，或者accelerator之后，就會需要有更加desegregated service。比如prediction/computation stack是一個pool，然后production logic會是另一個pool。那么在這樣的一個setting上面，怎么樣把中間整個connection結(jié)合起來，是不是network bandwidth會變成一個新的bottleneck。整個latency或者怎么樣來manage computation pool 然后capacity怎么樣最后balancing。 這些傳統(tǒng)的問題都會重新emerge起來。這方面還是需要一些early analysis。

 「 10年后博士研究的玩法 」

Q8: 現(xiàn)在這些framework，這些工具非常的成熟完善，這必然是件好事。但從另一個角度來講他對computer vision researcher和graduate student的impact是非常不同的。比如說五年前/八年前你可以design自己的feature，做一個minimization variation whatever graphical model你可以發(fā)paper，這個玩法和現(xiàn)在必然不同，現(xiàn)在你要train model，你要自己想辦法做一些新的architecture或者其它一些比較有竅門的東西才能發(fā)paper。那比如說十年之后你再去Berkeley讀一個computer vision PhD從頭開始的話，這個玩法是什么？

Yangqing:大家還有另外的一個相關(guān)的comment就是說目前這個整個做deep learning training需要的資源越來越多，學(xué)校到底怎么辦對吧，誰也沒有一萬個GPU來train AutoML model，那這個AutoML research怎么做呢？比如說像12年的時候大家都覺得Google的infinite resource，大家deep learning怎么做？最后Alex做的方法就是2個GPU，我當(dāng)時在Google實(shí)習(xí)，對我們來說還挺surprising的，其實(shí)computation resource isn’t the winning factor。學(xué)術(shù)界的一個好處是，you have to be efficient。我現(xiàn)在個人是在工業(yè)界，工業(yè)界有的時候大家被這些resource給寵壞了，學(xué)術(shù)界其實(shí)一直都還是source of the new information and new ideas。很多時候可能模型并不一定需要太大，但硬懟performance或者硬懟container resource大家在grad student這個地方就別做了。然后能夠做的方向就是how we actually just look at the current models and then do new ideas。Berkeley去年做了很有意思的一個paper叫CycleGAN，怎么樣在generative advisory network上面做一些新的工作。這些方面可能不需要太多的resource，包括是一兩個CPU就差不多夠了。所以可能再讀PhD的話可能做法還是差不多的，就是看看最近新的idea在什么方向，然后更多的是iterate on ideas,  not iterate on systems。

Alex: 我們今天的問答就到底為止，很榮幸今天能請到賈博士來和我們分享他在Facebook的工作，對AI的看法，對未來行業(yè)的想法。謝謝賈博士今天的分享！

< Robin.ly 及 主持人 Alex Ren 簡介 >

Robin.ly是立足硅谷的內(nèi)容平臺，服務(wù)全球工程師和研究人員，通過與知名科學(xué)家、創(chuàng)業(yè)者、投資人和領(lǐng)導(dǎo)者的深度對話和現(xiàn)場交流活動，傳播人工智能行業(yè)動態(tài)和商業(yè)技能，打造人才全方位競爭力。

硅谷面向華人工程師視頻內(nèi)容平臺Robin.ly創(chuàng)始人，AI人才服務(wù)公司TalentSeer創(chuàng)始人，硅谷風(fēng)險(xiǎn)投資BoomingStar Ventures管理合伙人。TalentSeer是美國頂尖的AI及中高階人才獵頭服務(wù)公司，主要通過投資、行業(yè)分析等維度重新理解和定義人才的作用，為超過100家高科技公司建立硅谷團(tuán)隊(duì)！Robin.ly是硅谷具有影響力的視頻分享平臺，服務(wù)全球上千萬華人工程師，通過與AI科學(xué)家、知名創(chuàng)業(yè)者、投資人和領(lǐng)導(dǎo)者的系列深度對話，傳播行業(yè)和技能知識，打造人才全方位競爭力，為培養(yǎng)下一代領(lǐng)導(dǎo)者、創(chuàng)業(yè)者而努力！

長按二維碼關(guān)注我們的網(wǎng)站和微信訂閱號（Robinly），及時獲得嘉賓訪談與線下活動通知：

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。