0
注：本文來源于品玩
2013 年 3 月，Google 花費(fèi) 4400 萬美元收購了多倫多大學(xué)的一家初創(chuàng)公司 DNNResearch。
這家公司在當(dāng)時(shí)不僅沒有任何產(chǎn)品，也壓根沒有生產(chǎn)產(chǎn)品的計(jì)劃。它只有三位員工：當(dāng)時(shí)已經(jīng)六十余歲的多倫多大學(xué)計(jì)算機(jī)系教授 Geoffrey Hinton，和他的兩個(gè)學(xué)生 Alex Krizhevsky 和 IIya Sutskever。有人調(diào)侃，Google 花費(fèi)數(shù)千萬美元，只是買到了幾篇論文。
但之后科技行業(yè)的發(fā)展證明了 Google 的眼光。深度學(xué)習(xí)從邊緣學(xué)科一躍成為顯學(xué)，而這一學(xué)派的開山祖師正是 Geoffrey Hinton。因?yàn)樵谏疃葘W(xué)習(xí)上的突出貢獻(xiàn)，他在 2018 年獲得了圖靈獎(jiǎng)。Hinton成了AI領(lǐng)域舉足輕重的人物，中國互聯(lián)網(wǎng)也習(xí)慣于為他“封神”，稱呼他為“AI教父”、“深度學(xué)習(xí)之父”等。而Google因?yàn)橛辛薍inton，成為AI技術(shù)最出色的公司之一。
但這場收購的細(xì)節(jié)鮮少被外界了解。事實(shí)上，Google 并不是最初“發(fā)現(xiàn)”Hinton的公司，最早意識(shí)到Hinton和他在深度學(xué)習(xí)上的研究價(jià)值的，其實(shí)是一家中國公司——百度。
在3月16日發(fā)布的一本新書《Genius Makers: The Mavericks Who Brought AI to Google, Facebook, and the World》（天才制造者：那些將 AI 帶到 Google、Facebook 和全世界的特立獨(dú)行者，下稱《天才制造者》）中，《連線》雜志資深撰稿人 Cade Metz 揭開了這一段鮮為人知的“秘史”。這本書記錄了Google、Facebook和百度等公司在AI上的你爭我奪，并試圖解釋為何AI注定會(huì)變成一個(gè)中美之間的新軍備競賽。而全書的開篇，就從這場被形容為“今天所有AI領(lǐng)域故事的開端”的競拍開始。
Cade Metz通過大量采訪，還原了2012 年Hinton主導(dǎo)的一場拍賣。當(dāng)年12 月，在美國內(nèi)華達(dá)州邊界的太浩湖旁，舉辦了每年一屆的 NIPS。NIPS 全稱 Neural Information Processing Systems（神經(jīng)信息處理系統(tǒng)），是 AI 領(lǐng)域的頂級(jí)會(huì)議。
2012 年那一屆 NIPS，對(duì)多倫多大學(xué)教授 Hinton 和他兩個(gè)學(xué)生來說，意義尤為不同。他們?cè)跁?huì)議酒店的房間里，舉辦了一次線上拍賣會(huì)。美國科技巨頭 Google 和微軟，中國科技巨頭百度以及英國的 AI 初創(chuàng)公司 DeepMind，用競拍的方式爭奪 Hinton 剛剛成立的、沒有任何產(chǎn)品的小公司 DNNResearch。
這些公司中，百度其實(shí)是最早接觸 Hinton 的公司。
2012 年秋天，Hinton 和學(xué)生們發(fā)表了一篇長達(dá) 9 頁的論文《ImageNet Classification with Deep Convolutional Neural Networks》。這篇論文提到的 Alexnet 引入了全新的深層結(jié)構(gòu)和 dropout 方法，在 ImageNet 圖像識(shí)別大賽中，將錯(cuò)誤率從 25% 以上提升到了 15%，獲得了第一名。
那一年的 ImageNet 比賽，Google 也在數(shù)據(jù)集上做了內(nèi)部測(cè)試，也用了深度學(xué)習(xí)方法，但識(shí)別精度比 Hinton 團(tuán)隊(duì)差了很多。Google 擁有大多數(shù)團(tuán)隊(duì)無法企及的硬件和數(shù)據(jù)資源，但卻輸給了一個(gè)學(xué)界的團(tuán)隊(duì)。這讓工業(yè)界感到吃驚，大大促進(jìn)了深度學(xué)習(xí)的傳播。
這個(gè)事情在今天來看，也是一個(gè)AI技術(shù)發(fā)展的歷史性轉(zhuǎn)折時(shí)刻。但當(dāng)時(shí)還只有很少人意識(shí)到它的意義。而就在論文發(fā)出沒幾天，Hinton 收到了一封來自中國的電子郵件。
這封郵件的發(fā)出者是百度。這一年，百度開始大規(guī)模采購和建立 GPU 運(yùn)算集群，開發(fā)了世界上第一個(gè)支持 GPU&CPU 的并行深度學(xué)習(xí)平臺(tái)。10 月，李彥宏了解深度學(xué)習(xí)方面的進(jìn)展，知道了 Hinton。
當(dāng)時(shí) Hinton 遠(yuǎn)沒有今天知名，但百度決策很快，李彥宏安排當(dāng)時(shí)負(fù)責(zé)百度戰(zhàn)略投資的副總裁湯和松與 Hinton 取得聯(lián)系，并直接提出邀約。百度提出的方案是，出價(jià) 1200 萬美元聘請(qǐng) Hinton 及其學(xué)生，合約期三年。雙方進(jìn)展很快。
但在眼看要達(dá)成協(xié)議前，Hinton 的那兩名學(xué)生“攔住”了 Hinton，在他們的建議下，Hinton意識(shí)到，與招聘“三個(gè)新員工”相比，百度和其他公司顯然更可能為收購一家公司付出更可觀的資金。
Hinton問百度，自己可否評(píng)估一下其他邀約。而原本已經(jīng)接近談成的百度，同意了。
“當(dāng)百度同意后，Hinton徹底顛覆了局面?！薄短觳胖圃煺摺返臅袑懙?。Hinton 立刻創(chuàng)建了只有他和那兩名學(xué)生的初創(chuàng)公司——DNNresearch。
據(jù)《天才制造者》的記錄，Hinton 當(dāng)時(shí)特意詢問了一位多倫多的律師，如何能讓一家只有三名員工、沒有產(chǎn)品、幾乎沒有歷史的初創(chuàng)公司的價(jià)值最大化。律師給了他兩個(gè)選擇：聘請(qǐng)專業(yè)談判代表，但會(huì)有激怒買家的風(fēng)險(xiǎn)。或者，進(jìn)行一次拍賣。
Hinton選擇了后者，于是，共有四家公司加入了競拍：最先找到Hinton且本已接近拿下的百度，以及在百度之后也開始給Hinton家頻繁打電話的Google和微軟，以及一家當(dāng)時(shí)剛剛成立兩年的倫敦初創(chuàng)公司—— DeepMind。這家公司后來被 Google 所收購，研發(fā)出大名鼎鼎的 AlphaGo。
作為最早接觸Hinton的公司，百度看到事情變成和多家美國公司的競爭后，已經(jīng)預(yù)感到了最終結(jié)局。
Hinton 和學(xué)生們?cè)诰频攴块g里“舉辦”了拍賣會(huì)——它通過 Gmail 進(jìn)行，四家公司的高管遠(yuǎn)程出價(jià)，從加利福尼到倫敦再到北京。Hinton將每個(gè)競拍者的身份隱藏了起來，他們相互不知道對(duì)方是誰。
微軟首先對(duì)這種競拍方式提出疑問，他們不喜歡用 Gmail 來競拍，認(rèn)為 Google 可能會(huì)偷偷讀取郵件。Hinton 和學(xué)生們商量過后，依然采用這種方式，他們“相當(dāng)確信 Google 不會(huì)讀取 Gmail”。
Hinton 對(duì)Google的好感已經(jīng)很明顯。
Google 對(duì)深度學(xué)習(xí)的興趣，很大程度也受到Hinton的影響。2006 年Hinton 發(fā)表了論文《A fast learning algorithm for deep belief nets》(深度信念網(wǎng)絡(luò)的一種快速學(xué)習(xí)算法)。這篇論文發(fā)表之前，沒有人知道怎么訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，因此這個(gè)領(lǐng)域鮮有人問津。該論文提出了一種訓(xùn)練深度網(wǎng)絡(luò)的方法，對(duì)每一層網(wǎng)絡(luò)先進(jìn)行預(yù)訓(xùn)練，然后再微調(diào)，網(wǎng)絡(luò)的學(xué)習(xí)速度大幅提高。
這篇論文成為開啟深度學(xué)習(xí)熱潮的一個(gè)因素，Google等公司開始注意到深度學(xué)習(xí)。另一個(gè)重要的因素是算力。2009 年，計(jì)算機(jī)的算力發(fā)展到足以挖掘龐大的數(shù)據(jù)庫，神經(jīng)網(wǎng)絡(luò)在語言和圖像識(shí)別方面，開始勝過基于邏輯的傳統(tǒng)計(jì)算機(jī)。
Google也在那時(shí)開始投資AI。2010年，當(dāng)時(shí)還是斯坦福大學(xué)教授的吳恩達(dá)與Google 里頗具聲望的高級(jí)研究員Jeff Dean一起，建立一個(gè)名為Project Marvin（以著名的AI先驅(qū)馬文?明斯基命名）的項(xiàng)目，以研究神經(jīng)網(wǎng)絡(luò)。后來，一些Google工程師開始用Google Brain稱呼Project Marvin。
這個(gè)項(xiàng)目成果之一，是大型深度學(xué)習(xí)軟件平臺(tái) DistBelief。包括 Google 搜索、Google 地圖 和 YouTube 在內(nèi)的 50 多個(gè)團(tuán)隊(duì)，利用 DistBelief 來改進(jìn)產(chǎn)品。
2012 年，Google X 宣布建立了一個(gè)包含 16000 個(gè)計(jì)算機(jī)處理器的神經(jīng)網(wǎng)絡(luò)，并在 YouTube 上部署。這個(gè)神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí) YouTube 上大量包含貓的、未標(biāo)記的視頻，識(shí)別出了“貓”這種生物。
這在當(dāng)時(shí)是一個(gè)重要突破?！霸谟?xùn)練中我們從來沒有告訴過神經(jīng)網(wǎng)絡(luò)， 這是一只貓。”Jeff Dean 說，“它基本上發(fā)明了貓的概念?！?/p>
Google在這次拍賣中也勢(shì)在必得。Hinton設(shè)計(jì)的拍賣規(guī)則很簡單。每次競價(jià)后，四家公司有一個(gè)小時(shí)將購買價(jià)格提高至少100萬美元。這一個(gè)小時(shí)從最新競價(jià)的郵件上的時(shí)間戳開始。一個(gè)小時(shí)結(jié)束后，如果沒有人提出新的競價(jià)，拍賣就結(jié)束了。
Hinton 每天會(huì)為下一輪競價(jià)設(shè)定一個(gè)時(shí)間，到了指定的時(shí)間，他和學(xué)生聚集在他的房間里，看著筆記本電腦上出現(xiàn)的競價(jià)。數(shù)字開始飛快攀升。
DeepMind用公司股票而非現(xiàn)金競拍，因此很快就退出了。這似乎也預(yù)示了它在之后被Google收購的結(jié)局。而在價(jià)格飆到2000萬美元時(shí)，微軟也退出了。但它隨后又回來了一次，然后再次退出。
事實(shí)上，微軟在此之前已經(jīng)邀請(qǐng)Hinton擔(dān)任過顧問。
微軟對(duì)深度學(xué)習(xí)的研究，依托雷德蒙德研究院展開。2009 年 11 月至 12 月期間，當(dāng)時(shí)在研究院里關(guān)注深度學(xué)習(xí)的華裔科學(xué)家鄧力，邀請(qǐng) Hinton 為雷德蒙德研究院進(jìn)行咨詢，研究如何將深度學(xué)習(xí)方法應(yīng)用于語音特征編碼和語音識(shí)別問題。
此前的語音識(shí)別模型一直處于非常令人沮喪的“局部最優(yōu)”狀態(tài)，準(zhǔn)確率很難大幅提升。在讀過 Hinton 2006 年發(fā)表的兩篇開創(chuàng)性的論文后，鄧力產(chǎn)生了將深度學(xué)習(xí)引入語音識(shí)別的想法。
在 Hinton 為微軟咨詢期間，他和鄧力一同開發(fā)了深層信念網(wǎng)絡(luò)的方法 “食譜” 及在語音特征提取上的應(yīng)用。這種方法使得大規(guī)模語音識(shí)別系統(tǒng)的錯(cuò)誤率大幅減少，2011 年微軟公布這一成果時(shí)，業(yè)界大為驚嘆。
而鄧力就是代表微軟在那次拍賣中出價(jià)的那個(gè)人。
看著飛升的金額，Hinton和他的學(xué)生們不停爭論他們更愿意加入哪家公司。
《天才制造者》中甚至記錄了一段“迷信”的對(duì)話。一天午后，當(dāng)他們望向窗外時(shí)，兩架飛機(jī)從相反方向飛過，在天空中留下的煙道，就像一個(gè)巨大的X，正好在一組山峰之上。他們思索著這可能意味著什么，然后才想起 Google 的總部就在一個(gè)叫山景城的地方?！斑@是不是意味著我們應(yīng)該加入 Google？”Hinton問道，“還是說我們不應(yīng)該？”
在2200萬美元左右時(shí)，Hinton暫時(shí)中止了拍賣，與其中一個(gè)競拍者進(jìn)行討論，半小時(shí)后，微軟又退出了。
最后剩下百度和Google。隨著時(shí)間推移，兩家公司依然在抬高價(jià)格。但當(dāng)價(jià)格達(dá)到2400萬美元時(shí)，百度的一位高管從北京接手，并且愿意給出更高的價(jià)格：2500萬美元、3000萬美元、3500萬美元。
Hinton將競價(jià)窗口從一個(gè)小時(shí)縮短到30分鐘。競價(jià)迅速攀升到4000萬美元、4100萬美元、4200萬美元、4300萬美元?！斑@感覺就像我們?cè)谂碾娪耙粯印！彼f。一天晚上，接近午夜時(shí)分，當(dāng)價(jià)格達(dá)到4400萬美元時(shí)，他又暫停了競價(jià)?！短觳胖圃煺摺分羞@樣記載。
第二天，在競標(biāo)恢復(fù)前約30分鐘，Hinton發(fā)了一封郵件，說開始時(shí)間會(huì)推遲。大約一個(gè)小時(shí)后，他又發(fā)了一封：拍賣結(jié)束了。
事實(shí)上，在前一天晚上的某個(gè)時(shí)刻，Hinton已經(jīng)決定將他的公司賣給Google。他給百度的郵件中說，公司發(fā)送的任何其他信息都會(huì)轉(zhuǎn)發(fā)給他的新雇主，不過他沒有說那是誰。
《天才制造者》中寫到，Hinton 后來承認(rèn)，這是他一直想要的。因?yàn)閷?duì)他來說，為他的研究找到合適的歸宿，比獲得最高競標(biāo)價(jià)格更重要。
《天才制造者》也寫到，百度猜到 Hinton 最終會(huì)在 Google，或者至少是另一家美國公司工作。畢竟他的背部不好，無法前往中國。他在十幾歲時(shí)受了背傷，到五十多歲時(shí)，已經(jīng)無法坐下，否則會(huì)有椎間盤滑落風(fēng)險(xiǎn)。他不得不一直站著辦公，出遠(yuǎn)門也不坐飛機(jī)，因?yàn)轱w機(jī)起飛降落時(shí)不允許站起來。
書中寫道，通過把美國競爭對(duì)手逼到極限，百度高層已經(jīng)意識(shí)到深度學(xué)習(xí)在未來幾年的重要性。
“拍賣就像一把起跑槍”。《天才制造者》的書中這樣寫到，它把這次拍賣定義為“一場全球新的軍備競賽的開始”。在那次競拍結(jié)束后，新的競爭已經(jīng)開始了。
雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
