雷鋒網(wǎng)按：本文作者陳宗周，環(huán)球科學(xué)雜志社社長、總編輯，創(chuàng)辦了《環(huán)球科學(xué)》丶《電腦報》丶《知識經(jīng)濟》等科技媒體，是全國有影響的媒體人、科學(xué)作家、媒體企業(yè)家，對科技史、前沿科技、數(shù)字技術(shù)、互聯(lián)網(wǎng)、人工智能的進展保持長期研究，并寫有大量相關(guān)文章。先后擔(dān)任中科普傳媒有限公司總經(jīng)理、天極網(wǎng)董事長、中國科技報研究會副理事長等職務(wù)，也是中囯科協(xié)第七屆全國委員會委員。

本文為陳宗周的《AI 傳奇系列》第三篇，由《環(huán)球科學(xué)》授權(quán)刊載。

發(fā)明個人電腦與互聯(lián)網(wǎng)，是人類的兩大傳奇?，F(xiàn)在，AI 正在成為我們親手締造的又一個傳奇。正像蒸汽機開啟了工業(yè)革命時代一樣，AI 也將把人類社會帶入新世紀(jì)。

正是杰夫·欣頓（Geoffrey Hinton）等科學(xué)家在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域鍥而不舍的研究與探索，深度學(xué)習(xí)才會脫穎而出，創(chuàng)造出今天 AI 的一個個奇跡。

實習(xí)生培訓(xùn)班的老人

2012 年的一天，谷歌公司的實習(xí)生培訓(xùn)班里，來了一位頭發(fā)花白的奇怪老人。在這群年輕實習(xí)生中，他顯得非常特別，不但年齡很大，卻仿佛什么都不懂。比如，培訓(xùn)老師說：“輸入你的 LDAP（輕量目錄數(shù)據(jù)庫）用戶登錄碼?！崩先藭⒖膛e手問道：“什么是 LDAP？”培訓(xùn)班上的年輕人都在想，“那個老家伙是誰？為什么他連 LDAP 都不知道？”

直到有一天，有人在餐廳午餐時發(fā)現(xiàn)老人，立刻走過來熱情地說，“欣頓教授，我選修了你的課。你在這里做什么？”實習(xí)生們大為驚訝，原來天天和他們坐在一起的這位老實習(xí)生，是“深度學(xué)習(xí)教父”、加拿大多倫多大學(xué)計算機系教授杰夫·欣頓。

不過，那時的欣頓，在 AI 圈子里雖已很有名氣，但和今天的影響相比，不可同日而語。現(xiàn)在，欣頓引領(lǐng)的深度學(xué)習(xí)技術(shù)潮流，已經(jīng)席卷全球，成為 AI 這一輪復(fù)興的關(guān)鍵技術(shù)。杰夫·欣頓也成為媒體追捧的科技巨星。

欣頓居然在谷歌公司參加過實習(xí)生培訓(xùn)，這是一段頗有戲劇性的故事。谷歌大腦（Google Brain）負(fù)責(zé)人杰夫·迪恩邀請欣頓到谷歌工作，他自己也愿意到谷歌短期工作三個月，雙方一拍即合?？墒枪雀栌幸恍┕殴值囊?guī)定，短期工作的欣頓必須經(jīng)過實習(xí)生培訓(xùn)。這樣，六十多歲的他，出現(xiàn)在實習(xí)生隊伍里。

2013年春天，谷歌收購了多倫多的 DNNresearch 公司。這家深度神經(jīng)網(wǎng)絡(luò)研究公司，前一年剛創(chuàng)辦，連欣頓共三人。收購后，欣頓很自然地成為谷歌公司AI顧問。大感意外的他，這樣告訴別人：“我以為他們對我們的知識產(chǎn)權(quán)感興趣，結(jié)果他們對我們這幾個人感興趣。”

是的，雄心勃勃在 AI 領(lǐng)域進取的谷歌，感興趣的正是欣頓這位深度學(xué)習(xí)領(lǐng)軍人物。這次收購，打響了高科技公司巨頭的深度學(xué)習(xí)人才爭奪戰(zhàn)第一槍。后來，曾在欣頓門下做過博士后的紐約大學(xué)計算機系教授雅恩·樂昆（Yann LeCun，即楊立昆）、蒙特利爾大學(xué)教授約書亞·本希奧（Yoshua Bengio）先后被 Facebook、微軟聘用。欣頓和這兩位教授，被稱為深度學(xué)習(xí)的“加拿大黑手黨三人幫”，他們都與加拿大有淵源，又成為深度學(xué)習(xí)的先驅(qū)。他們被高科技巨頭公司網(wǎng)羅，是深度學(xué)習(xí)人才戰(zhàn)的標(biāo)志。隨著越來越多的企業(yè)加入這場 AI 人才大戰(zhàn)，AI 在各行各業(yè)的深入應(yīng)用也不斷加快。

人工神經(jīng)網(wǎng)絡(luò)道路崎嶇

當(dāng)前的 AI 熱潮，與以前兩次有極大不同的是，不但科研人員大量流向企業(yè)，投資主體也已經(jīng)從政府轉(zhuǎn)向企業(yè)?；仡櫽嬎銠C和互聯(lián)網(wǎng)走過的道路，同樣都有這樣的路徑：從軍事和科研領(lǐng)域轉(zhuǎn)向商用，再轉(zhuǎn)向大規(guī)模民用，從而在全社會普及。今天的 AI，正在向全社會普及之中。而這一切，與欣頓為代表的一批深度學(xué)習(xí)領(lǐng)域科學(xué)家在 AI 寒冬中頑強堅持科研方向有很大關(guān)系。

杰夫·欣頓 1947 年出生于英國。他的家族有很深的學(xué)術(shù)淵源，他的曾祖父的岳父就是喬治·布爾（George Boole），是符號邏輯領(lǐng)域的先驅(qū)，這是促進計算機誕生與發(fā)展的重要基礎(chǔ)研究之一，“布爾代數(shù)”就是以他的姓命名。

欣頓很早就開始思考人的大腦。16 歲時一位同學(xué)給他介紹關(guān)于記憶的理論：大腦對于事物和概念的記憶，不是存儲在某個單一的地點，而是像全息照片一樣，分布式存儲于一個巨大神經(jīng)元網(wǎng)絡(luò)里。全息照片、分布式、神經(jīng)元網(wǎng)絡(luò)，這些概念深深啟發(fā)了他，讓他對神經(jīng)網(wǎng)絡(luò)產(chǎn)生了濃厚興趣。

很自然地，他進入劍橋大學(xué)心理學(xué)專業(yè)并于 1970 年本科畢業(yè)。1978 年，他取得愛丁堡大學(xué) AI 專業(yè)博士學(xué)位，這所大學(xué)的 AI 實驗室，是世界上最早建立的四個 AI 研究基地之一。博士畢業(yè)后，他在卡內(nèi)基梅隆大學(xué)等多所高校游學(xué)，最后到加拿大多倫多大學(xué)任教。無論他走到哪里，他的研究方向始終聚焦人工神經(jīng)網(wǎng)絡(luò)。他在神經(jīng)網(wǎng)絡(luò)方面的漫長學(xué)術(shù)生涯，幾乎與 AI 學(xué)科同齡。

人工神經(jīng)網(wǎng)絡(luò)（ANN），簡稱神經(jīng)網(wǎng)絡(luò)，是AI的重要研究領(lǐng)域。AI 研究領(lǐng)域一直有兩大學(xué)派，一派是符號學(xué)派，被稱為符號主義;另一派是聯(lián)結(jié)學(xué)派，也被稱為聯(lián)結(jié)主義。兩大學(xué)派都從人腦得到啟示，開始 AI研究。符號學(xué)派從人腦的推理功能出發(fā)，認(rèn)為要模擬人腦的邏輯推理思維，就要把相關(guān)的信息抽象為符號，然后進行符號運算，從而實現(xiàn)推理功能。聯(lián)結(jié)學(xué)派則從人腦的組織出發(fā)，進行機器模擬。人腦有大量被稱為神經(jīng)元的腦細(xì)胞，人之所以能夠進行思維，就是因為這些神經(jīng)元互相聯(lián)結(jié)，處理各種信息。同樣，如果用機器模擬神經(jīng)元，并建立人工神經(jīng)元聯(lián)結(jié)網(wǎng)絡(luò)，這樣的人工神經(jīng)網(wǎng)絡(luò)就能夠進行思維。屬于聯(lián)結(jié)學(xué)派的人工神經(jīng)網(wǎng)絡(luò)，一直按照這樣的思路進行研究。

正像 AI 領(lǐng)域的所有研究一樣，人工神經(jīng)網(wǎng)絡(luò)道路注定不會平坦。

神經(jīng)網(wǎng)絡(luò)概念實際上先于 AI，在 20 世紀(jì) 40 年代就出現(xiàn)了。AI 學(xué)科的創(chuàng)始人之一的馬文·明斯基 1951 年就研制出基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機，他在達(dá)特茅斯會議期間拿出來交流的，正是這一神經(jīng)網(wǎng)絡(luò)系統(tǒng)。1957 年康奈爾大學(xué)心理學(xué)教授弗蘭克·羅森布拉特（Frank Rosenblatt）提出的“感知器”（Perceptron），是第一次用算法來精確定義神經(jīng)網(wǎng)絡(luò)和第一個具有自組織自學(xué)習(xí)能力的數(shù)學(xué)模型。另一方面，這臺電子感知機因為能讀入并識別簡單的字母和圖像，而在當(dāng)時引起轟動，引來對AI的無數(shù)美好遐想。

但那個時代的神經(jīng)網(wǎng)絡(luò)系統(tǒng)不可能實用，馬文·明斯基自己也對感知機提出嚴(yán)厲批評。人工神經(jīng)網(wǎng)絡(luò)的研究，很快在 AI 的第一次寒冬中進入低潮。

寒冬中的堅持

杰夫·欣頓博士畢業(yè)不久，AI 剛好迎來第二次高潮。一直在神經(jīng)網(wǎng)絡(luò)領(lǐng)域耕耘的他并沒有感到好時光到來，因為那個時代符號學(xué)派占了上風(fēng)，名噪一時的專家系統(tǒng)、智能推理機，都是符號主義的勝利。而到了 AI 的第二次寒冬，所有的AI項目卻都受到重創(chuàng)，神經(jīng)網(wǎng)絡(luò)也如此。

人工神經(jīng)網(wǎng)絡(luò)想法非常好，研究成果也大量出現(xiàn)。但隨著對人腦研究的深入，人們發(fā)現(xiàn)，人腦的確是宇宙中最復(fù)雜的精靈之物，模仿人腦的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，談何容易。

一個人類的大腦保守估計有 1000 億個神經(jīng)元。人們常常比喻人腦像一臺電腦，實際上每一個神經(jīng)元都是一臺電腦。每一個神經(jīng)元有無數(shù)突觸與其他神經(jīng)元相連，估計突觸的數(shù)量在 100 萬億到 1000 萬億之間。谷歌大腦是最著名的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，即使在今天，目標(biāo)也不過是達(dá)到大腦某一部分的功能。

由于人工神經(jīng)網(wǎng)絡(luò)的高度復(fù)雜性，這一研究方向一度被認(rèn)為是學(xué)術(shù)死路。在AI第二次進入低谷時，很多同行開始轉(zhuǎn)去研究別的領(lǐng)域，但是欣頓等人仍然在這里堅守，他因而被視為不可理喻的怪人，說起神經(jīng)網(wǎng)絡(luò)，人們都用不屑的眼神看著他。盡管欣頓在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域碩果累累，并在 1998 年被選為英國皇家學(xué)會院士，還獲得了很多其他榮譽，但仍不能扭轉(zhuǎn)人們的偏見。很長一段時間里，多倫多大學(xué)計算機系私下流行著一句對新生的警告：不要去欣頓的實驗室。

欣頓不為所動，仍然堅持自己的神經(jīng)網(wǎng)絡(luò)研究方向。據(jù)說他有一種激勵自己的特殊方法，每周發(fā)泄般大吼一次：我發(fā)現(xiàn)大腦是怎樣工作的啦！這樣的習(xí)慣，幾十年一直保持下來。

在神經(jīng)網(wǎng)絡(luò)相關(guān)學(xué)術(shù)論文很難得到發(fā)表的那段時間，他堅持寫了兩百多篇研究論文，為后來的突破打下了堅實的基礎(chǔ)?？蒲薪?jīng)費又成為他的大問題。但功夫不負(fù)有心人。2004 年，欣頓終于從加拿大高等研究所（CIFAR）獲得了每年50萬美元的經(jīng)費支持，如果和日本五代機等知名AI項目得到的巨額資金相比，這實在是一筆微薄的經(jīng)費。但是，名為“神經(jīng)計算和適應(yīng)感知”的這一項目，在樂昆和本希奧兩位志同道合者的良好合作下，他們將一批一流的計算機、生物學(xué)、電子工程、神經(jīng)科學(xué)、物理學(xué)和心理學(xué)專家團結(jié)在一起，共同探索神經(jīng)網(wǎng)絡(luò)模擬人腦智能的新方法。

深度學(xué)習(xí)登場

重大突破出現(xiàn)了。2006年7月28日，欣頓和學(xué)生題為《用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)維數(shù)》的論文在美國權(quán)威的《Science》雜志發(fā)表，這篇論文被認(rèn)為是深度學(xué)習(xí)領(lǐng)域開創(chuàng)性論文。論文中介紹了神經(jīng)網(wǎng)絡(luò)的一些新思想和新方法，引起AI和人工神經(jīng)網(wǎng)絡(luò)界的關(guān)注。而他們和經(jīng)費支持者 CIFAR 一起，開始把新思想和新方法，用20年前就出現(xiàn)過但沒引起重視的一個術(shù)語“深度學(xué)習(xí)”（Deep Learning）來描述和包裝。深度學(xué)習(xí)開始登場，漸漸地成為AI和神經(jīng)網(wǎng)絡(luò)最熱門的研究方向，在有些場合，深度學(xué)習(xí)甚至成為神經(jīng)網(wǎng)絡(luò)的代名詞。

盡管 2006 年以后深度學(xué)習(xí)就開始引起關(guān)注，但震撼性的影響發(fā)生在 6 年后，在前面提到的 2012 年 ImageNet 圖像識別競賽上。ImageNet 是斯坦福大學(xué)華裔女科學(xué)家李飛飛和普林斯頓大學(xué)華裔教授李凱 2007 年起合作開發(fā)的大型圖像識別項目基礎(chǔ)上創(chuàng)辦的權(quán)威競賽，這項競賽已經(jīng)成為圖像識別領(lǐng)域當(dāng)年最高水平者之間的較量。

欣頓的兩位學(xué)生組成多倫多大學(xué)小組，在 2012 年的競賽中采用深度學(xué)習(xí)贏得了競賽的圖像分類比賽冠軍，不僅識別出猴子，而且區(qū)分出蜘蛛猴和吼猴，以及各種各樣不同品種的貓。

一次比賽的冠軍也許并不重要，重要的是欣頓小組用了與其他參賽者完全不同的方法，得到顛覆性的結(jié)果。競賽中，他們采用深度學(xué)習(xí)的識別結(jié)果，準(zhǔn)確率超過第二名東京大學(xué)10%以上，而第二到第四名都采用傳統(tǒng)計算機圖像識別方法進行分類，他們之間準(zhǔn)確率的差別不超過1%。也就是說，采用深度學(xué)習(xí)，把圖像識別的準(zhǔn)確率進步一下子提高了一個數(shù)量級。2012 年 10 月，在意大利佛羅倫薩的研討會上，競賽組織者李飛飛宣布了這一壓倒性的結(jié)果，在計算機視覺領(lǐng)域產(chǎn)生了極大的震動，并迅速波及到整個 AI 界和產(chǎn)業(yè)界。

深度學(xué)習(xí)的熱潮從此掀起，一波接一波向前迅猛推進，不斷進入一個又一個領(lǐng)域并連戰(zhàn)連捷，勢如破竹，形成今天銳不可擋的AI狂潮。

未完待續(xù)……

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。