編者注：本文是在“人機大戰(zhàn)”AlphaGo 4:1 獲勝后，雷鋒網(wǎng)采編的《人類群星閃耀時》系列文章的第一篇。謹以此系列向在人工智能和深度學習領域做出了接觸貢獻的天才們致敬。

20世紀60年代的英國：杰夫·辛頓（Geoff Hinton）還在讀高中時，他的同學給他安利了一個說法：大腦的工作就像一張全息圖。他深以為然。

80年代初期：辛頓發(fā)起了雄心壯志的計劃——利用計算機硬件和軟件來模擬人類大腦，創(chuàng)建一個純粹的人工智能。

2006年：辛頓突破性地提出深度學習的概念，讓人工智能變成現(xiàn)實成為可能。

深度學習的濫觴：科學家你不懂大腦

他是深度學習鼻祖杰夫·辛頓（Geoff Hinton），是反向傳播和對比發(fā)散訓練算法的共同發(fā)明人，當年高中基友的觀點看起來只是一個小小的啟示，但對他以及世界科技發(fā)展來說，卻是一個關鍵時刻——辛頓回憶起來時表示：“聽到那個觀點時，我真的很興奮?！睕]錯，這就是后來深度學習的靈感來源。

三十年之間，深度學習的研究在學術界看來似乎是個異類。但現(xiàn)在，辛頓和他的深度學習團隊——包括紐約大學（NYU）教授、卷積網(wǎng)絡之父燕樂存（Yann LeCun）和加拿大蒙特利爾大學教授、機器學習大神本吉奧（ Yoshua Bengio），儼然稱為互聯(lián)網(wǎng)領域最星光熠熠的名字。辛頓是加拿大多倫多大學的教授，目前也有一部分時間為Google工作。在Google，他利用深度學習技術來提高語音識別，圖像識別等其他在線工具。樂存則就職于Facebook，做著相似的工作。是的，近年來人工智能突然在微軟、IBM、Facebook、百度等巨頭中風靡了起來。 

本吉奧

20世紀50年代，數(shù)字神經(jīng)網(wǎng)絡就被發(fā)明了出來，但計算機科學家花費了數(shù)十年來研究如何駕馭百萬乃至億級神經(jīng)元之間那龐大到如天文數(shù)字一般的組合關系。這一過程的關鍵是要將神經(jīng)網(wǎng)絡組織成為堆疊層（stacked layer）。一個相對來說比較簡單的任務就是人臉識別。當某神經(jīng)網(wǎng)絡中的一組比特被發(fā)現(xiàn)能夠形成某種圖案——例如，一只眼睛——這一結果就會被向上轉移至該神經(jīng)網(wǎng)絡的另一層以做進一步分析。接下來的這一層可能會將兩只眼睛拼在一起，將這一有意義的數(shù)據(jù)塊傳遞到層級結構的第三層，該層可以將眼睛和鼻子的圖像結合到一起來進行分析。識別一張人臉可能需要數(shù)百萬個這種節(jié)點，并需要堆疊高達15個層級。

60年代，當時正在劍橋大學學習心理學的本科生辛頓意識到，科學家并沒有真正理解大腦，他們并沒有完全了解十億神經(jīng)元是如何學習或計算的，以及如何提升智力。而在辛頓看來，這些都是關乎1950年代人工智能研究夢想的大問題。受到當年高中那段對話的啟發(fā)，辛頓開始在劍橋大學和蘇格蘭愛丁堡大學探索神經(jīng)網(wǎng)絡。

深度學習的崎嶇發(fā)展

1978年，辛頓從愛丁堡獲得人工智能博士學位。80年代初期，辛頓發(fā)起了雄心壯志的計劃——利用計算機硬件和軟件來模擬人類大腦，創(chuàng)建一個純粹的人工智能——這是后人所稱的“深度學習”。

1989年，辛頓、燕樂存等人開始將1974年提出的標準反向傳播算法應用于深度神經(jīng)網(wǎng)絡。當年，盡管算法可以成功執(zhí)行，但計算代價非常巨大。那時的電腦性能還遠遠不能處理神經(jīng)網(wǎng)絡需要的巨大數(shù)據(jù)集，神經(jīng)網(wǎng)路的訓練時間達到3天，因而無法投入實際使用。與此同時，神經(jīng)網(wǎng)絡也受到了其他更加簡單模型的挑戰(zhàn)，比如支持向量機等模型在20世紀90年代到21世紀初成為更加流行的機器學習算法。

為了解決這些問題，在1992年9月和1993年10月之間，辛頓撰寫了近200篇領域相關的文章，介紹他利用神經(jīng)網(wǎng)絡進行學習，記憶，感知和符號處理方法的研究。

對如今來說最重要的創(chuàng)新之一是，辛頓是多層神經(jīng)網(wǎng)絡訓練的最重要研究者之一，他在訓練“專家乘積”中最早提出單層RBM的訓練方法——對比分歧（contrast divergence，CD）。對比分歧提供了一種對最大似然的近似，被理想地用于學習受限玻爾茲曼機的權重。當單層RBM被訓練完畢后，另一層RBM可被堆疊在已經(jīng)訓練完成的RBM上，形成一個多層模型。每次堆疊時，原有的多層網(wǎng)絡輸入層被初始化為訓練樣本。

燕樂存

也就是說，辛頓發(fā)明的訓練方法對50年代的數(shù)字神經(jīng)網(wǎng)絡進行了極大的改進，因為它能夠從數(shù)學層面上優(yōu)化每一層的結果從而使神經(jīng)網(wǎng)絡在形成堆疊層時加快學習速度。

辛頓和樂存如今回憶起來，都表示這過程異常地艱難。事實是，直到2004年——距離辛頓第一次研究反向傳播算法神經(jīng)網(wǎng)絡已經(jīng)20年——學術界仍然對其毫無興趣。

同樣在2004年，在加拿大先進項目研究所（CIFAR）的微薄資金支持下，以及樂存和本吉奧的幫助下，辛頓建立了神經(jīng)計算和自適應感知項目。

辛頓邀請了些計算機科學家、生物學家、電氣工程師、神經(jīng)科學家、物理學家和心理學家，來開始他的模擬生物智能研究——模擬大腦如何篩選大量的視覺、聽覺以及書面線索來理解和應對它的環(huán)境。他們的成果，不僅證明了辛頓的研究的意義，也推動了世界人工智能的發(fā)展。

2006年開始，辛頓將畢生的研究成為“深度學習”，這一概念也從此逐漸受人關注。數(shù)年后，當深度學習算法被移植到GPU集群中后，其速度有了顯著提高。

也許僅靠深度學習的代碼并不足以產(chǎn)生復雜的邏輯思維，但是它是IBM的沃森電腦、Google搜索引擎以及Facebook算法等當下所有人工智能產(chǎn)品的主要組成部分，而結合了并行計算、大數(shù)據(jù)和更深層次算法的深度學習也讓匍匐前進60年的人工智能一鳴驚人。

圖片來源：wired

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。