1
本文作者: 林藠頭 | 2015-03-16 15:21 | 專題:大白離我們還有多遠(yuǎn)? |
[按]本文節(jié)選自公眾賬號“機(jī)器之心”(almosthuman2014),英文原載IEEE《Spetrum》,作者Lee Gomes,由機(jī)器之心獨(dú)家翻譯出品。全文鏈接見此。
IEEE 《Spectrum》的Lee Gomes與LeCun(Facebook人工智能實驗室主任,卷積神經(jīng)網(wǎng)絡(luò)專家)進(jìn)行了一次深度談話,本文摘選了其中和人工智能定義和應(yīng)用最密切相關(guān)的幾部分。
用8個單詞解釋“深度學(xué)習(xí)”
IEEE Spectrum:這些天我們看到了許多關(guān)于深度學(xué)習(xí)的新聞。在這些對深度學(xué)習(xí)的眾多描述中,你最不喜歡哪一種?
Yann LeCun:我最不喜歡的描述是「它像大腦一樣工作」,我不喜歡人們這樣說的原因是,雖然深度學(xué)習(xí)從生命的生物機(jī)理中獲得靈感,但它與大腦的實際工作原理差別非常非常巨大。將它與大腦進(jìn)行類比給它賦予了一些神奇的光環(huán),這種描述是危險的。這將導(dǎo)致天花亂墜的宣傳,大家在要求一些不切實際的事情。人工智能之前經(jīng)歷了幾次寒冬就是因為人們要求了一些人工智能無法給與的東西。
Spectrum:因此,如果你是一名關(guān)注深度學(xué)習(xí)的記者,而且像所有新聞記者所做的那樣,只用八個單詞去描述它,你會說什么?
LeCun:我需要考慮一下。我想將會是「學(xué)著描繪世界的機(jī)器」(machines that learn to represent the world)??赡芰硗庖环N描述是「端對端的機(jī)器學(xué)習(xí)」(end-to-end machine learning)。這種理念是:在一個能夠?qū)W習(xí)的機(jī)器中,每一個組件、每一個階段都能進(jìn)行訓(xùn)練。
Spectrum:你的編輯可能不大喜歡這樣。
LeCun:是的,公眾將無法理解我所表達(dá)的意思。好吧,有另外一種方法。你可以把深度學(xué)習(xí)看作是,通過整合大量能夠基于相同方式訓(xùn)練的模塊和組件來構(gòu)建擁有學(xué)習(xí)能力的機(jī)器,比如說模式識別系統(tǒng)等。因此,需要一個能夠訓(xùn)練每個事物的單一原則。但這又超過了八個字。
Spectrum:有哪些事情是深度學(xué)習(xí)系統(tǒng)可以做,而機(jī)器學(xué)習(xí)無法做到的?
LeCun:這是個更好的問題。之前的系統(tǒng),我想我們可以稱之為「膚淺的學(xué)習(xí)系統(tǒng)」,會受他們能計算的函數(shù)的復(fù)雜度所限。因此,如果你使用一個類似于「線性分類器」的膚淺學(xué)習(xí)算法來識別圖像,你將需要從圖像中提取出足夠多的參數(shù)特征來提供給它。但手動設(shè)計一個特征提取器非常困難,而且很耗時。
或者使用一個更加靈活的分類器,比如說「支持向量機(jī)」或者兩層神經(jīng)網(wǎng)絡(luò),直接將圖片的像素提供給它們。而問題是這不會提高物體識別在任何程度上的準(zhǔn)確性。
Spectrum:這聽起來不像是一個簡單易懂的解釋?;蛟S這就是為什么那些記者會嘗試著把深度學(xué)習(xí)描述成……
LeCun:像我們的大腦。
Spectrum:其中有一個問題是,機(jī)器學(xué)習(xí)是一個非專業(yè)人士極其難以接近的研究領(lǐng)域。一些經(jīng)過教育的外行能夠理解一些半技術(shù)性的計算問題,比如說谷歌使用的 PageRank算法。但我敢打賭只有教授才能對線性分類器和向量機(jī)了若指掌。這是因為該領(lǐng)域從本質(zhì)上就很復(fù)雜難懂嗎?
LeCun:事實上,我認(rèn)為機(jī)器學(xué)習(xí)的基礎(chǔ)原理非常簡單易懂。我曾經(jīng)向高中的老師和學(xué)生解釋過這一主題,并沒有讓其中的許多人覺得枯燥乏味。
模式識別系統(tǒng)就像一個黑盒子,背面裝有攝像頭,頂上有一個紅燈和一個綠燈,前面裝有一連串開關(guān)。比如說一種嘗試著調(diào)節(jié)開關(guān)的學(xué)習(xí)算法,當(dāng)一條狗出現(xiàn)在攝像頭中時控制開關(guān)使紅燈亮起;當(dāng)一輛車出現(xiàn)在攝像頭中時控制開關(guān)使綠燈亮起。為了訓(xùn)練該算法,你將一條狗放在機(jī)器面前,如果紅燈亮起,什么都不做。如果光線模糊,扭動旋鈕使燈變亮。如果綠燈亮起,扭動旋鈕使燈光變暗;接下來換成汽車,扭動旋鈕使紅燈變暗或綠燈變亮。如果你進(jìn)行多次嘗試,并且保持每次都對旋鈕進(jìn)行逐漸微調(diào),最終,機(jī)器每次都能得出正確答案。
有趣的是它能正確的區(qū)分開它從未見過的汽車和狗。竅門在于要計算出每次扭動旋鈕的方向和幅度,而不是亂動一氣。這包含對「梯度」的計算,旋鈕的每次扭動代表著燈光的相應(yīng)改變。
現(xiàn)在想象一下,有個盒子擁有5億個旋鈕、1000個燈泡,用1000萬張圖來訓(xùn)練它。這就是一個典型的深度學(xué)習(xí)系統(tǒng)。
Spectrum:我認(rèn)為你用「膚淺的學(xué)習(xí)」這個詞好像有些不太嚴(yán)謹(jǐn);我不認(rèn)為那些使用線性分類器的人會認(rèn)為他們的工作很「膚淺」。之所以用「深度學(xué)習(xí)」這個表述難道就沒有媒體宣傳的因素在里面?因為這看起來好像它學(xué)到的東西很有深度,但實際上,「深度」僅僅是指這個系統(tǒng)的級數(shù)?
LeCun:是的,是有點兒滑稽,但這反映了真實情況:膚淺學(xué)習(xí)系統(tǒng)有一層或兩層,而深度學(xué)習(xí)系統(tǒng)一般有5-20層。膚淺還是深度指的并不是學(xué)習(xí)行為本身,而是指被訓(xùn)練的結(jié)構(gòu)。
Spectrum:炒作毫無疑問是有害的,但你為什么說這是「危險的」?
LeCun:因為這給基金會、公眾、潛在客戶、創(chuàng)業(yè)公司和投資者帶來了預(yù)期,他們會因此相信我們正處在風(fēng)口浪尖——我們正在建造一些像大腦一樣強(qiáng)大的系統(tǒng),但實際上我們離這個目標(biāo)還差的很遠(yuǎn)。這很容易導(dǎo)致另一次的「寒冬周期」。
這里會出現(xiàn)一些「草包族科學(xué)」(cargo cult science),這是理查·費(fèi)曼的表達(dá),指描述某些事物貌似科學(xué),但實際上不是(譯者注:這出自理查·費(fèi)曼1974年在加州理工學(xué)院的一場畢業(yè)典禮演說,描述某些事物貌似科學(xué),卻遺漏了「科學(xué)的品德,也就是進(jìn)行科學(xué)思考時必須遵守的誠實原則」)。
Spectrum:能舉幾個例子嗎?
LeCun:在「草包族科學(xué)」下,你往往是復(fù)制了機(jī)器的表象,卻沒有深入理解機(jī)器背后的原理。或者,在航空領(lǐng)域,你制造飛機(jī)時會完全復(fù)制鳥類的樣子,它的羽毛、翅膀等等。19世紀(jì)的人們很喜歡這么做,但取得的成就非常有限。
在人工智能領(lǐng)域也是如此,他們嘗試著對我們所知曉的神經(jīng)元和神經(jīng)突觸的所有細(xì)節(jié)進(jìn)行復(fù)制,然后在一臺超級計算機(jī)上啟動一套龐大的模擬神經(jīng)網(wǎng)絡(luò),希望從中孕育出人工智能。這就是「草包族科學(xué)」的人工智能。有許多拿到大筆基金支持的嚴(yán)肅的研究者基本上快要相信這些了。
Spectrum:你認(rèn)為IBM的True North項目(譯者注:IBM的類人腦芯片,集成了 54 億個硅晶體管、 4096 個內(nèi)核、100 萬個「神經(jīng)元」和2.56 億個「突觸」)屬于「草包族科學(xué)」嗎?
LeCun:這聽起來會有些刺耳。但我的確認(rèn)為,IBM團(tuán)隊所聲稱的東西有點偏差并容易造成誤解。從表面上看,他們的公告令人印象深刻,但實際上沒有實現(xiàn)任何有價值的東西。在True North之前,那個團(tuán)隊用IBM的超級計算機(jī)來「模擬了一個老鼠級別的大腦」。但這只是一個隨機(jī)的神經(jīng)網(wǎng)絡(luò),除了消耗CPU運(yùn)算周期以外沒有發(fā)揮任何作用。
True North芯片的悲劇在于它本來可以很有用,如果它當(dāng)初沒有堅持與生物學(xué)走的太近以及沒有使用「spiking integrate-and-fireneurons」模型的話。因此在我看來——我曾是一個芯片設(shè)計者——當(dāng)你在開發(fā)一個芯片之前,你必須確信無疑它能做些有用的事情。如果你打造了一個卷積網(wǎng)絡(luò)芯片——很清楚如何去做——它能立刻應(yīng)用到計算設(shè)備中。IBM創(chuàng)造了錯誤的東西,我們無法用它去完成任何有用的事情。
Spectrum:還有其他例子嗎?
LeCun:從根本上說,歐盟人腦計劃(Human Brain Project)中的很大部分也是基于這樣一種理念:我們應(yīng)該建造一種模擬神經(jīng)元功能的芯片,越接近越好,然后將芯片用于建造超級計算機(jī),當(dāng)我們用一些學(xué)習(xí)規(guī)則來開啟它時,人工智能就出現(xiàn)了。我認(rèn)識這純屬胡說八道。
誠然,我剛才指的是歐盟人腦計劃。并不是諷刺參與這個項目的每個人。許多人參與該項目的原因僅僅是因為它能獲得巨額資助,這是他們所無法拒絕的。
Spectrum:對于一般意義上的機(jī)器學(xué)習(xí),還有多少是有待發(fā)掘的?
LeCun:太多了。我們在實際的深度學(xué)習(xí)系統(tǒng)中使用的學(xué)習(xí)方式還是存在局限的。在具體實踐中發(fā)揮作用的其實是「有監(jiān)督學(xué)習(xí)」。你將一張圖片展現(xiàn)給系統(tǒng)并告訴它這是一輛車,它就會相應(yīng)調(diào)整它的參數(shù)并在下一次說出「車」。然后你再展現(xiàn)給它一把椅子、一個人。在幾百個例子、耗費(fèi)幾天到幾周的計算時間(取決于系統(tǒng)規(guī)模)之后,它就弄明白了。
但人類和動物不是這種學(xué)習(xí)方式。當(dāng)你還是嬰兒時,你并沒有被告知你所看到的所有物體的名字。然而你卻能學(xué)會這些物體的概念,你知道世界是三維的,當(dāng)我把物體放在另一個的后面,你還是知道它的存在。這些概念不是與生俱來的,是你將它們學(xué)會了。我們把這種類型的學(xué)習(xí)稱作「無監(jiān)督」學(xué)習(xí)。
2000s中期,我們中的許多人參與到了深度學(xué)習(xí)的復(fù)興運(yùn)動中,包括Geoff Hinton、Yoshua Bengio和我自己——這就是所謂的「深度學(xué)習(xí)團(tuán)體」——還有Andrew Ng,從此使用無監(jiān)督學(xué)習(xí)而非有監(jiān)督學(xué)習(xí)的理念開始興起。無監(jiān)督學(xué)習(xí)可以幫助特定的深度網(wǎng)絡(luò)進(jìn)行「預(yù)訓(xùn)練」。我們在這方面取得了不少成果,但最終能夠應(yīng)用于實踐的還是過去那些能與卷積網(wǎng)絡(luò)相結(jié)合的出色的有監(jiān)督學(xué)習(xí),我們在20年前(1980s)所做的事情。
但從研究的角度來看,我們一直感興趣的是如何恰當(dāng)?shù)刈龊脽o監(jiān)督學(xué)習(xí)。我們現(xiàn)在已經(jīng)擁有了可以實用的無監(jiān)督技術(shù),但問題在于,我們僅需要收集更多數(shù)據(jù),再配合有監(jiān)督學(xué)習(xí)就能擊敗它。這就是為什么在現(xiàn)階段的產(chǎn)業(yè)中,深度學(xué)習(xí)的應(yīng)用基本上都是有監(jiān)督的。但將來不會再是這種方式。
從本質(zhì)上來說,在無監(jiān)督學(xué)習(xí)方面,大腦遠(yuǎn)好于我們的模型,這意味著我們的人工智能學(xué)習(xí)系統(tǒng)缺失了許多生物機(jī)理學(xué)習(xí)的基本原則。
Spectrum:你之前已經(jīng)說過,不同意那些與「奇點運(yùn)動」相關(guān)的觀點。我很感興趣的是你如何看待與之相關(guān)的社會學(xué)方面的問題?對于它在硅谷如此受歡迎你怎么解讀?
LeCun: 很難講。對于這個現(xiàn)象我也有點困惑。正如 Neil Gershenfeld(譯者注,麻省理工The Center for Bits and Atoms主任)指出,sigmoid函數(shù)曲線的初始部分是指數(shù)型上升的,這也意味著現(xiàn)在看起來指數(shù)般增長的趨勢很可能會在將來遇到瓶頸,包括物理、經(jīng)濟(jì),以及社會方面,緊接著經(jīng)歷拐點,然后飽和。我是樂觀主義者,但同時也是現(xiàn)實主義者。
確實有些人會大肆宣揚(yáng)奇點理論,比如 Ray Kurzweil。他是個典型的未來主義者,對未來持有實證主義的觀點。通過大捧奇點,他賣了很多書。但據(jù)我所知,他卻對人工智能學(xué)科沒有絲毫貢獻(xiàn)。他賣了很多科技產(chǎn)品,其中一些有一定的創(chuàng)新,但并沒有概念性的創(chuàng)新突破。確定無疑的是他沒寫過任何指導(dǎo)人們?nèi)绾卧谌斯ぶ悄芊矫嬗兴黄坪瓦M(jìn)展的論文。
Spectrum:你覺得他在Google現(xiàn)有的位子上有什么成就嗎?
LeCun:迄今為止,好像寥寥無幾。
Spectrum:我也注意到當(dāng)我和一些研究者討論奇點理論時,有一個很有趣的現(xiàn)象。私下里他們好像對此(奇點理論)很不以為然,可是一到公眾場合,他們的評論又會溫和很多。這是因為硅谷的一切大人物都很相信的原因嗎?
LeCun:一線的人工智能研究者需要保證一種微妙的平衡:對于目標(biāo)要保持樂觀,但也不能過分吹噓。需要指出其中不易,但也不能讓人覺得希望渺茫。你需要對你的投資者、贊助商以及雇員誠實;需要對你的同事、同行誠實;還需要對外界公眾和自己誠實。當(dāng)未來的進(jìn)步有很多不確定時,尤其是當(dāng)那些不夠誠實和自欺欺人的人總是對未來的成功夸下??跁r,這(繼續(xù)保持誠實)很困難。這就是為什么我們不喜歡不切實際地大肆宣揚(yáng)的原因,這是由那些不誠實或者自欺欺人的人干出來的,但卻會讓那些嚴(yán)謹(jǐn)誠實的科學(xué)家的工作變得更難。
如果你在Larry Page、Sergey Brin、Elon Musk、和Mark Zuckerberg那樣的位置上,你就得時刻思考長期來看科技到底該走向何處。因為你掌握著大量資源,并且可以利用這些資源讓未來朝你認(rèn)為更好的方向行進(jìn)。因此不可避免地你得問自己這些問題:10年,20年甚至30年后的科技到底會是什么樣子?人工智能的發(fā)展,奇點以及倫理問題到底會是怎樣?
Spectrum:是的,你說的對。但是你自己對于計算機(jī)科技如何發(fā)展有著很清晰的判斷,我不覺得你會相信我們在未來30年就可以實現(xiàn)下載我們的意識。
LeCun:不會很快。
Spectrum:或許永遠(yuǎn)不可能。
LeCun:不,你不能說永遠(yuǎn)不可能。科技在加速前進(jìn)著,日新月異。有些問題需要我們現(xiàn)在就開始關(guān)注;而另外一些則很遙遠(yuǎn),或許我們可以在科幻作品中費(fèi)點筆墨,但現(xiàn)在還沒有擔(dān)心的必要。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。