雷鋒網(wǎng)按：類腦計算的概念可以追溯到20世紀80年代，歷經(jīng)40年，類腦計算依舊沒有取得實際的成功，這引發(fā)了不少質疑。不過，近來的研究可以將參數(shù)從正常神經(jīng)網(wǎng)絡轉移到尖峰神經(jīng)元網(wǎng)絡，以解決傳統(tǒng)缺乏“學習規(guī)則”的問題。未來，尖峰神經(jīng)元網(wǎng)絡可能會成為主流。

四十年來，人們一直在努力構建模擬大腦結構的計算機。迄今為止，他們幾乎沒有取得任何實際的成功。但是，最近這種努力獲得了一些令人驚訝的成績。

今年La Jolla的Salk研究所的Terry Sejnowski研究實驗室提出了一種使用標準形式的機器學習訓練“尖峰”神經(jīng)元（Spiking Neurons）的新方法，稱為“遞歸神經(jīng)網(wǎng)絡”或“RNNs”。

Hava Siegelmann幾十年來一直在開展計算機設計的開拓性工作，他與同事一起提出了一種尖峰神經(jīng)元系統(tǒng)，可以實現(xiàn)“無監(jiān)督”學習。

神經(jīng)形態(tài)計算是指用各種方式構建類似大腦的計算。這個概念可以追溯到20世紀80年代早期傳奇計算先驅Carver Mead，他對芯片中日益密集的晶體管集合如何最好地進行通信十分感興趣。Mead認為晶體管之間的布線效率需要達到一定的大腦神經(jīng)連接水平。

從那時起，已經(jīng)有許多相關的研究項目，其中包括IBM的Almaden研究中心在圣何塞的Winfried Wilcke，還有TrueNorth芯片，以及英特爾的Loihi項目等。今年早些時候， Scott Fulton III 在神經(jīng)形態(tài)計算方面有了一些有趣的進展。

到目前為止，這些項目幾乎沒有取得實際成功，引發(fā)了大量的質疑。在舊金山舉行的國際固態(tài)電路會議期間，F(xiàn)acebook的人工智能研究負責人Yann LeCun就深度學習芯片的趨勢發(fā)表了演講。他對尖峰神經(jīng)網(wǎng)絡的工作有些不屑一顧。英特爾負責管Loihi項目的Mike Davies在會后表達強烈反對。Davies對LeCun的反擊促使LeCun 在Facebook上再次攻擊尖峰神經(jīng)網(wǎng)絡。

“AFAIK，尚未有明確證據(jù)表明尖峰神經(jīng)元網(wǎng)絡（在軟件或硬件中）可以學習復雜的任務，”LeCun說?！笆聦嵣?，我不確定任何尖峰神經(jīng)網(wǎng)絡是否已經(jīng)接近現(xiàn)有普通神經(jīng)網(wǎng)絡的性能?！?/p>

但Sejnowski的實驗室和Siegelmann在國防高級研究計劃局的生物啟發(fā)神經(jīng)和動力系統(tǒng)實驗室的團隊提供了新的希望。

Salk研究所的Sejnowski 在4月與ZDNet對話時，他預測未來尖峰神經(jīng)網(wǎng)絡將發(fā)揮重要作用。“這將是另一次重大轉變，可能會在未來五到十年內發(fā)生，”Sejnowski說。

Sejnowski說：“大腦非常有高效，其中一個使它高效的因素是它使用尖峰。如果有人能夠使用尖峰神經(jīng)元的模型，那么你需要的能量將會下降一千倍甚至更多。然后它會變得足夠便宜，無處不在，就像手機中的傳感器?！?/p>

因此，Sejnowski認為尖峰神經(jīng)元可以成為推理的重要推動力，推理在電源受限的邊緣計算設備（如移動電話）上進行預測任務。

機器學習先驅Terry Sejnowski和他在加利福尼亞州La Jolla的Salk研究所的團隊開發(fā)了一種方法，將參數(shù)從正常神經(jīng)網(wǎng)絡轉移到尖峰神經(jīng)元網(wǎng)絡，以解決傳統(tǒng)缺乏“學習規(guī)則”的問題。Sejnowski預測，未來幾年這種神經(jīng)形態(tài)計算將發(fā)揮重要作用。

Sejnowski實驗室的成果由Robert Kim，Yinghao Li和Sejnowski撰寫，于3月發(fā)表，標題為《Simple Framework for Constructing Functional Spiking Recurrent Neural Networks》，該研究發(fā)布在Bioarxiv，描述了訓練標準遞歸神經(jīng)網(wǎng)絡或“RNN”，然后將這些參數(shù)傳遞給尖峰神經(jīng)網(wǎng)絡。這個想法是為了解決尖峰神經(jīng)元目前無法通過梯度下降（傳統(tǒng)機器學習的關鍵）進行訓練的情況。

換句話說，尖峰神經(jīng)元不符合深度學習的標準學習規(guī)則。新的研究是一種所謂的“轉移學習”，在一個地方設置參數(shù)并將它們帶到一個新的地方，以克服尖峰神經(jīng)元的缺點。

正如作者所解釋的那樣，“尖峰信號的不可微分性質阻止了使用基于梯度下降的方法來直接訓練尖峰網(wǎng)絡?！?/p>

“我們的方法包括使用基于梯度下降的方法訓練連續(xù)可變速率RNN（遞歸神經(jīng)網(wǎng)絡），并將RNN網(wǎng)絡的學習動態(tài)以及約束以一對一的方式傳遞給尖峰網(wǎng)絡模型“。

DARPA生物啟發(fā)神經(jīng)和動力系統(tǒng)實驗室的Hava Siegelmann及其同事聲稱使用改進的“投票”機制訓練尖峰神經(jīng)元的進展，該機制決定了各個神經(jīng)元的輸出。

 “這是一個已經(jīng)訓練有素的網(wǎng)絡，”Sejnowski解釋道。“下一步將是對尖峰進行學習。我們認為我們也可以解決這個問題，但現(xiàn)在還處于早期階段?！?/p>

至于誰將能實現(xiàn)這些電路還有待觀察，盡管Sejnowski模糊地提到了像移動基帶芯片的主要供應商高通這樣的公司可能成為候選者的可能性。

西格爾曼集團在DARPA的工作具有類似的性質。題為《用于無監(jiān)督特征學習的本地連接尖峰神經(jīng)網(wǎng)絡》于4月在arXiv上發(fā)表，該論文由Daniel J. Saunders，Devdhar Patel和Hananel Hazan以及Siegelmann和Robert Kozma撰寫。

與Sejnowski的團隊一樣，Siegelmann的團隊觀察到問題是缺乏適當?shù)挠柧毘绦蚧驅W習規(guī)則?！皩τ谕ㄓ脵C器，從頭開始對SNN進行強大學習訓練的方法很少，”他們寫道，“他們的能力具有高度的領域或數(shù)據(jù)集特性，為了獲得好的性能，需要大量的數(shù)據(jù)預處理和超參數(shù)調整?！?/p>

為了應對這一挑戰(zhàn)，Siegelmann的團隊去年開發(fā)了一個名為“BindsNET”基于Python的編程軟件包，他們在之前的研究中使用它來進行一種類似于Sejnowski團隊的傳遞學習。（BindsNET發(fā)布在Github上。）

使用BindsNET，在當前的工作中，Siegelmann的團隊模擬了由尖峰神經(jīng)元組成的淺層人工神經(jīng)網(wǎng)絡。他們寫道，淺網(wǎng)絡（shallow network）類似于傳統(tǒng)機器學習中的卷積神經(jīng)網(wǎng)絡。為了解決學習規(guī)則的問題，他們使用了一種稱為“尖峰定時依賴的可塑性”或STDP（spike-timing-dependent plasticity），它作為一種投票機制，計算單個神經(jīng)元響應數(shù)據(jù)觸發(fā)的次數(shù)，以及觸發(fā)的順序。輸入圖像數(shù)據(jù)的神經(jīng)元對其圖像類別的候選者進行投票，并且他們的投票匯集形成圖像分類器。

著名的MNIST手寫數(shù)字數(shù)據(jù)庫被用作測試，其中神經(jīng)元的任務是對圖像所代表的數(shù)字進行分類。

Siegelmann＆Co報告說，他們的神經(jīng)網(wǎng)絡結構被證明比其他具有尖峰神經(jīng)元的方法更有效，這意味著它只需要更少的訓練數(shù)據(jù)就能實現(xiàn)相同或更好的性能。在尖峰神經(jīng)元的背景下，這個論文的重大成就是創(chuàng)建一種更有效的神經(jīng)元排列，“通過學習分布式表示來劃分和功課輸入空間”。這意味著在訓練期間只需要更少的訓練樣例來收斂，尖峰神經(jīng)元可以更有效地向前發(fā)展。

Sejnowski團隊和Siegelmann團隊都表明他們的能量和智力活躍在神經(jīng)形態(tài)計算的尖峰神經(jīng)元角落。即使它還沒有動搖懷疑論者，這個領域仍然值得關注。

雷鋒網(wǎng)編譯，via zdnet 

2019 年 7 月 13 日舉行的 CCF-GAIR 2019 類腦計算專場上，在主持人中國科學院計算所副研究員趙地的引領下，清華大學類腦計算研究中心主任施路平、北京大學信息科學技術學院教授吳思、中國科學院自動化研究所研究員余山、中國科學院半導體研究所副研究員劉力源將帶來五場精彩紛呈的主題報告，帶領大家走進類腦計算的最前沿。

全球人工智能與機器人峰會（CCF-GAIR） 由中國計算機學會（CCF）主辦，雷鋒網(wǎng)、香港中文大學（深圳）承辦，得到了深圳市政府的大力指導，是國內人工智能和機器人學術界、工業(yè)界及投資界三大領域的頂級交流博覽盛會，旨在打造國內人工智能領域極具實力的跨界交流合作平臺。更多關于大會 & 購票的詳情，歡迎登陸 https://gair.leiphone.com/gair/gair2019 進行查看。

相關文章：

跨出類腦芯片的關鍵一步，成立僅兩年aiCTX有望先于IBM和Intel產(chǎn)業(yè)落地

一研究團隊研發(fā)的類腦芯片所需能量是最先進計算系統(tǒng)的1/10

想主導世界經(jīng)濟？必須在類腦計算這個領域領先丨CCF-GAIR 2019

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。