DeepMind已經(jīng)建立了一個(gè)可以像常規(guī)的圖靈機(jī)一樣訪問外部存儲(chǔ)器的“神經(jīng)網(wǎng)絡(luò)圖靈機(jī)”。其結(jié)果是這個(gè)“神經(jīng)網(wǎng)絡(luò)圖靈機(jī)”可以模擬人類大腦的短期記憶。

在神經(jīng)系統(tǒng)科學(xué)領(lǐng)域中，其中一個(gè)最大的挑戰(zhàn)就是要了解人類大腦的短期工作記憶。與此同時(shí)，計(jì)算機(jī)科學(xué)家們也熱愛在硅片中重現(xiàn)同樣的記憶。

Google在今年年初曾花費(fèi)4億美金收購的創(chuàng)業(yè)公司DeepMind在今天公布了一臺(tái)原型電腦，這臺(tái)原型電腦可以試圖模仿一些人類大腦的短期工作記憶的特性。這臺(tái)新的計(jì)算機(jī)具備一種神經(jīng)網(wǎng)絡(luò)類型，它可以適應(yīng)與外部存儲(chǔ)器共同工作。其結(jié)果是這臺(tái)計(jì)算機(jī)可以存儲(chǔ)記憶并能在之后檢索它們從而執(zhí)行一些有邏輯性的任務(wù)，除此以外，它也可以被訓(xùn)練去做一些事情。

DeepMind在人們已經(jīng)有著悠久探索歷史的短期記憶方面取得了突破性進(jìn)展。在20世紀(jì)50年代，美國認(rèn)知心理學(xué)家George Miller進(jìn)行了一項(xiàng)在腦科學(xué)的歷史中非常著名的實(shí)驗(yàn)。George Miller對(duì)人類大腦工作記憶的能力十分感興趣，他開始著手測量人類大腦的實(shí)驗(yàn)并邀請了大批的學(xué)生參與這項(xiàng)實(shí)驗(yàn)。

George Miller的實(shí)驗(yàn)結(jié)果顯示，短期記憶的能力不能由它包含的信息量來確定。反而George Miller的實(shí)驗(yàn)結(jié)果顯示出工作記憶是以“塊”的形式來存儲(chǔ)信息，并且大約可以存儲(chǔ)7個(gè)。

這提出了一個(gè)奇怪的問題：這個(gè)“塊”是什么？在Miller的實(shí)驗(yàn)中，一個(gè)塊可以是一個(gè)單一的數(shù)字，如“4”，一個(gè)字母如“Q”，一個(gè)詞或一個(gè)詞組。所以每個(gè)塊都可以表示任何從一個(gè)非常小的信息量變成一個(gè)非常復(fù)雜的想法的東西，它等效于大量的信息。

但是，無論一個(gè)單獨(dú)的塊能表示多少信息，人類的大腦也只能存儲(chǔ)七個(gè)塊在工作記憶中。

這里有一個(gè)例子。請仔細(xì)看下面的句子：“This book is a thrilling read with a complex plot and lifelike characters ”。

這句話是由大約7塊信息組成的，顯然這句話在任何普通讀者看來都是可以理解的。

與此相反的是，嘗試讀讀這句話：“This book about the Roman Empire during the first years of Augustus Caesar’s rein at the end of the Roman Republic, describes the events following the bloody Battle of Actium in 31 BC when the young emperor defeated Mark Antony and Cleopatra by comprehensively outmaneuvering them in a major naval engagement “。

這句話至少包含20塊信息。所以，如果你發(fā)現(xiàn)它更難以閱讀，不用驚訝。人類的大腦在工作記憶中確實(shí)很難以處理這類信息。

在認(rèn)知科學(xué)領(lǐng)域，理解句子的組成部分，并將其存儲(chǔ)在工作記憶中的能力被稱為變量綁定。這是將一塊數(shù)據(jù)取出，將其分配給記憶，并反復(fù)執(zhí)行此操作的能力。

在90年代和00年代期間，計(jì)算機(jī)科學(xué)家多次試圖設(shè)計(jì)算法、電路和神經(jīng)網(wǎng)絡(luò)，希望其可以執(zhí)行上述操作。這樣的計(jì)算機(jī)應(yīng)該能夠分析一些簡單的句子例如“瑪麗告訴約翰”，所以在這樣的情況下，計(jì)算機(jī)可以區(qū)分出瑪麗是說話的角色，說話這個(gè)動(dòng)作和約翰這個(gè)傾聽的角色。

DeepMind的人員透露，早期的機(jī)器的性能非常有限，而他們的架構(gòu)借鑒了之前的技術(shù)并加強(qiáng)了它。

他們開始重新定義神經(jīng)網(wǎng)絡(luò)的本質(zhì)。至今，神經(jīng)網(wǎng)絡(luò)已成為相互關(guān)聯(lián)的“神經(jīng)元”模式，它有能力改變相互連接的強(qiáng)度來響應(yīng)外部輸入。這是一種學(xué)習(xí)的形式，讓他們發(fā)現(xiàn)不同的輸入之間的相似之處。

但是，計(jì)算的基本過程包含一個(gè)重要的附加因素。在計(jì)算的過程中，外部存儲(chǔ)器需要可以被讀取和寫入。在圖靈著名的計(jì)算機(jī)說明中，存儲(chǔ)器就像是一個(gè)電報(bào)紙條，通過計(jì)算機(jī)來回傳遞并存儲(chǔ)各種各樣的符號(hào)供稍后處理。

這種類型的可讀和可寫的存儲(chǔ)器中不存在常規(guī)的神經(jīng)網(wǎng)絡(luò)。因此，他們僅僅添加了一個(gè)。這使得神經(jīng)網(wǎng)絡(luò)可以在其存儲(chǔ)器中存儲(chǔ)變量并返回給它們在之后的計(jì)算中使用。

這類似于一臺(tái)普通的計(jì)算機(jī)可能把數(shù)字3和數(shù)字4輸入進(jìn)內(nèi)部寄存器，之后將它們合在一起生成7。區(qū)別在于神經(jīng)網(wǎng)絡(luò)可以存儲(chǔ)更復(fù)雜的表示變量的模式。

由于這種形式的計(jì)算與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)具有不同的特點(diǎn)，DeepMind給它起了一個(gè)新的名字——他們稱之為神經(jīng)體統(tǒng)圖靈機(jī)，而且第一款產(chǎn)品已建成。神經(jīng)系統(tǒng)圖靈機(jī)與常規(guī)神經(jīng)網(wǎng)絡(luò)類似，它通過接受外部世界輸入的信息來學(xué)習(xí)，但它也會(huì)學(xué)習(xí)如何存儲(chǔ)這種信息以及何時(shí)進(jìn)行檢索。

DeepMind的工作包括：首先構(gòu)建設(shè)備，然后進(jìn)行實(shí)驗(yàn)。他們的實(shí)驗(yàn)中包含了一些測試，看看神經(jīng)系統(tǒng)圖靈機(jī)能否執(zhí)行特定的任務(wù)，它可以再擴(kuò)展這個(gè)能力從而實(shí)現(xiàn)更大或更復(fù)雜的任務(wù)。

事實(shí)證明，神經(jīng)系統(tǒng)圖靈機(jī)已經(jīng)學(xué)會(huì)了完美復(fù)制的序列長度為20左右的信息。然后在復(fù)制序列長度為30和50的信息時(shí)，也很少出現(xiàn)錯(cuò)誤。對(duì)于長度為120的序列，錯(cuò)誤開始增多。

他們比較了它們的神經(jīng)體統(tǒng)圖靈機(jī)的與常規(guī)的神經(jīng)網(wǎng)絡(luò)的性能。區(qū)別是很顯著的。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)復(fù)制序列長度是20的信息時(shí)幾乎是完美的。但是，當(dāng)涉及到那些更長的序列時(shí)，錯(cuò)誤會(huì)立刻增多。處理長度為120的序列時(shí)幾乎是不可識(shí)別的。

DeepMind團(tuán)隊(duì)也測試了神經(jīng)體統(tǒng)圖靈機(jī)執(zhí)行其他任務(wù)的能力。例如，其中之一相當(dāng)于是復(fù)?。涸撊蝿?wù)是復(fù)制序列，然后重復(fù)該序列一定的次數(shù)，并結(jié)束于一個(gè)預(yù)定的標(biāo)記。這一次，該神經(jīng)系統(tǒng)圖靈機(jī)的表現(xiàn)顯著優(yōu)于常規(guī)的神經(jīng)網(wǎng)絡(luò)。

這是一個(gè)令人印象深刻的產(chǎn)品。DeepMind的實(shí)驗(yàn)表明，神經(jīng)系統(tǒng)圖靈機(jī)能夠從數(shù)據(jù)中學(xué)習(xí)簡單的算法，并使用這些算法來擴(kuò)展它的能力。

大腦的這種重新編碼能力是人工智能的關(guān)鍵要素之一。除非電腦能復(fù)制人類大腦的這種能力后，否則它永遠(yuǎn)都比不上人腦的表現(xiàn)。 

Google旗下的DeepMind曾表示，他們的目標(biāo)是“解決智慧”。如果此解決方案可以達(dá)到人類的智力水平，那么最好的測試就是看神經(jīng)系統(tǒng)圖靈機(jī)能否具有人類大腦重新編碼的能力。 

via technologyreview

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。