還記得擊敗世界圍棋大師的阿爾法狗 AlphaGo 嗎？

它來(lái)自谷歌 DeepMind 團(tuán)隊(duì)，現(xiàn)在這個(gè)人工智能實(shí)驗(yàn)室又推出了一項(xiàng)重磅研究——可微分神經(jīng)計(jì)算機(jī)的神經(jīng)網(wǎng)絡(luò)模型（Differentiable Neural Computer，簡(jiǎn)稱(chēng) DNC）。這種新型模型將神經(jīng)網(wǎng)絡(luò)與可讀寫(xiě)的外部存儲(chǔ)器結(jié)合，既能像神經(jīng)網(wǎng)絡(luò)那樣通過(guò)試錯(cuò)和樣本訓(xùn)練進(jìn)行深度學(xué)習(xí)，又能像傳統(tǒng)計(jì)算機(jī)一樣處理數(shù)據(jù)。

深度學(xué)習(xí)作為一種神經(jīng)網(wǎng)絡(luò)人工智能算法，能夠通過(guò)一些“深”層計(jì)算，對(duì)海量的數(shù)據(jù)進(jìn)行更新學(xué)習(xí)。這種類(lèi)似大腦結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)層由節(jié)點(diǎn)組成（也被稱(chēng)為神經(jīng)元）。許多科技巨頭如谷歌、Facebook、亞馬遜和微軟都一直在訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)如何更好地處理工作任務(wù)，包括識(shí)別狗的圖像以及做出更好的翻譯軟件。這些 AI 功能已經(jīng)讓數(shù)百萬(wàn)人在使用谷歌翻譯等在線服務(wù)中受益。

但是，神經(jīng)網(wǎng)絡(luò)面臨著巨大的挑戰(zhàn)：常規(guī)計(jì)算機(jī)可以處理復(fù)雜形式的數(shù)據(jù)，但是需要手動(dòng)編程來(lái)執(zhí)行這些任務(wù)。雖然人工神經(jīng)網(wǎng)絡(luò)可以像大腦一樣進(jìn)行學(xué)習(xí)，從數(shù)據(jù)中識(shí)別模式，但是它缺少存儲(chǔ)器架構(gòu)，無(wú)法對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行符號(hào)處理。 

DNC 簡(jiǎn)易模型，圖源：FT

為了提高深度學(xué)習(xí)的能力，谷歌的 DeepMind 團(tuán)隊(duì)創(chuàng)造了這種新型機(jī)器學(xué)習(xí)算法“ 可微分神經(jīng)計(jì)算機(jī)”DNC，它將“神經(jīng)網(wǎng)絡(luò)”計(jì)算系統(tǒng)與傳統(tǒng)計(jì)算機(jī)存儲(chǔ)器結(jié)合在一起。

神經(jīng)網(wǎng)絡(luò)是一個(gè)互聯(lián)的系統(tǒng)，它模仿生物神經(jīng)網(wǎng)絡(luò)運(yùn)行，比如大腦的工作模式。在最近取得的各項(xiàng)人工智能成就中，神經(jīng)網(wǎng)絡(luò)扮演了關(guān)鍵角色。例如，在數(shù)字助手，如 Google Voice、Siri 中增強(qiáng)語(yǔ)音識(shí)別能力。在之前的研究中，神經(jīng)網(wǎng)絡(luò)只能連接自有網(wǎng)絡(luò)所包含的數(shù)據(jù)。而最近，DeepMind 團(tuán)隊(duì)宣布，在 DNC 的支持下，神經(jīng)網(wǎng)絡(luò)可以接入之前不相容的外部數(shù)據(jù)，比如以傳統(tǒng)數(shù)字模式編碼的文本。這也就是說(shuō)，我們離會(huì)思考的計(jì)算機(jī)更近了一步。

從數(shù)學(xué)上講，DNC 類(lèi)似一個(gè)可微分的函數(shù)，這或許是研究人員稱(chēng)它為可微分的原因。而數(shù)字計(jì)算機(jī)不可微分，因此也無(wú)法做到像神經(jīng)網(wǎng)絡(luò)一樣從數(shù)據(jù)中學(xué)習(xí)。DNC 可以成功地理解圖形結(jié)構(gòu)，如家譜或傳輸網(wǎng)絡(luò)，它甚至可以根據(jù)一張家譜來(lái)判斷一個(gè)人的家族關(guān)系。此外，DNC 還能在沒(méi)有先驗(yàn)知識(shí)的情況下規(guī)劃在倫敦地鐵上的最佳路線，解決涉及用符號(hào)語(yǔ)言描述目標(biāo)的移動(dòng)拼圖謎題。

美國(guó)HBO連續(xù)劇《西部世界》劇照

推理是靈長(zhǎng)類(lèi)動(dòng)物才具備的能力，DeepMind 這種或許能夠“喚醒”機(jī)器的人工智能算法與最近大火的神劇《西部世界》中的設(shè)想一致——也許有一天，我們真的能看到會(huì)自主推理的機(jī)器人，以及能思考的計(jì)算機(jī)。

DNC 包含了若干個(gè)模塊，所有的這些模塊都完全不是符號(hào)化的，彼此之間通過(guò)純粹的模擬激活模型來(lái)交換信息流（streams），正如從生物大腦中記錄的那樣。

推理的一個(gè)關(guān)鍵前提，是記憶。在計(jì)算機(jī)中，記憶的角色由隨機(jī)訪問(wèn)內(nèi)存 RAM 承擔(dān)。當(dāng)計(jì)算機(jī)進(jìn)行推理，也就是運(yùn)行程序時(shí)，所有的信息都被捆綁在工作的內(nèi)存中，并且結(jié)合的方式數(shù)不勝數(shù)。把人類(lèi)的推理過(guò)程拿來(lái)與計(jì)算機(jī)程序相比，其實(shí)并不牽強(qiáng)。事實(shí)上，在現(xiàn)代可編程計(jì)算機(jī)（圖靈機(jī)）和亞里士多德的三段論存在嚴(yán)肅的歷史聯(lián)系。

DNC 項(xiàng)目主管 Alex Graves 表示，“神經(jīng)網(wǎng)絡(luò)的記憶受到計(jì)算本身的約束，我們決定通過(guò)分離存儲(chǔ)器的方式讓它變得更強(qiáng)大，這樣一來(lái)，不影響處理器就可以擴(kuò)充規(guī)模?！?/span>

一些獨(dú)立計(jì)算機(jī)科學(xué)家認(rèn)為通用 DNC 應(yīng)用范圍廣闊，例如，它可以用來(lái)生成視頻注釋?zhuān)瑥奈谋局刑崛∮幸饬x的內(nèi)容。甚至在未來(lái)，它還能夠應(yīng)用在包含問(wèn)答、像真實(shí)世界一樣的對(duì)話，這種需要一定的推理能力任務(wù)。

這個(gè)新項(xiàng)目被 Google 發(fā)表在《自然》雜志上。在文章里 Google 舉了若干個(gè)應(yīng)用實(shí)例，比如，集成后的深度學(xué)習(xí)技術(shù)能夠自動(dòng)發(fā)現(xiàn)兩個(gè)地鐵站之間最短的路線，它會(huì)自己進(jìn)行“推理”，說(shuō)出你想要到達(dá)的目的地。正確率高達(dá) 90% 以上。

英國(guó)《金融時(shí)報(bào)》援引斯坦福大學(xué)心智、大腦和計(jì)算中心主任 Jay McClelland 稱(chēng)，這項(xiàng)研究將成為人工智能領(lǐng)域“有趣且重要的里程碑”。

Via financial times & spectrum.ieee

推薦閱讀：

淺談神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，Deepmind更青睞正向傳播

DeepMind發(fā)布最新原始音頻波形深度生成模型WaveNet，將為T(mén)TS帶來(lái)無(wú)數(shù)可能

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。