雷鋒網(wǎng)AI科技評論消息：近日，在加拿大多倫多大學(xué)向量學(xué)院發(fā)起的“2017 - 2018年機(jī)器學(xué)習(xí)進(jìn)展與應(yīng)用”研討會上，神經(jīng)網(wǎng)絡(luò)之父Geoffrey Hinton做了一場報(bào)告《What is wrong with convolutional neural nets?》，在報(bào)告中Hinton講解了他多年來一直在做的研究工作，他稱之為“膠囊理論”（capsules theory）。

在報(bào)告中，他認(rèn)為“標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)”與真實(shí)的大腦神經(jīng)網(wǎng)絡(luò)相比有以下四個問題：

1、池化過程并沒有很好地模仿大腦中形狀知覺的心理過程——它不能解釋為什么我們?nèi)祟惸軐?nèi)在的坐標(biāo)系映射到物體上，以及為什么這些坐標(biāo)系這么重要；

2、池化解決的問題是錯的——我們想要的是信息的同變性而不是不變性，是理清信息而不是丟棄信息；

3、池化沒有利用底層線性結(jié)構(gòu)——它沒有利用在圖形中能很好地處理方差最大來源的自然線形流形。

4、池化在處理動態(tài)路由時很差勁——我們需要將輸入信息的每一部分路由到知道如何處理它的神經(jīng)元中，找到最佳的路徑就是在解析圖像。

Hinton提出了他“膠囊”（capsules）的概念。簡單地說，這些“膠囊”就是在神經(jīng)網(wǎng)絡(luò)中構(gòu)建和抽象出的子網(wǎng)絡(luò)。什么意思呢？一個標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，層與層之間是全連接的（也就是說，層1中的每個神經(jīng)元都可以訪問層0中的每個神經(jīng)元，并且其本身也可以被層2中每個神經(jīng)元所訪問），但這些連接并不一定都是有用的?！澳z囊理論”的方案是，神經(jīng)網(wǎng)絡(luò)由n個子網(wǎng)絡(luò)（膠囊）構(gòu)成，每個膠囊都專注于做一些單獨(dú)的任務(wù)，膠囊本身可能需要多個層網(wǎng)絡(luò)來實(shí)現(xiàn)。其輸出包括物體所屬類型的概率以及物體的狀態(tài)信息（比如位置、方向、大小、形變、速率、顏色等）。低層次膠囊輸出的參數(shù)會被轉(zhuǎn)換成高層級膠囊對實(shí)體狀態(tài)的預(yù)測，如果預(yù)測一致，則輸出這一層次的參數(shù)。

一個典型的膠囊將從多個低層次的膠囊中獲得信息（多維預(yù)測向量），然后尋找一個預(yù)測的緊致束（tight cluster of predication）。如果它能夠找到這個緊致束，那么它就會輸出實(shí)體在這個域內(nèi)類型存在的較高的概率，以及生成狀態(tài)的重心（狀態(tài)平均值）。這種方式可以很好地過濾掉噪聲，因?yàn)檩^高維度的巧合發(fā)生的概率很小，所以膠囊的方法要比“標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)”好很多。Hinton說，他這種“膠囊”的想法是受到腦科學(xué)中對“迷你列組織”（mini-column organization）研究的很大的啟發(fā)。

此外，據(jù)雷鋒網(wǎng)了解，關(guān)于“膠囊理論”的研究Hinton已在多個場合做過類似的報(bào)告，不過目前Hinton好想并沒有打算把他的研究成果發(fā)表出去，因?yàn)樗X得現(xiàn)在的研究還沒有讓他滿意——那么，當(dāng)他對這項(xiàng)研究滿意的時候，會不會再次成為“the Father of ……”  ？

雷鋒網(wǎng)注：資源鏈接——

1、What's wrong with convolutional nets? @MIT TechTV(2014年在“腦與認(rèn)知科學(xué)”研討會上的報(bào)告視頻，內(nèi)容類似)

2、Hinton未發(fā)表工作：Transforming Auto-encoders（PDF）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。