作者 | 青暮
6月22日，北京智源大會舉行了認(rèn)知神經(jīng)基礎(chǔ)專題論壇，來自北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國家重點實驗室的畢彥超教授、北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院的方方教授、北京師范大學(xué)心理學(xué)部的劉嘉教授、北京大學(xué)計算機(jī)系的吳思教授、中國科學(xué)院自動化研究所的余山教授分別做了報告，共同探究認(rèn)知神經(jīng)科學(xué)能為AI帶來什么啟發(fā)。 第二位報告者是北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院院長方方教授，題目為《人類注意力圖和功能》。方方教授在報告中討論了人腦注意的兩個重要屬性：注意力圖和動態(tài)注意機(jī)制。注意力圖有兩種。注意顯著圖（Saliency map）源于自下而上的注意，注意優(yōu)先圖（Priority map）則結(jié)合了自上而下和自下而上的活動，以及任務(wù)相關(guān)性。對多個物體的注意是交替性、節(jié)律性、非靜態(tài)的采樣。
以下是演講全文，AI科技評論做了不改變原意的整理。我們一般說注意是對外界信息的一種選擇性加工。解釋注意最好的例子就是交替呈現(xiàn)以下兩張圖。它們之間有一個非常大的差別，如果不加注意就無法看出。
注意是認(rèn)知科學(xué)里最大的一個領(lǐng)域，每年有超過1萬篇文章研究注意現(xiàn)象。Corbetta和Shulman在2002年描述了關(guān)于注意控制的神經(jīng)模型，總結(jié)出兩條注意通路。藍(lán)色區(qū)域表示背側(cè)額頂網(wǎng)絡(luò)，負(fù)責(zé)自上而下的注意控制。橙色區(qū)域表示腹側(cè)額頂網(wǎng)絡(luò)，負(fù)責(zé)刺激驅(qū)動的注意控制。注意最主要的功能是調(diào)節(jié)感覺皮層的神經(jīng)活動，Reynolds和Heeger描述了兩種典型方式。第一種是乘法縮放。對于一個方向選擇性神經(jīng)元，注意可以整體提高神經(jīng)元在各個方向上的反應(yīng)。如下圖左所示，不注意（藍(lán)線）和注意（紅線）之間的變換是一種乘法關(guān)系。第二種是銳化。注意可以增強神經(jīng)元對特定方向的反應(yīng)，讓神經(jīng)元對外界刺激的選擇性更強。這是注意的一些基本功能和神經(jīng)結(jié)構(gòu)。
三維世界投射到我們眼睛上就變成了二維世界，這個二維世界有非常多物體和細(xì)節(jié)。關(guān)于哪些東西更重要的空間分布，就叫注意力圖。它分為兩種：一種是注意顯著圖(Saliency map)，指自下而上的注意。例如一個非常奇怪的東西出現(xiàn)在視野中，就會自動吸引你的注意。另一種叫注意優(yōu)先圖(Priority map)，則是我們整合自上而下的活動和自下而上的活動形成的注意力圖。做任務(wù)時的任務(wù)屬性也會影響注意放在何處。比如我正在做報告，那么我的注意會更多放在面前的計算機(jī)屏幕上。這兩種地圖如何產(chǎn)生，是我們所關(guān)注的問題。關(guān)于Saliency map ，首先講最簡單的自下而上的注意力圖。下圖左邊是一張海景圖，通過計算模型可以算出右邊的Saliency map。越亮的部分表示越有吸引力。
如何得到右圖？我們根據(jù)Itti和Koch在1998年提出的模型，計算一張圖片在不同尺度上顏色、亮度以及朝向的差異對比度，進(jìn)行多個尺度的整合，形成Saliency map。
有很多重要的文獻(xiàn)探討Saliency map在大腦什么地方產(chǎn)生。不同的結(jié)論包括在頂葉、前額葉眼區(qū)、上丘整合等等。但是我認(rèn)為視皮層V1區(qū)就可以充分解釋Saliency map。
為什么以前很多文章都說注意在比較高級的頂葉、額葉等產(chǎn)生？一個可能的原因就是，以前的生命科學(xué)研究混淆了自上而下和自下而上的信號。如果我們要研究Saliency map，必須研究純粹的自下而上的刺激。怎么樣才能做到？我們用無意識的方法，在沒有任何自上而下的干擾下，實現(xiàn)研究自下而上的注意。實驗示意圖如下?！笆帧笔菂⑴c者的注視點，四個“減號”是Saliency map的位置。它會顯著吸引我們的注意，而且經(jīng)過實驗操縱后不會被意識到。我們改變“減號”的角度，將“減號”和“I”之間的夾角分別設(shè)為0度、15度、30度和90度。隨著夾角增加，它吸引注意的能力逐漸增強。
如何把這個刺激變得無意識？下圖是我們的實驗流程。首先呈現(xiàn)線索圖片(Cue) 50ms，然后呈現(xiàn)掩蔽圖片(Mask) 100ms，然后呈現(xiàn)注視點 50ms，最后是探測任務(wù)，探測第四張圖十字下面兩個點的相對位置。由于線索僅僅呈現(xiàn)非常短的50ms，又緊跟著100ms的掩蔽圖片，所以被試完全不會意識到線索的存在。但是探測任務(wù)放在線索的顯著區(qū)，被試依然有較好的表現(xiàn)。任務(wù)放在對側(cè)的話，被試的表現(xiàn)就比較差。兩個條件的差別就代表自下而上的注意強度。
我們接著利用視皮層V1區(qū)神經(jīng)元的屬性構(gòu)建注意模型?？纯聪聢D的數(shù)據(jù)，隨著朝向傾斜角度增加，注意的吸引力也逐漸增強，跟計算模型吻合得非常好。我們發(fā)現(xiàn)Saliency map跟V1的神經(jīng)元活動是有關(guān)系的。
從初級視覺層到頂葉，Saliency map的效果逐漸減小。最明顯的是V1區(qū)域，可以產(chǎn)生自下而上的注意。我們上面的研究基于人工刺激，下圖則基于自然場景。圖中的馬具有非常高的顯著度，甲殼蟲具有較低的顯著度。他們在大腦皮層誘發(fā)出的信號有沒有區(qū)別？
我們重復(fù)了這個行為學(xué)實驗，發(fā)現(xiàn)馬確實可以誘發(fā)出更強的注意信號，甲殼蟲則不可以。并且還是在V1區(qū)域展示了注意的分布，所以我們再一次用自然場景證明了Saliency map跟V1是相關(guān)的。基于這個生理學(xué)依據(jù)，我們構(gòu)建了一個動態(tài)注意模型。這個模型的大致框架有三個組件：第一部分參考感覺反應(yīng)，模擬V1神經(jīng)元對自然場景做稀疏編碼；第二部分是中央凹圖像多分辨率金字塔方法。對于自然場景，如果盯住這個紅色十字注視點，編碼會非常清晰，但是對外圍的編碼就非常粗糙；第三部分模擬視覺工作記憶，注視一個場景后很難立刻再跳回去。
我們把這三個組件放在注意模型里，構(gòu)建了一個基于圖論的模型。這個動態(tài)的注意模型將V1神經(jīng)元構(gòu)成網(wǎng)絡(luò)，用該網(wǎng)絡(luò)搜尋圖片上最富有信息的區(qū)域，然后跳到第二富有刺激信息的區(qū)域。下圖中最下方圖的紅線代表在自然場景里人類的眼球運動軌跡，中間是我們模型預(yù)測的軌跡。實驗結(jié)果表明我們的模型和實際情況吻合得更好。
關(guān)于Priority map，回到那張海景圖，Saliency map是中間上圖。任務(wù)要求尋找圖上的小島，于是小島被高亮標(biāo)記。中間這兩張圖并在一起后，小島應(yīng)該仍是高亮的。Priority map整合了自下而上的顯著性，與當(dāng)前任務(wù)的相關(guān)性。
我們又用人的面孔進(jìn)行實驗。面孔比人工刺激復(fù)雜得多，還具有倒立效應(yīng)，即同樣的臉倒過來后很難識別。這也非常影響Priority map在面孔上的分布。
我們給被試看正立臉、倒立臉和相位打亂的面孔，讓被試的眼睛在面孔上隨便跳動。另外，掃描被試視皮層對面孔的反應(yīng)，得到行為學(xué)的數(shù)據(jù)和腦活動的數(shù)據(jù)。
我們重構(gòu)出任意一個視皮層對面孔每一個部分的反應(yīng)。下圖右下角是模型重構(gòu)的反應(yīng)，顏色越暖說明視皮層相應(yīng)區(qū)域?qū)γ婵椎姆磻?yīng)更強。右上角是行為學(xué)數(shù)據(jù)，我們第一眼看面孔時注視什么地方。顏色越暖說明第一次著眼此處的概率越大，也就是該區(qū)域越容易吸引眼球。
下圖是這個實驗最主要的結(jié)果。我們測量最左邊正臉和倒臉吸引眼球的程度，描述了視皮層V1、V2、V3區(qū)域?qū)φ樅偷鼓樂磻?yīng)的分布。
我們發(fā)現(xiàn)V2和V3對正臉的表征是最精確的，遠(yuǎn)遠(yuǎn)高于其他三種情況。V1對正臉和倒臉的反應(yīng)表征的精準(zhǔn)度都比較低，但是V2和V3對正臉表征的精準(zhǔn)度比對倒臉表征高很多。
總結(jié)一下就是，人類早期視皮層，從V1區(qū)域到V3區(qū)域，V1對Saliency map即自下而上的注意起到很好的表征作用，V2和V3則對Priority map即自上而下的、任務(wù)驅(qū)動的注意起到很好的表征作用。過去關(guān)于注意采樣的大部分觀點認(rèn)為，我們一旦注意到一個物體，對它的注意是持續(xù)的、靜止的。但事實是不是這樣的？從現(xiàn)在的數(shù)據(jù)來看，不一定。另外一種觀點是有數(shù)據(jù)支持的，特別是同時注意兩個物體的時候。如下圖所示，一種理論提出注意把關(guān)注點分割為兩塊，同時關(guān)注藍(lán)色和黃色方塊，這是一種平行和穩(wěn)定的關(guān)系。另外一種理論認(rèn)為，注意在這兩個物體之間切換。我們希望用實驗來提供進(jìn)一步證據(jù)。在我們的腦成像實驗之前，行為學(xué)研究已經(jīng)發(fā)現(xiàn)，如果同時注意左右兩個物體，注意其實是左右切換的、順序的、周期性的交替采樣過程。我們的腦成像結(jié)果也證明，對多個物體的注意是交替性的、節(jié)律性的采樣，而不是一種靜態(tài)的過程。
下圖表示隨著不同的任務(wù)要求（100%注意A并且0%注意B、75%注意A并且25%注意B、50%注意A并且50%注意B），注意在不同的物體之間節(jié)律性分配。它不僅僅對靜態(tài)物體有用。對于動態(tài)的物體，比如兩個運動的小球，同樣可以發(fā)現(xiàn)類似的節(jié)律性采樣過程。
上面講的是對于物體的采樣和對于空間的采樣，如果同時注意多個特征，采樣是怎么樣的過程呢？這個問題相當(dāng)復(fù)雜。比如對于任何一個朝向、任何一個運動方向來說，有很多神經(jīng)元同時進(jìn)行反應(yīng)，怎樣描述這種同時的反應(yīng)？我們做了一個腦磁實驗，呈現(xiàn)一個刺激，測量腦磁信號。這些信號由大腦中不同朝向神經(jīng)元的不同通道反應(yīng)組合而成。然后我們用腦磁信號反解出每個通道的反應(yīng)。
實驗表明，如果我們同時注意兩個特征，對這兩個特征的表征同樣是交替性的，而且是反相位的。無論是基于空間的注意、基于客體的注意，還是基于特征的注意，都不是靜態(tài)的過程，而是在不同的空間、客體和特征之間交替。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
