本文為 AI 研習(xí)社編譯的技術(shù)博客，原標(biāo)題 ：

From brain waves to robot movements with deep learning: an introduction.

作者 | Norman Di Palo

翻譯 | 狐不歸              

校對(duì) | 鄧普斯·杰弗        審核 | 醬番梨       整理 | 立魚(yú)王

原文鏈接：

https://towardsdatascience.com/from-brain-waves-to-arm-movements-with-deep-learning-an-introduction-3c2a8b535ece

神經(jīng)系統(tǒng)是一個(gè)極為復(fù)雜的結(jié)構(gòu)。你整個(gè)身體中的神經(jīng)總長(zhǎng)度超過(guò)十萬(wàn)公里，它們的每一部分都與你的脊髓和大腦相連。這個(gè)“網(wǎng)絡(luò)”傳輸著每一個(gè)控制人體運(yùn)動(dòng)的電脈沖信號(hào)。每一個(gè)指令都從你的大腦發(fā)出，大腦是一個(gè)由神經(jīng)元構(gòu)成更加神奇的的結(jié)構(gòu)，神經(jīng)元間通過(guò)電激活信號(hào)進(jìn)行通信。理解和解釋腦電模式是神經(jīng)科學(xué)家和神經(jīng)生物學(xué)家的最大任務(wù)之一，但它也是一個(gè)非常具有挑戰(zhàn)性的任務(wù)。

一種記錄大腦活動(dòng)的非侵入式的方法是腦電圖（EEG），這項(xiàng)技術(shù)通過(guò)放置在病人頭皮上的電極記錄大腦的電壓波動(dòng)。通常會(huì)有大約30個(gè)這樣的電極被放置在頭皮周?chē)杂涗浤X電波的整體波動(dòng)。總之，大腦活動(dòng)與EEG信號(hào)之間的關(guān)系非常復(fù)雜，除了一些特定的實(shí)驗(yàn)室試驗(yàn)之外，人們對(duì)其了解甚少。由此，產(chǎn)生了一個(gè)巨大的挑戰(zhàn)：如何對(duì)這些EEG掃描結(jié)果進(jìn)行“解碼”，從而通過(guò)非侵入式的腦機(jī)接口（BCI）控制機(jī)器人假肢或者其他設(shè)備。

作為一門(mén)強(qiáng)數(shù)據(jù)驅(qū)動(dòng)的學(xué)科，在與深度學(xué)習(xí)相關(guān)的模式識(shí)別領(lǐng)域最近有了新的突破，創(chuàng)造出了一種新的使用神經(jīng)網(wǎng)絡(luò)分析這些電信號(hào)的新方法。在這篇文章中，我們會(huì)看到有關(guān)這個(gè)主題的介紹：我們將會(huì)看到一個(gè)由Kaggle競(jìng)賽提供的EEG數(shù)據(jù)，該競(jìng)賽旨在檢測(cè)出哪一種EEG模式與特定的胳膊/手的姿勢(shì)相關(guān)，比如抓取或舉起物體。接著我們會(huì)設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)，在用不同的方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理以后，對(duì)不同的動(dòng)作進(jìn)行分類(lèi)。我同樣會(huì)展示一些大腦活動(dòng)的數(shù)據(jù)可視化（圖像），使我們對(duì)手上的數(shù)據(jù)有大致的了解。這個(gè)領(lǐng)域的研究的最終目的是開(kāi)發(fā)出一種用戶(hù)負(fù)擔(dān)得起且有用的假肢裝置，通過(guò)用大腦控制假體，幫助截肢者重獲輕松完成基本動(dòng)作的能力。該技術(shù)同樣可以被應(yīng)用于讀取肌肉電信號(hào)的活動(dòng)，通過(guò)分析激活狀態(tài)的肌肉，對(duì)（使用者）想要進(jìn)行的那種類(lèi)型的動(dòng)作進(jìn)行解碼。

你可以在這個(gè)在線olaboratory Notebook上找到本文中的所有代碼，你可以在你的瀏覽器上直接運(yùn)行代碼。Github鏈接請(qǐng)閱讀原文。

若你有Kaggle賬號(hào)，則可以免費(fèi)下載數(shù)據(jù)。你即將看到，數(shù)據(jù)只由幾個(gè).csv文件組成，這些文件分別是：

• 作為模型輸入的EGG數(shù)據(jù)，這項(xiàng)數(shù)據(jù)由放置在病人頭皮上的32個(gè)電極采集得到。數(shù)據(jù)采集頻率為500Hz。

• 在6中可能的運(yùn)動(dòng)中，受試者試圖完成的動(dòng)作的結(jié)構(gòu)化標(biāo)簽。

這些數(shù)據(jù)記錄了不同的受試者完成一個(gè)簡(jiǎn)單的動(dòng)作時(shí)的EEG信號(hào)，比如抓取或移動(dòng)物體的動(dòng)作。因此，數(shù)據(jù)集被劃分為不同的段，也被歸入不同的類(lèi)目中。我們稍后在精確度預(yù)測(cè)時(shí)可以看到，腦電波的個(gè)體差異性很強(qiáng)，對(duì)于同一個(gè)人，模型可以以很高的準(zhǔn)確率預(yù)測(cè)它所沒(méi)有見(jiàn)過(guò)的片段，但如果對(duì)一個(gè)新的受試者進(jìn)行這樣的預(yù)測(cè)卻可能有較大難度。

因此我們的目標(biāo)就是創(chuàng)建一個(gè)神經(jīng)網(wǎng)絡(luò)，將讀取到的EEG信號(hào)作為輸入，輸出受試者想要完成的6種可能動(dòng)作的概率分布。由于“沒(méi)有動(dòng)作”本身不是6個(gè)類(lèi)之一，我們可以將它單獨(dú)作為一類(lèi)添加，或者將所有可能的輸出設(shè)定為0到1之間的值，使用一個(gè)閾值去決定某類(lèi)動(dòng)作是否被檢測(cè)到。如果所有動(dòng)作的預(yù)測(cè)值都在閾值以下，我們就認(rèn)為沒(méi)有動(dòng)作發(fā)生。

[電極的位置，來(lái)源： https://www.kaggle.com/c/grasp-and-lift-eeg-detection/data]

我對(duì)這些電極上的活動(dòng)做了一個(gè)動(dòng)畫(huà)版的數(shù)據(jù)可視化。由于采樣頻率較高（500Hz），我使用簡(jiǎn)單的3階低通濾波器對(duì)數(shù)據(jù)進(jìn)行平滑，并用前100幀做了個(gè)動(dòng)畫(huà)，也就是大約0.2秒的時(shí)間。

[前1/5秒內(nèi)電極的活動(dòng)]

我們還可以以2維熱圖的形式對(duì)數(shù)據(jù)進(jìn)行可視化，縱軸是時(shí)間（從頂部開(kāi)始向下），橫軸表示32個(gè)電極。

[EEG時(shí)態(tài)熱圖（時(shí)間從頂部開(kāi)始一直往下）]

這同樣非常有用，我們即將看到，它會(huì)幫助我們完成時(shí)空卷積。

為了提升學(xué)習(xí)階段的效果，原始數(shù)據(jù)要先經(jīng)過(guò)預(yù)處理。比如，EEG信號(hào)的采樣頻率很高，而要完成的動(dòng)作的變化率在則相對(duì)較低，這會(huì)造成許多問(wèn)題：數(shù)據(jù)變化得很快，而動(dòng)作卻一直保持不變，這樣一來(lái)數(shù)據(jù)的波動(dòng)就都會(huì)被視為噪聲。除此之外，時(shí)域的模型會(huì)接收到大量快速變化的數(shù)據(jù)，與此同時(shí)分類(lèi)的輸出卻保持不變。

第一個(gè)可能的步驟是使用低通濾波器對(duì)數(shù)據(jù)進(jìn)行濾波。即使是一個(gè)簡(jiǎn)單的運(yùn)行均值也會(huì)有效。通過(guò)這種方法，我們減少了數(shù)據(jù)的高頻變化，同時(shí)保留了更加有用的低頻結(jié)構(gòu)，因?yàn)槲覀円诸?lèi)的動(dòng)作變化的頻率非常低（最高1Hz）。在此之后我們可以對(duì)數(shù)據(jù)進(jìn)行下采樣，即每10100個(gè)點(diǎn)僅保留一個(gè)數(shù)據(jù)。這一操作也有助于降低時(shí)間維度和數(shù)據(jù)相關(guān)性，從某種意義上來(lái)說(shuō)，使數(shù)據(jù)更有時(shí)間稀疏性。除此之外，許多其他預(yù)處理技術(shù)也可以被應(yīng)用，但是為了這篇介紹的簡(jiǎn)潔性，這里不多贅述，現(xiàn)在開(kāi)始設(shè)計(jì)我們的神經(jīng)網(wǎng)絡(luò)。

處理時(shí)序數(shù)據(jù)，我們首先想到的結(jié)構(gòu)之一就是循環(huán)神經(jīng)網(wǎng)絡(luò)。

這些網(wǎng)絡(luò)具有動(dòng)態(tài)結(jié)構(gòu)，因此會(huì)有一個(gè)能夠?qū)r(shí)態(tài)數(shù)據(jù)進(jìn)行編碼的中間狀態(tài)，因此可以根據(jù)過(guò)去的輸入計(jì)算輸出。我在Keras中設(shè)計(jì)了一個(gè)LSTM網(wǎng)絡(luò)，并輸入具有時(shí)序結(jié)構(gòu)的訓(xùn)練數(shù)據(jù)。網(wǎng)絡(luò)的效果不錯(cuò)，但在這個(gè)特別的例子里，我更想展示，通常用于圖像處理的卷積神經(jīng)網(wǎng)絡(luò)是如何在時(shí)態(tài)數(shù)據(jù)上做得很好的。

如前所述，從某種意義上說(shuō)，我們實(shí)際上在處理的是時(shí)空數(shù)據(jù)。上文所展示的熱圖的縱軸表示的是時(shí)域上的變化，而橫軸展示的是不同的電極，幾乎所有相鄰的電極在人的頭皮上也是空間相鄰的。這意味著我們可以利用卷積來(lái)提取出有用的特征。一個(gè)2D的核可以同時(shí)對(duì)時(shí)間和空間上的模式進(jìn)行編碼。想象一個(gè)3*3的卷積核，它能夠在熱圖所描述的矩陣上，通過(guò)對(duì)三個(gè)不同的時(shí)間步長(zhǎng)（3個(gè)核行）以及3和不同的電極（3個(gè)核列）進(jìn)行加權(quán)來(lái)提取特征。因此，一個(gè)具有多個(gè)卷積核的卷積神經(jīng)網(wǎng)絡(luò)可以找到在有限的時(shí)間周期里，電極的激活隨著受試者想要做的運(yùn)動(dòng)而變化的特征。

我在Keras中實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的CNN網(wǎng)絡(luò)，檢查它在這組數(shù)據(jù)集上的表現(xiàn)。在這個(gè)在線Colaboratory Notebook上，你可以找到所有本文中的代碼，并直接在你的瀏覽器上運(yùn)行。Github鏈接請(qǐng)閱讀原文。

為了檢查我們模型的效果，如Kaggle競(jìng)賽中所建議的那樣，我們對(duì)模型的AUC分?jǐn)?shù)進(jìn)行檢查。如果你對(duì)AUC不太熟悉，可以查看這個(gè)清晰而直觀的解釋?zhuān)ㄦ溄樱?。你可以在在線筆記本中自己嘗試，在一個(gè)快速的訓(xùn)練階段后，我們能夠達(dá)到約0.85的AUC分?jǐn)?shù)。

通過(guò)訓(xùn)練不同的網(wǎng)絡(luò)結(jié)構(gòu)、采用預(yù)處理技術(shù)等手段，可以實(shí)現(xiàn)許多改進(jìn)。但這個(gè)介紹性的概念驗(yàn)證（POC）展示了神經(jīng)網(wǎng)絡(luò)從這類(lèi)數(shù)據(jù)中進(jìn)行學(xué)習(xí)的卓越能力。

在這篇文章中，我們對(duì)腦電信號(hào)EEG做了介紹，這是一種非侵入式的、相對(duì)簡(jiǎn)單的從使用者的頭皮上采集的有用信號(hào)。我們看到了一些直觀的數(shù)據(jù)可視化結(jié)果，以及怎樣使用神經(jīng)網(wǎng)絡(luò)從中提取出諸如運(yùn)動(dòng)意圖這樣的特征。我相信這個(gè)領(lǐng)域（機(jī)器人假體、腦機(jī)交互）會(huì)因?yàn)樯疃葘W(xué)習(xí)而有顯著快速的進(jìn)步，數(shù)據(jù)科學(xué)技術(shù)、平臺(tái)和競(jìng)賽也會(huì)更加廣闊、逐年發(fā)展。

這些技術(shù)的影響將是巨大的。擁有能夠以自然的方式控制的低成本的假肢，可以極大地改善數(shù)百萬(wàn)人的生活。

我建議你們?nèi)タ匆豢础肮采?xiàng)目”，這是個(gè)最近啟動(dòng)的項(xiàng)目，一群有才華的人聚在一起，試著造出一個(gè)能夠用肌肉的活動(dòng)控制的低成本智能假臂，以使得這類(lèi)設(shè)備真正落地、普及。

關(guān)注我的Twitter，獲取我工作上的更多動(dòng)態(tài)。更多： https://twitter.com/normandipalo

你可以在這個(gè)在線Colaboratory Notebook 上找到本文中的所有代碼，并且在你的瀏覽器上直接運(yùn)行。

想要繼續(xù)查看該篇文章相關(guān)鏈接和參考文獻(xiàn)？

長(zhǎng)按鏈接點(diǎn)擊打開(kāi)或點(diǎn)擊底部【從腦電波到機(jī)器人運(yùn)動(dòng)——深度學(xué)習(xí)：介紹】：

https://ai.yanxishe.com/page/TextTranslation/1436

AI研習(xí)社每日推薦：雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

CMU 2018 秋季《深度學(xué)習(xí)》課程將教你學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，以及它們?cè)诒姸?AI 任務(wù)中的應(yīng)用。課程結(jié)束后，期望學(xué)生能對(duì)深度學(xué)習(xí)有足夠的了解，并且能夠在眾多的實(shí)際任務(wù)中應(yīng)用深度學(xué)習(xí)。

加入小組免費(fèi)觀看視頻：https://ai.yanxishe.com/page/groupDetail/188