學(xué)習(xí)到底是什么？

人類對于學(xué)習(xí)的認知往往受制于我們的感知能力和衡量標準，這也是為何千年以來人類學(xué)習(xí)的進化速度異常的緩慢。

然而，現(xiàn)代多模態(tài)傳感數(shù)據(jù)的處理能力日新月異，通過在實際的教育過程收集到的學(xué)生生理信號、言語表達、面部表情、姿勢等多模態(tài)數(shù)據(jù)，科學(xué)家們正在以一種新的視角重新審視和理解學(xué)習(xí)。

中國教育行業(yè)正在經(jīng)歷一場以數(shù)據(jù)和人工智能為核心的技術(shù)變革，這也是為何在今年8月10日-16日于澳門舉辦的國際人工智能聯(lián)合會議上（IJCAI）上，圍繞多模態(tài)數(shù)據(jù)分析和智能教育的研討會AIMA4EDU受到了業(yè)內(nèi)極大的關(guān)注。

AIMA4EDU，全稱為“基于人工智能的多模態(tài)分析用于理解現(xiàn)實世界教育環(huán)境中的人類學(xué)習(xí)”，由中國人工智能教育獨角獸乂學(xué)教育-松鼠AI聯(lián)合舉辦，8月11日舉辦為期一天。研討會除了頒發(fā)最佳論文和最佳學(xué)生論文之外，還邀請了來自加州伯克利大學(xué)、孟菲斯大學(xué)和松鼠AI的專家，分享他們基于多模態(tài)數(shù)據(jù)的教育前沿研究。

明年的AIMA4EDU研討會將與IJCAI 2020一起在日本橫濱舉辦。

最佳論文

獲得最佳論文的是來自荷蘭開放大學(xué)和德國萊布尼茨教育研究和信息研究所的“Multimodal Pipeline: A generic approach for handling multimodal data for supporting learning（多模態(tài)工作流：用于處理多模態(tài)數(shù)據(jù)以支持學(xué)習(xí)的通用方法）”。

多模態(tài)工作流是一種用于支持學(xué)習(xí)的多模態(tài)數(shù)據(jù)的收集、存儲、注釋、處理和利用的方法。 在目前的發(fā)展階段，多模態(tài)工作流由兩個相關(guān)的原型組成：1）多模態(tài)學(xué)習(xí)中心，用于收集和存儲來自多個應(yīng)用程序的傳感器數(shù)據(jù)；2）可視化檢查工具，用于可視化和記錄所記錄的會話。 多模態(tài)工作流可用于支持各種學(xué)習(xí)場景，如演示技巧、患者人體模型的醫(yī)學(xué)模擬等，可以提供不同的支持策略，包括檢測錯誤，并在智能輔導(dǎo)系統(tǒng)中提示實時反饋，或通過學(xué)習(xí)分析儀表板激勵自我反省。論文鏈接在此。

最佳學(xué)生論文 

獲得最佳學(xué)生論文的是來自新南威爾士大學(xué)研究團隊的“Deep Multi-agent Attentional Learning for Cognitive Attention Analysis in Educational Context（深層多智能體學(xué)習(xí)在教育語境中的認知注意力分析）”。

傳感系統(tǒng)的最新發(fā)展允許連續(xù)產(chǎn)生大量傳感數(shù)據(jù)，這使得復(fù)雜的學(xué)習(xí)成為可能。為了應(yīng)對日益增長的對教育問題的關(guān)注，本文將學(xué)生的EEG信號與教育背景下的認知注意狀態(tài)聯(lián)系起來。研究團隊考慮人類關(guān)注的兩個固有特征，即空間 - 時間上不同的特征顯著性和個體特征之間的關(guān)系。 基于這些，本文提出了一種多智能體時空關(guān)注模型。時空關(guān)注機制有助于智能地選擇信息渠道及其活躍期。 并且所提出的模型中的多個智能體表示具有集體全局選擇的單個特征的生理現(xiàn)象。 通過共同目標，智能體共享獲得的信息并協(xié)調(diào)他們的選擇策略以學(xué)習(xí)最佳的注意力分析模型。論文鏈接在此。

以下是大會演講的亮點匯總：

孟菲斯大學(xué)Frank Andrasik：關(guān)于神經(jīng)反饋治療自閉癥譜系障礙的方法論思考

Andrasik博士目前擔(dān)任田納西州孟菲斯大學(xué)心理學(xué)系行為醫(yī)學(xué)中心的杰出教授、主席和主任。他在1979年獲得俄亥俄大學(xué)臨床心理學(xué)博士學(xué)位，至今發(fā)表過大約270篇文章，并發(fā)表了大量演講。Andrasik博士同時還是心理學(xué)家，以及Applied Psychophysiology和Biofeedback兩份刊物的主編。

Andrasik博士的演講討論了神經(jīng)反饋（Neurofeedback）在治療自閉癥譜系障礙患者（Autism Spectrum Disorder，簡稱ASD）的方法論。ASD簡單而言就是自閉癥，但是一個更廣義上的醫(yī)學(xué)名詞。

腦神經(jīng)反饋訓(xùn)練則是目前一種比較新穎的治療手段，通過檢測患者的腦波活動狀態(tài)，針對大腦薄弱的區(qū)域通過特殊的手段鍛煉大腦神經(jīng)。在過去三年，這項技術(shù)呈現(xiàn)井噴式增長，并且開始大量用于商業(yè)化，位于佛羅里達的Neurocore是目前美國最大的神經(jīng)反饋服務(wù)供應(yīng)商之一，美國教育部長貝齊·德沃斯（Betsy DeVos）擁有該公司的部分股權(quán)。

盡管神經(jīng)反饋的發(fā)展迅猛，但Andrasik博士列舉了該治療技術(shù)在過去幾年出現(xiàn)的問題：比如安慰劑效應(yīng)，忽略了衡量維度，缺乏長期跟蹤患者狀態(tài)的機制。

神經(jīng)反饋公司夸大的宣傳也是行業(yè)的普遍現(xiàn)象：美國聯(lián)邦貿(mào)易委員會指控Lumos游戲的創(chuàng)建者Lumos Labs欺騙消費者，毫無根據(jù)地聲稱他們的游戲可以幫助患者在工作和學(xué)校中表現(xiàn)更好，并減少或延遲與年齡和其他嚴重健康狀況相關(guān)的認知障礙。    

那么該如何推動這個行業(yè)前進？Andrasik博士總結(jié)了七個方向：

1.  DSM-5提高診斷精度。DSM-5是美國精神疾病診斷與統(tǒng)計手冊第五版，把當代人們所有因為情緒控制不當和各種奇葩的病癥列為各類輕~重型精神?。?/p>

2.  認識到皮質(zhì)缺乏不是癥狀的唯一原因。 外周生理活動、例如心率及其變異性，與神經(jīng)生理學(xué)信號密切相關(guān)，并與社會參與度有關(guān)；

3.  確定反應(yīng)的預(yù)測因素，治療可能需要40-80個療程；

4.  利用非接觸式電容式EEG電極，基于近紅外光譜（NIRS）的傳感器，可穿戴式頭盔設(shè)備等，在最需要的環(huán)境中每天練習(xí)；

5.  加強對治療機制的關(guān)注；

6.  利用機器學(xué)習(xí)方法；

7.  關(guān)注在真實環(huán)境而不是實驗室環(huán)境中的功效。

松鼠AI 首席架構(gòu)師、Richard Tong：基于智能體的自適應(yīng)教學(xué)系統(tǒng)設(shè)計框架

松鼠AI首席架構(gòu)師Richard Tong曾擔(dān)任過Knewton的大中華區(qū)負責(zé)人和Amplify Education的解決方案架構(gòu)總監(jiān)，除此之外，他還是IEEE AIS（自適應(yīng)教學(xué)系統(tǒng)）標準工作組成員以及互操作性小組的主席（IEEE 2247.2）。

Richard Tong介紹了松鼠AI建立自適應(yīng)教學(xué)系統(tǒng)框架的初衷和細節(jié)。他認為，阻擋優(yōu)質(zhì)教育的普及和規(guī)?；淖畲笳系K來自于三點：成本、可行性、系統(tǒng)慣性?；诖耍墒驛I堅信教育方法需要重新定義：

? 每個學(xué)生都不同，任何基于團隊的教學(xué)都不能有效地利用學(xué)生的時間；

? AI現(xiàn)在可以提供大規(guī)模的連續(xù)自適應(yīng)一對一體驗；

? 人類教師（教練）應(yīng)提供有針對性的、社會的和具有動機的個人支持。

那為什么教育需要一個基于智能體的框架？Richard 認為，一個智能體框架能設(shè)計出更好的教育過程：

? 智能體更好地了解整個教育過程和產(chǎn)品，學(xué)習(xí)的關(guān)鍵條件可以在智能體框架中得到很好的體現(xiàn)，包括學(xué)習(xí)的準備、學(xué)習(xí)能力、以及學(xué)習(xí)環(huán)境；

? 智能體框架是一個發(fā)生學(xué)習(xí)的自然框架，可以更好地幫助學(xué)生學(xué)習(xí)科學(xué)，擁有更好的可解釋性和人機界面設(shè)計；

? 更好地智能體設(shè)計可以更好地設(shè)計教育系統(tǒng)，智能體的水平應(yīng)主要通過智能體改善學(xué)習(xí)成果的能力來衡量，而不是通過實施方法的復(fù)雜程度來衡量

Richard 簡單介紹了松鼠AI自適應(yīng)教學(xué)系統(tǒng)的設(shè)計框架，主要由三部分組成：一個教學(xué)智能體，學(xué)習(xí)擁有本體層、傳感器、資源和工具；一個復(fù)合模型，包含領(lǐng)域模型、學(xué)習(xí)模型、交互模型；以及一個教學(xué)模型，可以看成是一個強化學(xué)習(xí)的策略，有行為、規(guī)則、和獎勵函數(shù)。

在整個框架下，松鼠AI設(shè)計了四種智能體：外環(huán)智能體、內(nèi)環(huán)智能體、伴侶智能體、模擬學(xué)生智能體。

需要著重了解的是這個外環(huán)-內(nèi)環(huán)框架機制，也可以理解宏觀-微觀適應(yīng)性架構(gòu)。外環(huán)智能體會遍歷一個動態(tài)的任務(wù)序列，結(jié)合本體層的學(xué)習(xí)地圖和內(nèi)容地圖以及算法層的學(xué)生畫像、知識狀態(tài)評估、推薦引擎，為學(xué)生選定合適的任務(wù)進行學(xué)習(xí)。

內(nèi)環(huán)智能體則是獲得一個動態(tài)的學(xué)習(xí)行為，遍歷學(xué)習(xí)一個任務(wù)的不同步驟，架構(gòu)類似但不同的模塊更加細分。這使得松鼠AI的系統(tǒng)真正具有適應(yīng)性 - 不僅可以提供有關(guān)任務(wù)的反饋，還可以提供各個步驟的反饋。將兩者結(jié)合之后得到的智能體學(xué)習(xí)行為，會保存在LRS中作為智能體先前的學(xué)習(xí)歷史。

Richard也列舉了目前依然遇到的挑戰(zhàn)，比如：智能體之間的交流、本體層、傳感信息的融合、以及上下文信息的同步。松鼠AI的下一步是進行更多的聯(lián)合研究，目前已經(jīng)和卡內(nèi)基梅隆大學(xué)以及斯坦福大學(xué)達成聯(lián)合研究的項目；做更多的參考設(shè)計和實驗；標準化系統(tǒng)之間的智能體接口和其他組件。

松鼠AI KP Thai：用于多模態(tài)教學(xué)和學(xué)習(xí)分析的大規(guī)模數(shù)據(jù)集

松鼠AI的高級學(xué)習(xí)和數(shù)據(jù)科學(xué)家KP Thai博士主要介紹了松鼠AI研究團隊的最新成果：一個用于多模態(tài)教學(xué)和學(xué)習(xí)分析的大規(guī)模數(shù)據(jù)集MULTA。

Thai博士介紹稱，搭建這個數(shù)據(jù)的原因是高頻多模態(tài)數(shù)據(jù)采集技術(shù)和AI/ML分析技術(shù)的進步可以為學(xué)習(xí)提供新的見解，但目前公開的可用的數(shù)據(jù)集并不多，尤其是來自現(xiàn)實世界的學(xué)習(xí)環(huán)境、松鼠AI希望通過發(fā)布數(shù)據(jù)集以幫助探索多模態(tài)學(xué)習(xí)分析和數(shù)據(jù)挖掘，促進教學(xué)和學(xué)習(xí)的進步。

松鼠AI收集了來自兩個課后學(xué)習(xí)中心的156名中學(xué)生的數(shù)據(jù)，他們參與了5個科目：數(shù)學(xué)、英語（語法和閱讀）、中文、物理、化學(xué)。在五周的時間里，學(xué)生們被要求佩戴腦波耳機并進行錄像。

在學(xué)習(xí)過程中，松鼠AI收集了其系統(tǒng)上的用戶記錄、腦電波（使用BrainCo的腦電圖頭帶）、以及網(wǎng)絡(luò)攝像頭視頻（通過Debut視頻錄制軟件的網(wǎng)絡(luò)攝像頭）。研究團隊將腦電波和網(wǎng)絡(luò)攝像頭視頻同步到用戶記錄上，根據(jù)時間同步三個數(shù)據(jù)源，基于不同的問題分割腦波和網(wǎng)絡(luò)攝像頭視頻數(shù)據(jù)。

數(shù)據(jù)集目前還存在一些不足，比如數(shù)據(jù)收集過程并未如同設(shè)想的一致，導(dǎo)致可用數(shù)據(jù)少于預(yù)期

網(wǎng)絡(luò)攝像頭和腦波數(shù)據(jù)的長度與課程長度不同，網(wǎng)絡(luò)攝像頭沒有正確設(shè)置等等。

未來，松鼠AI將優(yōu)化數(shù)據(jù)收集和準備過程，繼續(xù)收集數(shù)據(jù)，尋求多模態(tài)之間同步的工具，并更好地理解腦電波的特征表示。

后文將對其余演講者的內(nèi)容做簡單介紹：

來自新南威爾士大學(xué)的研究團隊介紹了他們的最新論文“On Using EEG Signals for Human Attention Estimation（用EEG信號進行人體注意力估計）”。EEG信號是估計人類注意力的主要媒介。當前的EEG研究通常需要針對不同受試者的適應(yīng)步驟，然后腦計接口經(jīng)過調(diào)整后才能用在新的實驗者身上，這會耗費大量的時間和人力。研究者提出了卷積遞歸注意模型（CRAM），利用卷積神經(jīng)網(wǎng)絡(luò)編碼腦電信號的高級表示和反復(fù)注意機制，以探索腦電信號的時間動態(tài)，并專注于最具辨別力的時間周期。

來自北京交通大學(xué)和北京師范大學(xué)的研究團隊介紹了他們的最新論文“Understanding Schoolchildren Test Anxiety through Online Writing Analysis（通過在線寫作分析了解學(xué)童考試焦慮）”。如何科學(xué)有效地判斷學(xué)生是否有考試焦慮，從而及時給予幫助是一個值得關(guān)注的研究 課題。與高成本的自我報告相比，本文的研究試圖通過分析在線寫作來了解考試焦慮的表現(xiàn)并預(yù)測個體考試焦慮的程度。研究發(fā)現(xiàn)考試焦慮與一些寫作習(xí)慣有關(guān)，例如易用詞的使用頻率和猜測詞的使用類型。 通過應(yīng)用機器學(xué)習(xí)技術(shù)，建立并評估基于在線書寫數(shù)據(jù)的考試焦慮預(yù)測模型。 隨機森林回歸器目前實現(xiàn)了最佳性能。

來自悉尼科技大學(xué)、南京航空航天大學(xué)、和北京化工大學(xué)的研究團隊介紹了他們的最新論文“Student Sentiment Analysis Through Students’ Assignments（通過學(xué)生作業(yè)分析學(xué)生情緒）”。學(xué)生情緒分析對學(xué)生管理學(xué)習(xí)和生活至關(guān)重要。為了解決這個問題，本文提出了一個分層的學(xué)生情緒分析框架來分析學(xué)生的作業(yè)情緒。 該框架包括兩個流：參考流和學(xué)生語句流，它們能夠從引號和引用中分析部分學(xué)生情緒。 實驗結(jié)果證明這個框架在大學(xué)生作業(yè)數(shù)據(jù)集方面優(yōu)于其他競爭對手。

來自悉尼科技大學(xué)和蒙納士大學(xué)的研究團隊介紹了他們的最新論文“Universal Graph Embedding for Heterogeneous Study-trajectory Graph（用于異構(gòu)研究軌跡圖的通用圖嵌入）”。當前的學(xué)習(xí)興趣發(fā)現(xiàn)方法使用單個時間序列單調(diào)地模擬每個學(xué)生的學(xué)習(xí)軌跡，忽略了學(xué)生和課程之間的相互依賴性。 本文中將學(xué)生和課程構(gòu)建為研究軌跡圖中的異構(gòu)節(jié)點源，并提出了一種通用圖嵌入框架（UGE）來同時捕獲同質(zhì)節(jié)點之間的相互關(guān)系以及異構(gòu)節(jié)點之間的相互依賴性。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。