雷鋒網(wǎng)AI科技評(píng)論按：人是善于通過(guò)表情偽裝情緒的動(dòng)物，但心理學(xué)家卻能夠通過(guò)“微表情”來(lái)揭示人們?cè)噲D隱藏的真實(shí)情緒。

所謂微表情，是一種持續(xù)時(shí)間極短、在人們?cè)噲D掩飾自己真實(shí)情緒時(shí)泄露出來(lái)的面部動(dòng)作。

如果看過(guò)美劇《Lie to Me》，應(yīng)該對(duì)微表情不會(huì)陌生。男主卡爾?萊特曼是一個(gè)微表情專家，他不需要借助測(cè)謊儀之類的設(shè)備，也不需要收集各種證據(jù)，甚至不需要對(duì)話，只需要觀察細(xì)微的表情變化便可以判斷一個(gè)人是否說(shuō)謊。

之所以能夠這樣，是因?yàn)槿藗冊(cè)隗w驗(yàn)情緒時(shí)會(huì)有一系列肌肉動(dòng)作不自覺(jué)地表現(xiàn)出來(lái)。

例如人們?cè)趹嵟瓡r(shí)，眉毛會(huì)緊皺下垂，，眼瞼和嘴唇緊張：

或者一個(gè)人在對(duì)事物表示驚訝時(shí)，下顎會(huì)自然下垂，嘴唇和嘴巴放松，眼睛張大，眼瞼和眉毛會(huì)微微上抬：

當(dāng)然，我們知道面部表情是可以受主觀意識(shí)控制，例如一個(gè)人可能因其知識(shí)、閱歷、能力等原因，在內(nèi)心波濤洶涌的時(shí)候做到面不改色。然而，微表情是面部肌肉條件反射地表現(xiàn)出情緒所對(duì)應(yīng)的行為。正是因?yàn)槿绱?，微表情往往能夠揭示人類試圖隱藏的真實(shí)情緒。

但正如對(duì)微表情的定義，微表情持續(xù)時(shí)間短暫、變化幅度微弱和動(dòng)作區(qū)域較少，很多時(shí)候人們很難注意到其存在。只有那些經(jīng)過(guò)大量訓(xùn)練的專家才能準(zhǔn)確地檢測(cè)，而且不同的專家還往往會(huì)判斷不一致?？咳斯?lái)觀察微表情真的是一個(gè)耗費(fèi)人力、耗費(fèi)時(shí)間，而且準(zhǔn)確度低的事情！

停！

耗費(fèi)人力物力、工作機(jī)械、需要大量專家……這不正是機(jī)器學(xué)習(xí)所擅長(zhǎng)的嗎？事實(shí)上，目前已有許多學(xué)者在用機(jī)器學(xué)習(xí)的方法進(jìn)行微表情研究了。

一、方法

對(duì)微表情的研究，在方法上事實(shí)上類似于人臉識(shí)別，一般包含檢測(cè)和識(shí)別兩個(gè)具體問(wèn)題。

對(duì)于人臉識(shí)別，一般都是先進(jìn)行人臉檢測(cè)，然后對(duì)檢測(cè)到的人臉進(jìn)行識(shí)別。這個(gè)過(guò)程同樣也適用于微表情識(shí)別：先從一段長(zhǎng)視頻中把發(fā)生微表情的視頻片段檢測(cè)出來(lái)，然后識(shí)別該微表情屬于哪一類微表情。

人臉檢測(cè)和微表情檢測(cè)

微表情檢測(cè)，就是指在一段視頻流中，檢測(cè)出是否包含微表情，并標(biāo)記微表情的起點(diǎn)(onset)、峰值(apex)和終點(diǎn)(offset)。起點(diǎn)(onset) 是指微表情出現(xiàn)的時(shí)間；峰值(apex) 是指微表情幅度最大的時(shí)間; 終點(diǎn)(offset) 是指微表情消失的時(shí)間。

微表情識(shí)別是指給定一個(gè)已經(jīng)分割好的微表情片斷，通過(guò)某種算法，識(shí)別該微表情的情緒種類（例如厭惡、悲傷、驚訝、憤怒、恐懼、快樂(lè)等）。如同三維動(dòng)態(tài)表情識(shí)別一樣，其處理的對(duì)象是視頻片斷，而不只是單幅圖像。對(duì)其處理過(guò)程中，不僅要考慮空間上的模式，還要考慮時(shí)間上的模式。所以許多微表情識(shí)別的算法都考慮了時(shí)空模式。

相對(duì)于微表情檢測(cè)來(lái)說(shuō)，微表情識(shí)別的難度要小一點(diǎn)。所以對(duì)微表情的研究一般從微表情識(shí)別開始入手。

不過(guò)對(duì)微表情的檢測(cè)和定位往往會(huì)更有實(shí)用價(jià)值。如果能在一段視頻中準(zhǔn)確地檢測(cè)和定位到某個(gè)時(shí)間點(diǎn)有微表情出現(xiàn)，那么就說(shuō)明這個(gè)人在這個(gè)時(shí)間點(diǎn)上可能會(huì)有異常。

二、數(shù)據(jù)集

事實(shí)上對(duì)于微表情研究，最難的是如何收集足夠多的、質(zhì)量高的微表情數(shù)據(jù)集。

目前微表情數(shù)據(jù)庫(kù)并不多，已知的有：USF-HD數(shù)據(jù)庫(kù)，Polikovsky數(shù)據(jù)庫(kù)， SMIC數(shù)據(jù)庫(kù), CASME數(shù)據(jù)庫(kù), CASME II數(shù)據(jù)庫(kù)，SAMM數(shù)據(jù)庫(kù)，CAS(ME)2數(shù)據(jù)庫(kù)。在這八個(gè)數(shù)據(jù)庫(kù)中，前兩個(gè)都是非自然誘發(fā)的，且非公開的。

另外5個(gè)數(shù)據(jù)集，CASME、CASME II、CAS(ME)2是中國(guó)科學(xué)院心理研究所傅小蘭團(tuán)隊(duì)所建立，SMIC是由芬蘭奧魯大學(xué)趙國(guó)英團(tuán)隊(duì)建立。各個(gè)數(shù)據(jù)集的細(xì)節(jié)如下表所示：

五個(gè)公開發(fā)表的微表情數(shù)據(jù)庫(kù)

需要強(qiáng)調(diào)的是，這些數(shù)據(jù)庫(kù)的樣本量都非常小，到目前為止，公開發(fā)表的微表情樣本只有不到800個(gè)。是典型的小樣本問(wèn)題。這就造成當(dāng)前基于深度學(xué)習(xí)的方法在微表情問(wèn)題上無(wú)法完全發(fā)揮出它應(yīng)有的威力。雷鋒網(wǎng)

事實(shí)上，微表情數(shù)據(jù)庫(kù)的建立非常困難。一個(gè)原因是微表情的誘發(fā)很難，研究者往往要求被試觀看情緒視頻，激發(fā)他們的情緒同時(shí)要求他們偽裝自己的表情。有些被試可能并沒(méi)有出現(xiàn)微表情或者出現(xiàn)得很少。

另一方面，微表情的編碼也十分費(fèi)時(shí)費(fèi)力。微表情的編碼依賴于肉眼，需要觀察者慢速觀看視頻，并且選擇臉部運(yùn)動(dòng)的起始、高峰、結(jié)束并計(jì)算他們的時(shí)長(zhǎng)。而且對(duì)于微表情的情緒標(biāo)定，目前沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。

微表情數(shù)據(jù)庫(kù)面臨的另外的問(wèn)題。因?yàn)槲⒈砬榈倪\(yùn)動(dòng)幅度非常小，并且相對(duì)于常規(guī)表情常常是局部的運(yùn)動(dòng)，導(dǎo)致在情緒分類上并不是很明確，所以不同數(shù)據(jù)庫(kù)的情緒標(biāo)定標(biāo)準(zhǔn)不一樣，所以相似的運(yùn)動(dòng)被作為不同類的微表情而不同的運(yùn)動(dòng)被視作為同類的表情。這一特點(diǎn)導(dǎo)致使用各種數(shù)據(jù)庫(kù)進(jìn)行微表情識(shí)別算法訓(xùn)練得出的結(jié)果并不一致。

此外，由于微表情持續(xù)時(shí)間短、強(qiáng)度低且經(jīng)常是局部運(yùn)動(dòng)，現(xiàn)在的許多微表情數(shù)據(jù)庫(kù)視頻質(zhì)量并不能滿足微表情識(shí)別分析的需要，這需要具有更高的時(shí)間和空間分辨率的視頻片段才能進(jìn)一步改進(jìn)目前的識(shí)別算法。

一句話：微表情建庫(kù)，重要性非常高，問(wèn)題非常多，困難非常大。

三、現(xiàn)狀

近幾年來(lái)，微表情受到越來(lái)越多學(xué)者們的關(guān)注。

2009-2016年計(jì)算機(jī)科學(xué)領(lǐng)域中微表情論文發(fā)文量的統(tǒng)計(jì)（數(shù)據(jù)來(lái)自Scopus）

上圖對(duì)2009-2016年計(jì)算機(jī)科學(xué)領(lǐng)域中微表情論文發(fā)文量進(jìn)行了統(tǒng)計(jì)?？梢钥闯觯陙?lái)，有關(guān)微表情論文的發(fā)文量在急劇增長(zhǎng)。2009-2016年一共發(fā)文81篇，其中2016年就發(fā)文30篇，占總數(shù)37%。特別是2013年兩個(gè)微表情數(shù)據(jù)庫(kù)（CASME和SMIC）公開發(fā)布以后，微表情相關(guān)的論文發(fā)文量逐年遞增。

目前，國(guó)外做的較好的以芬蘭奧魯大學(xué)趙國(guó)英團(tuán)隊(duì)為主，他們?yōu)槲⒈砬樽R(shí)別提出了一個(gè)系統(tǒng)的框架，并且公開以布了一個(gè)微表情數(shù)據(jù)庫(kù)SMIC。其他包括馬來(lái)西亞Multimedia大學(xué)的John See團(tuán)隊(duì)、英國(guó)曼徹斯特都會(huì)大學(xué)的Moi Hoon Yap團(tuán)隊(duì)、美國(guó)南佛羅里達(dá)大學(xué)的Shreve、日本筑波大學(xué)的Polikovsky和日本早稻田大學(xué)Yao等。

而國(guó)內(nèi)做微表情檢測(cè)和識(shí)別的科研機(jī)構(gòu)主要有中國(guó)科學(xué)院心理研究所傅小蘭團(tuán)隊(duì)，前面提到的三個(gè)數(shù)據(jù)庫(kù)都是他們建立的。其次還有東南大學(xué)鄭文明團(tuán)隊(duì)、山東大學(xué)賁晛燁團(tuán)隊(duì)、復(fù)旦大學(xué)張軍平團(tuán)隊(duì)、清華大學(xué)劉永進(jìn)團(tuán)隊(duì)、中山大學(xué)的鄭偉詩(shī)團(tuán)隊(duì)等?？梢钥闯?，國(guó)內(nèi)在這方面有相對(duì)較多的研究隊(duì)伍。

從微表情論文發(fā)文數(shù)量可以看出，微表情檢測(cè)和識(shí)別的研究屬于一個(gè)小眾的研究。其限制的主要原因在于大規(guī)模、高質(zhì)量、公開的數(shù)據(jù)資源的稀缺。所以，用機(jī)器學(xué)習(xí)方法做微表情研究，面臨的一個(gè)重要的問(wèn)題便是：如何建立大規(guī)模、高質(zhì)量的數(shù)據(jù)庫(kù)資源。這面臨著從硬件，到軟件，到標(biāo)準(zhǔn)的一系列嚴(yán)峻挑戰(zhàn)。

四、論道

在國(guó)內(nèi)，關(guān)于微表情研究的會(huì)議或論壇并不是很多，大多只是小圈子內(nèi)一些研究者之間的相互交流，其他研究人員以及大眾對(duì)于這方面的研究進(jìn)展知之甚少。

為了推廣國(guó)內(nèi)學(xué)者以及大眾對(duì)該領(lǐng)域的關(guān)注，中科院心理所副研究員、2018年第八屆吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)一等獎(jiǎng)獲得者王甦菁博士將在CNCC 2019大會(huì)上舉辦一場(chǎng)主題為“微表情檢測(cè)和識(shí)別”的論壇，并邀請(qǐng)現(xiàn)任兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室主任鄭文明教授、西安交通大學(xué)特聘研究員洪曉鵬博士、京東數(shù)字科技顏文靖副教授、江西中醫(yī)藥大學(xué)申尋兵副教授、山東大學(xué)賁晛燁副教授等，共同論道微表情檢測(cè)和識(shí)別的現(xiàn)狀及未來(lái)，理論與應(yīng)用。論壇上也會(huì)介紹中國(guó)科學(xué)院心理研究所搭建的微表情編碼與共享平臺(tái)（http://mecss.psych.ac.cn/）。

屆時(shí)會(huì)擦出什么樣的火花呢？值得期待。

論壇概述：微表情是一種持續(xù)時(shí)間極短的、在人們?cè)噲D掩飾自己真實(shí)的情緒時(shí)泄露出來(lái)的面部動(dòng)作。這種無(wú)法壓制的屬性使微表情成為欺騙檢測(cè)的重要線索。人們欺騙他人時(shí)，個(gè)體會(huì)有眾多反映內(nèi)心真正情緒體驗(yàn)的信號(hào)出現(xiàn)（如害怕欺騙被發(fā)現(xiàn)導(dǎo)致的恐懼、愚弄他人的快樂(lè)等)。相對(duì)于研究較多的持續(xù)時(shí)間較長(zhǎng)的宏表情，對(duì)微表情的產(chǎn)生、識(shí)別（自動(dòng)識(shí)別）及相應(yīng)的認(rèn)知神經(jīng)機(jī)制都有待進(jìn)一步探索。微表情不可自主控制的屬性使其可以應(yīng)用到國(guó)家安全（安檢）、司法實(shí)踐（審訊）、臨床醫(yī)學(xué)（醫(yī)患溝通）、廣告與消費(fèi)（監(jiān)測(cè)消費(fèi)者的真實(shí)態(tài)度）等等各個(gè)行業(yè)領(lǐng)域的真實(shí)意圖檢測(cè)。本論壇邀請(qǐng)心理學(xué)和計(jì)算機(jī)專家，從兩個(gè)學(xué)科的角度對(duì)微表情檢測(cè)和識(shí)別分別給出報(bào)告。

主席：王甦菁，IEEE,CCF高級(jí)會(huì)員。中國(guó)科學(xué)院心理研究所副研究員，從事微表情檢測(cè)和識(shí)別的研究，采用計(jì)算機(jī)視覺(jué)技術(shù)，對(duì)微表情檢測(cè)和識(shí)別展開了卓有成效的工作。通過(guò)計(jì)算機(jī)科學(xué)與心理學(xué)學(xué)科交叉研究，在自發(fā)微表情誘發(fā)、微表情檢測(cè)和微表情識(shí)別等方面取得了系統(tǒng)性的創(chuàng)新成果。“微表情識(shí)別方法”榮獲2018年第八屆吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)一等獎(jiǎng)。

講者1：賁晛燁

題目：M2MEW：跨源面部宏/微表情數(shù)據(jù)庫(kù)

賁晛燁，副教授，碩士\博士生導(dǎo)師，山東大學(xué)未來(lái)計(jì)劃學(xué)者。主要研究方向?yàn)閳D像處理、模式識(shí)別。 獲得哈爾濱工程大學(xué)優(yōu)秀博士學(xué)位論文獎(jiǎng)，黑龍江省優(yōu)秀畢業(yè)生榮譽(yù)稱號(hào)，入選教育部“全國(guó)博士后特別資助計(jì)劃”。2010年4月至2012年5月在哈爾濱工業(yè)大學(xué)交通信息與控制專業(yè)流動(dòng)站做博士后，2011年11月進(jìn)入山東大學(xué)信息科學(xué)與工程學(xué)院圖像處理與模式識(shí)別技術(shù)研究所工作，2015年1月至2015年12月在澳大利亞悉尼科技大學(xué)人工智能中心（全澳排名第一）陶大程教授研究組訪問(wèn)交流學(xué)習(xí)一年。主持國(guó)家自然科學(xué)基金面上、青年基金、科技部國(guó)家重點(diǎn)研發(fā)計(jì)劃子課題、山東省重點(diǎn)研發(fā)計(jì)劃、教育部博士點(diǎn)基金，博士后一等資助項(xiàng)目以及博士后特別資助等項(xiàng)目。

講者2：顏文靖

題目：微表情數(shù)據(jù)庫(kù)的現(xiàn)狀與未來(lái)

顏文靖，心理學(xué)博士，畢業(yè)于中國(guó)科學(xué)院心理研究所。原溫州大學(xué)心理系主任、副教授、碩士生導(dǎo)師、韓國(guó)全南大學(xué)兼職博士生導(dǎo)師。長(zhǎng)期開展心理學(xué)與計(jì)算機(jī)的交叉研究，研究興趣主要包括表情與姿態(tài)、欺騙以及心理健康，建立了國(guó)際上使用最多的微表情數(shù)據(jù)庫(kù)CASME?，F(xiàn)在京東數(shù)字科技開展心理學(xué)與人工智能結(jié)合的應(yīng)用研究。

講者3：鄭文明

題目：人的智能發(fā)展評(píng)測(cè)與心理生理信息感知計(jì)算

鄭文明，二級(jí)教授，博士生導(dǎo)師，現(xiàn)任兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點(diǎn)實(shí)驗(yàn)室主任、IEEE高級(jí)會(huì)員、中國(guó)認(rèn)知科學(xué)學(xué)會(huì)理事。2004年9月博士畢業(yè)于東南大學(xué)無(wú)線電工程系信號(hào)與信息處理專業(yè)。先后在微軟亞洲研究院、香港中文大學(xué)、美國(guó)伊利諾伊大學(xué)香檳分校、劍橋大學(xué)從事訪問(wèn)研究。主要研究方向?yàn)槎嗄B(tài)情感計(jì)算、神經(jīng)信息處理、計(jì)算機(jī)視覺(jué)，機(jī)器學(xué)習(xí)。2005年入選教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃，先后獲首屆微軟青年教授獎(jiǎng)、全國(guó)優(yōu)秀博士學(xué)位論文提名獎(jiǎng)、江蘇省杰出青年基金等榮譽(yù)。擔(dān)任IEEE Transactions on Affective Computing、Neurocomputing、The Visual Computer、《圖學(xué)學(xué)報(bào)》等國(guó)內(nèi)外期刊編委。主持了科技部973課題、國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目、江蘇省杰出青年基金項(xiàng)目等，獲國(guó)家技術(shù)發(fā)明二等獎(jiǎng)1項(xiàng)、教育部自然科學(xué)二等獎(jiǎng)2項(xiàng)和江蘇省科技進(jìn)步二等獎(jiǎng)1項(xiàng)。

講者4：申尋兵

題目：欺騙檢測(cè)的情緒泄露線索

申尋兵，副教授，碩導(dǎo)，美國(guó)邁阿密大學(xué)（牛津）訪問(wèn)學(xué)者。近五年該同志主持省部級(jí)以上項(xiàng)目6項(xiàng)（其中國(guó)家自然科學(xué)基金與教育部人文社科項(xiàng)目各1項(xiàng)）；發(fā)表論文16篇 （其中第一作者或通訊作者SCI/SSCI論文4篇、 CSSCI論文2篇、EI論文5篇、CPCI （ISTP）論文1篇）；參與寫作教材或著作3部，參編國(guó)家級(jí)規(guī)劃教材1部；獲校級(jí)教學(xué)成果二等獎(jiǎng)1項(xiàng)（排名第1），獲得授權(quán)發(fā)明專利1項(xiàng)（排名第二）。兼任《科學(xué)通報(bào)》、《心理學(xué)報(bào)》、《心理科學(xué)》審稿人，《Frontiers in Psychology》客座編輯、審稿人，世界中醫(yī)藥聯(lián)合會(huì)中醫(yī)心理學(xué)專業(yè)委員會(huì)常務(wù)理事，江西省心理學(xué)會(huì)常務(wù)理事，江西省社會(huì)心理學(xué)會(huì)理事，江西省中西醫(yī)結(jié)合學(xué)會(huì)循證醫(yī)學(xué)專業(yè)委員會(huì)委員，江西省中西醫(yī)結(jié)合學(xué)會(huì)循證醫(yī)學(xué)專業(yè)委員會(huì)委員，中國(guó)人工智能學(xué)會(huì)人工心理與人工情感專業(yè)委員會(huì)委員，江西省公共資源交易中心評(píng)標(biāo)專家，江西省養(yǎng)老服務(wù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)委員。

講者5：洪曉鵬

題目：自動(dòng)微表情分析：從手工特征到深度學(xué)習(xí)

洪曉鵬博士，現(xiàn)為西安交通大學(xué)電信學(xué)部特聘研究員、博導(dǎo)。曾獲得芬蘭奧盧大學(xué)博士生導(dǎo)師(Docent)頭銜。他在高文院士指導(dǎo)下于2010年在哈爾濱工業(yè)大學(xué)獲得計(jì)算機(jī)應(yīng)用與技術(shù)專業(yè)工學(xué)博士學(xué)位。他目前的研究興趣包括微表情識(shí)別、醫(yī)學(xué)檢查、小樣本學(xué)習(xí)及物體跟蹤等。洪曉鵬博士已在包括IEEE T-PAMI、T-IP、CVPR和ACM UbiComp等CCF A類學(xué)術(shù)刊物在內(nèi)的國(guó)際權(quán)威期刊和會(huì)議上以主要作者身份發(fā)表了逾30篇文章，獲授權(quán)發(fā)明專利一項(xiàng)。所發(fā)表文章Google Scholar引用超過(guò)800次，單篇所載刊物最高影響因子9.455。其中在瞬時(shí)情感分析方面的相關(guān)工作受到了包括美國(guó)《麻省理工技術(shù)評(píng)論》和英國(guó)《每日郵報(bào)》在內(nèi)的國(guó)際權(quán)威媒體專文報(bào)道。自2011年起主持了芬蘭奧盧市信息技術(shù)學(xué)會(huì)(Infotech Oulu) 博士后科研基金項(xiàng)目一項(xiàng)，共同主持芬蘭科學(xué)院ICT2023專題項(xiàng)目一項(xiàng)，并先后參與多項(xiàng)芬蘭科學(xué)院基金項(xiàng)目和中國(guó)國(guó)家自然科學(xué)基金項(xiàng)目。

參考文章：https://mp.weixin.qq.com/s/bMwVZN6sCcbVdU0F4ulagQ

雷鋒網(wǎng)報(bào)道

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。