雷鋒網(wǎng)AI 科技評論按：計算機視覺頂會 CVPR 2019 即將于 6 月在美國長灘召開，今年大會共收到超過 5165 篇論文投稿，最終收錄的論文為 1299 篇。隨著會議臨近，無論是學術界還是業(yè)界都迎來了一波 CVPR 2019 入選論文解讀熱潮。

今年的 CVPR 2019，盧志武博士領導的中國人民大學信息學院機器學習（ML）組共有 3 篇論文被錄用，論文主題涵蓋視頻識別、小樣本學習、視覺對話等熱點問題，本文中要解讀的論文便是其中關于視頻識別的一篇：《面向視頻測謊的聚焦人臉的跨幀雙流網(wǎng)絡》「Face-Focused Cross-Stream Network for Deception Detection in Videos」。

該論文提出了一種新穎的視頻測謊算法，這種算法只需要少量的視頻數(shù)據(jù)進行訓練，并在訓練后對短視頻進行測試。實驗結果顯示，該測謊算法的準確率高達 90% 以上，同時在結合語音和 word2vec 信息后，這一準確率可以進一步提高至 95% 以上。

一、問題簡介 

視頻測謊，即是檢測視頻中的人物對象是否說謊。目前，視頻測謊問題還面臨著兩大挑戰(zhàn)：(1) 如何有效地融合面部和動作信息來判斷視頻中人物對象是否說謊；(2) 真實的視頻數(shù)據(jù)集規(guī)模很小，如何將深度學習應用在數(shù)量有限的訓練數(shù)據(jù)上。為了解決這兩個問題，本文提出了 face-focused cross-stream network（FFCSN）模型（如圖 1）。

二、模型方法

圖 1：視頻測謊深度學習模型 FFCSN

不同于常見的雙流網(wǎng)絡模型（two-stream network）利用空間流捕捉視頻幀整體靜態(tài)空間特征以及利用時間流捕捉視頻光流動態(tài)特征的做法，F(xiàn)FCSN 模型考慮將人臉檢測用于空間流來捕捉面部特征，并在整個網(wǎng)絡中利用相關學習來融合時空特征進行聯(lián)合訓練。

同時，論文作者結合心理學知識（即說謊者由于緊張, 其面部表情和身體姿勢往往會不一致），發(fā)現(xiàn)雙流法中的圖像特征和光流特征逐幀對應匹配并不是視頻測謊的最優(yōu)解決方案。因此，作者提出了跨幀的雙流網(wǎng)絡 (cross-stream network)——這種網(wǎng)絡可以捕捉面部表情和身體姿勢不一致的關系。利用這種網(wǎng)絡，視頻中的每一個面部表情幀都隔一定間距匹配五個光流幀，并讓模型自動學出這五幀之間的權重關系。此外，論文作者還將時間流 ResNet 的 block3 使用全局池化層將其變?yōu)橄蛄?，使得模型?jīng)過兩組全連接和一個 softmax 層后，能夠學習到五個動作幀之間的權重關系。通過學習這個模塊，模型具有了對不同的動作幀賦予不同權重的能力。

跨幀匹配模型的具體網(wǎng)絡結構如下:

 

圖 2：cross-stream network

具體來說，該方法將每個視頻分成 K 個片段，對于每一個片段，隨機抽樣一幀表情幀  和五個動作幀 （見圖一橙色框處）。這樣，對于每一個片段，可以得到如下數(shù)據(jù)：

其中代表這五個動作幀之間的權重， 的總和為 1。令代表模型對 的分類概率以及 代表對一個視頻所有片段的平均分類概率，那么損失函數(shù)定義如下:

 

此外，F(xiàn)FCSN 模型還引入了元學習（meta learning）和對抗學習（adversarial learning）來解決訓練數(shù)據(jù)量小的問題。元學習使用了 relation 的思想, 通過學習數(shù)據(jù)之間的關系來提高模型的泛化能力，而對抗學習在訓練時使用生成的「假」特征向量攻擊模型分類器來達到擴充數(shù)據(jù)量的目的。

 

圖 3：relation 結構圖示

元學習模塊的網(wǎng)絡結構具體如圖 3 所示。容易看出，模型從每個 mini-batch 中選出了兩對六元組，每一對六元組中有兩個樣本來自同一類別，另外四個樣本則來自不同類別。取相同類別的兩個樣本其中的一個作為 anchor，讓它與另外五個配對組成五對數(shù)據(jù)，因此這樣得出的結構就有一對類別相同的樣本和四對類別不同的樣本，接著在訓練后，再由卷積和全連接層后對這五對數(shù)據(jù)進行分類，使模型能夠選出類別相同的一對。結果證明，這種度量學習的思想對于小數(shù)據(jù)集上的增益十分明顯。

對抗學習模塊見圖 1 紫色框的部分，此處是用 G（Generator）生成虛擬的 feature vector，之后用 D（Discriminator）進行判別以增強模型的魯棒性，從而解決小樣本的問題。損失函數(shù)和 GAN 類似，如下式所示：

 

由于模型由前面介紹的三個子模塊組成，總的損失函數(shù)即為這三部分的加和。論文作者將這三部分聯(lián)合訓練，取得了不錯的實驗結果。

三、實驗結果

FFCSN 模型在公開的真實庭審視頻數(shù)據(jù)集上取得了當前最好的結果，驗證了該模型在視頻測謊中非常有效, 實驗結果也說明了說謊者在表情和動作上很容易出現(xiàn)不一致的問題。如圖 4，說謊者在面部表情和第二幀光流匹配時有明顯的下降，這種波動為模型判斷說謊提供了依據(jù)。

 

圖 4 說謊者在表情和動作上的不同步

為了驗證模型的不同模塊均是有效的，論文作者進行多組消融實驗。從表 1 可以看出，與只使用 face 或者只使用 motion 相比，同時利用面部和動作兩個信息的模型所取得的效果有較大的提升。而在加入了 cross-stream 的匹配 (CL) 之后, 模型精度有了進一步的提升。此外，為了克服數(shù)據(jù)量過小的問題,，作者在模型中加入了元學習 (ML) 和對抗學習 (AL) 模塊, 這些都對提高模型的魯棒性有很大的幫助。

 

表 1：模型不同模塊效果

為了驗證模型的擴展性，作者也在表情識別數(shù)據(jù)集上做了實驗,，并在 youtube-8 數(shù)據(jù)集上取得了目前最高的精度。youtube-8 dataset 包括 1101 個視頻，分為 8 種表情。從表 2 的實驗結果可知，雖然作者只使用了 visual 單模態(tài)，但仍取得了準確率比其他使用更多模態(tài) (語音和屬性) 的方法高 5% 的好成績。

表 2：微表情識別結果

四、團隊介紹

中國人民大學信息學院機器學習（ML）組由盧志武博士，以及 20 名博士生與碩士生組成，隸屬于文繼榮教授的大數(shù)據(jù)分析團隊。目前，人大 ML 組已經(jīng)在 TPAMI、IJCV、NIPS、CVPR 等國際頂級期刊/會議上發(fā)表 40 余篇論文，主持了 NSFC、KJW 等多個國家科研項目，還曾獲人工智能國際權威評測 ImageNet 2015 視頻檢測任務亞軍。

參考文獻：

M. Ding, A. Zhao, Z. Lu, T. Xiang, and J.-R. Wen, Face-Focused Cross-Stream Network for Deception Detection in Videos, CVPR 2019

論文下載網(wǎng)址：https://arxiv.org/abs/1812.04429 

特別鳴謝盧志武博士為雷鋒網(wǎng) AI 科技評論提供相關資料。

最后，歡迎大家進入雷鋒網(wǎng) AI 研習社的 CVPR 小組（https://ai.yanxishe.com/page/meeting/44）討論更多相關話題。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。