雷鋒網(wǎng) AI 科技評(píng)論按：本文為上海交通大學(xué)林天威為雷鋒網(wǎng) AI 科技評(píng)論撰寫(xiě)的獨(dú)家稿件，未經(jīng)許可不得轉(zhuǎn)載。

行為識(shí)別/視頻分類是視頻理解領(lǐng)域的重要方向。之前該方向的深度學(xué)習(xí)方法大致可以分為兩個(gè)大類：一類是雙流網(wǎng)絡(luò)，即以 RGB 圖像和光流圖像作為 2D 網(wǎng)絡(luò)兩個(gè)分支的輸入，再在網(wǎng)絡(luò)的某處進(jìn)行融合，典型的如 TSN；另一類則是將多幀 RGB 圖像看做是 3D 輸入，然后使用 3D 卷積網(wǎng)絡(luò)進(jìn)行處理，典型的如 C3D，I3D，ARTNet 等（當(dāng)然也可以將光流作為 3D 網(wǎng)絡(luò)的輸入從而進(jìn)一步提高效果）。

雙流類方法的問(wèn)題主要在于要提取光流，耗時(shí)比較多，在實(shí)際的場(chǎng)景中很難應(yīng)用起來(lái)。所以近兩年的論文更多集中在 3D 網(wǎng)絡(luò)的研究上，3D 類方法此前的問(wèn)題主要有兩方面，一是 3D 卷積核的計(jì)算開(kāi)銷比較大，二是在效果上還是距離雙流類方法有一定的距離。

ECCV2018 上，新加坡國(guó)立大學(xué)，F(xiàn)AIR 和 360AI 實(shí)驗(yàn)室合作發(fā)表了「Multi-Fiber Networks for Video Recognition」[1]，代碼見(jiàn) PyTorch-MFNet。這篇論文主要針對(duì) 3D 網(wǎng)絡(luò)的第一個(gè)問(wèn)題進(jìn)行了研究，具體而言，這篇論文的目的是要在保持網(wǎng)絡(luò)效果的同時(shí)（主要對(duì)標(biāo) I3D-RGBmodel），大幅度降低網(wǎng)絡(luò)的 FLOPs，從而提高網(wǎng)絡(luò)的效率，使 3D 網(wǎng)絡(luò)能夠獲得更多的應(yīng)用場(chǎng)景。這篇文章提出的網(wǎng)絡(luò)結(jié)構(gòu)有點(diǎn)像不帶 channel shuffle 模塊的 ShuffleNet，其核心思想還是利用 Group Conv 來(lái)降低網(wǎng)絡(luò)的計(jì)算開(kāi)銷。之前似乎沒(méi)怎么參考 mobile 類模型思路來(lái)做 video classification 的工作，而計(jì)算量對(duì)于 3D 類網(wǎng)絡(luò)又是比較重要的核心的瓶頸，所以這篇工作還是很有參考價(jià)值的。

下面開(kāi)始介紹文章內(nèi)容，如有不足煩請(qǐng)指正。

Motivation

這篇文章的核心 motivation 就是認(rèn)為目前的 sota 的 3D 網(wǎng)絡(luò)（比如 I3D 以及 R(2+1)D-34 網(wǎng)絡(luò)）的計(jì)算量 FLOPs 都太高了。常用的 2D 卷積網(wǎng)絡(luò)如 resnet-152 或是 vgg-16 網(wǎng)絡(luò)大概是 10+ 的 GFLOPs，而剛剛提到的兩種 3D 卷積網(wǎng)絡(luò)則達(dá)到了 100+ GFLOPs。作者認(rèn)為，當(dāng)計(jì)算量相近的時(shí)候，由于 3D 網(wǎng)絡(luò)模型能額外的學(xué)習(xí)到時(shí)空信息，clip-based 的模型（即指 3D 網(wǎng)絡(luò)）應(yīng)該要能比 frame-based 的模型（即指 2D 網(wǎng)絡(luò)）有更好的效果。所以，這篇文章的目標(biāo)就是在保持現(xiàn)有 sota 的 3D 模型的效果的同時(shí)，大大提高其網(wǎng)絡(luò)效率。

多纖維網(wǎng)絡(luò)

在方法部分，作者首先介紹了多纖維模塊（Multi-Fiber Unit）的原理，然后在 2D 網(wǎng)絡(luò)上實(shí)驗(yàn)了多纖維結(jié)構(gòu)的有效性，最后將其推廣到了 3D 網(wǎng)絡(luò)上去。

多纖維模塊

這張圖介紹了從 resnet 到多纖維模塊的變化過(guò)程。

（a）中的結(jié)構(gòu)即是一個(gè)簡(jiǎn)單的殘差模塊；（b）中的則為 Multi-Path 類型的 bottleneck 模塊，比如 ResNeXt 就采用了該結(jié)構(gòu)。在該結(jié)構(gòu)中，前后均為一個(gè) 1x1 的卷積進(jìn)行降維和升維，中間則將通道進(jìn)行分組，分別用幾個(gè) 3x3 卷積核進(jìn)行處理。這樣的處理可以大大降低中間層的計(jì)算量，但是 1x1 卷積層依舊有很大的計(jì)算量。所以這篇文章提出進(jìn)行更加徹底的分組，即將整個(gè)殘差模塊按照通道切片成多個(gè)平行且獨(dú)立的分支(稱為 fiber，纖維)，如（c）所示。（c）中的結(jié)構(gòu)在輸入和輸出通道數(shù)量一致的情況下，可以將理論計(jì)算量降低到 N 分之一，此處 N 為分支或者說(shuō)是纖維的數(shù)量。這種更加徹底分組的加速思路和去年的 ShuffleNet 其實(shí)也有些像，區(qū)別在于 ShuffleNet 中還提出了 channel shuffle 的模塊，且在中間層采用了 depth-wise conv。

如（c）所示的結(jié)構(gòu)雖然效率提高了很多，但通道間缺乏信息交換，可能會(huì)損害效果。所以該文進(jìn)一步提出了一個(gè) Multiplexer 模塊用來(lái)以殘差連接的形式結(jié)合纖維之間的信息。該模塊實(shí)際上是一個(gè)兩層的 1x1 卷積，第一個(gè)卷積會(huì)將通道數(shù)量降低到 k 分之一，第二個(gè)卷積再升維，因此該模塊的計(jì)算量是一層 1x1 卷積的 k/2 分之一。不過(guò)，在文章中沒(méi)看到作者具體設(shè)置的 k 值。

多纖維結(jié)構(gòu)有效性的驗(yàn)證

接下來(lái)，作者通過(guò)在 ImageNet-1k 數(shù)據(jù)集上的圖片分類實(shí)驗(yàn)來(lái)驗(yàn)證所提出的多纖維結(jié)構(gòu)的有效性。這里主要有兩種形式，一是基于 ResNet-18 和 MobileNet-v2 的 baseline，將其中的模塊替換為多纖維模塊（這里具體的實(shí)現(xiàn)細(xì)節(jié)不是很確定）；二是重新設(shè)計(jì)了一個(gè) 2D MF-Net，具體網(wǎng)絡(luò)結(jié)構(gòu)可以見(jiàn)論文。實(shí)驗(yàn)結(jié)果如下所示。

通過(guò)這個(gè)表格里面的實(shí)驗(yàn)結(jié)果可以看出。多纖維結(jié)構(gòu)在 MobileNet-v2 和 ResNet-18 上可以在少量降低計(jì)算量和參數(shù)量的情況下，提高一定的效果，表明了多纖維模塊的有效性。而 MF-Net 也在參數(shù)和計(jì)算量較低的情況下達(dá)到了不錯(cuò)的效果。最后一欄實(shí)驗(yàn)則表明了 Multiplexer 模塊大概會(huì)占據(jù) 30% 的計(jì)算量，但對(duì)效果的提升也是比較明顯的。

3D-多纖維網(wǎng)絡(luò)

在確認(rèn)了提出的多纖維模塊的有效性后，本文就將多纖維結(jié)構(gòu)推廣到了 3D 網(wǎng)絡(luò)上，并提出了 3D MF-Net。3D MF-Net 的模塊結(jié)構(gòu)和網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

可以看出，3D 和 2D 的多纖維模塊結(jié)構(gòu)基本一致，只是將卷積的維度升到了三維。為了降低計(jì)算量，兩層卷積只有一層進(jìn)行了時(shí)序上的卷積。

實(shí)驗(yàn)內(nèi)容

在實(shí)驗(yàn)部分，本文主要做了 trained from scratch 以及 fine tuned 兩類實(shí)驗(yàn)，分別對(duì)應(yīng) Kinetics 以及 UCF101，HMDB51 數(shù)據(jù)集。

視頻分類-Trained from Scratch

在 Kinetics 數(shù)據(jù)集上，MF-Net 以比之前 3D 模型低非常多的 FLOPs 達(dá)到了更好的效果。

視頻分類-Fine-tuned Models

在這部分實(shí)驗(yàn)中，先將模型在大數(shù)據(jù)集（Kinetics）上訓(xùn)練，再在小數(shù)據(jù)集（UCF-101, HMDB51）上進(jìn)行 finetune。從實(shí)驗(yàn)結(jié)果可以看出，MF-Net 以較小的計(jì)算量達(dá)到或超過(guò)了目前 sota 的效果。本文首圖可視化地展現(xiàn)了計(jì)算量和效果的關(guān)系，可以看出 MF-Net 較好地占據(jù)了左上角的位置，即以較小的計(jì)算量達(dá)到 sota 的效果。

論文小結(jié)

這篇文章主要是進(jìn)一步優(yōu)化了 Multi-Path 模塊的結(jié)構(gòu)，并將其用于了 3D 卷積網(wǎng)絡(luò)，從而大大提高 3D 卷積網(wǎng)絡(luò)的效率。在效率大大提高后，其實(shí)也更有利于我們繼續(xù)將網(wǎng)絡(luò)做的更復(fù)雜更有效，像之前的 I3D 的效率實(shí)在太差了，很難進(jìn)一步增加復(fù)雜度（當(dāng)然另外一方面也給大家提供了很多優(yōu)化空間和寫(xiě)論文空間...）。一方面通過(guò)引入網(wǎng)絡(luò)加速技巧對(duì)模型速度進(jìn)行優(yōu)化，一方面通過(guò)增加網(wǎng)絡(luò)對(duì)時(shí)序建模的能力來(lái)對(duì)模型效果進(jìn)行提高，應(yīng)該是未來(lái) 3D 網(wǎng)絡(luò)研究更平衡的一種發(fā)展道路吧。

參考文獻(xiàn)

[1]Chen Y, Kalantidis Y, Li J, et al. Multi-Fiber Networks for Video Recognition[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 352-367.

[2] Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on. IEEE, 2017: 5987-5995.

[3] Carreira J, Zisserman A. Quo vadis, action recognition? a new model and the kinetics dataset[C]//Computer Vision and Pattern Recognition (CVPR), 2017 IEEE Conference on. IEEE, 2017: 4724-4733.

雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。