雷鋒網(wǎng) AI 源創(chuàng)評論按：近日，亞?遜、??智能初創(chuàng)公司 SenseTime 與?港中??學(xué)的研究?員，共同開發(fā)出了?個利? Web 數(shù)據(jù)的新框架——OmniSource，該框架在視頻識別領(lǐng)域創(chuàng)造了新記錄。

通過解決圖像、短視頻和?時間未剪輯視頻等數(shù)據(jù)格式之間的不兼容，并采?數(shù)據(jù)平衡等方法，OmniSource 能夠?最先進的模型更準(zhǔn)確地對視頻進?分類，但其使?的數(shù)據(jù)卻少了 100 倍。

OmniSource 工作原理

研究?員指出，通常收集訓(xùn)練視頻分類算法所需的數(shù)據(jù)既昂貴?費時，因為視頻通常包含?個或多個主題的多個鏡頭，因此分類時必須完整觀看它們，然后?動將其剪切成?段，再仔細(xì)添加標(biāo)注。

OmniSource 的體系結(jié)構(gòu)圖

而 OmniSource 是以集成的?式利用各種來源（搜索引擎，社交媒體）的各種形式 Web 數(shù)據(jù)，例如：圖像、剪輯視頻和未剪輯視頻。然后，AI 系統(tǒng)過濾掉低質(zhì)量的數(shù)據(jù)樣本，并對那些通過其集合的數(shù)據(jù)樣本（平均為 70% 至 80%）進行標(biāo)記，對每個樣本進行轉(zhuǎn)換以使其適?于?標(biāo)任務(wù)，同時提高分類模型訓(xùn)練的魯棒性。

在給定識別任務(wù)后，OmniSource 會獲取所有分類中每個類名的關(guān)鍵字，并從上述來源中抓取 Web 數(shù)據(jù)，并?動刪除重復(fù)數(shù)據(jù)。而對于靜態(tài)圖像，要預(yù)先準(zhǔn)備這些圖像，用于聯(lián)合訓(xùn)練期間使?，它會通過利?移動攝像機使它們?成「偽」視頻。

在聯(lián)合訓(xùn)練階段，?旦將數(shù)據(jù)過濾并轉(zhuǎn)換為與?標(biāo)數(shù)據(jù)集相同的格式，OmniSource 就會權(quán)衡 Web 和?標(biāo)語料庫，然后采?跨數(shù)據(jù)集混合方法，將其中包含的示例對及其標(biāo)簽?于訓(xùn)練。

更少的數(shù)據(jù)，更高的精度

在聯(lián)合訓(xùn)練這個階段，據(jù)研究?員報告稱，當(dāng)用 OmniSource 從頭訓(xùn)練視頻識別模型時，盡管微調(diào)效果不佳，但交叉數(shù)據(jù)混合所取得的效果很好。

而在測試中，團隊使?了三個?標(biāo)數(shù)據(jù)集：

• Kinematics-400，其中包含 400 個分類，每個分類包含 400 個 10 分鐘的視頻；
  

• YouTube-car，其中包含數(shù)千個視頻，展示了 196 種不同類型的汽?；
  

• UCF101，包含 100 個剪輯片段和 101 個類別的視頻識別數(shù)據(jù)集；

Web 數(shù)據(jù)集分布。(a)-(c) 顯示了三個 Web 數(shù)據(jù)集在過濾前后，各個類別數(shù)據(jù)分布中被可視化。（d）給出了 GG-K400 過濾出的圖像（青色框）和剩余圖像（藍(lán)色框）的樣本。雖然成功過濾出了很多不合適的數(shù)據(jù)，但這使得各類別的數(shù)據(jù)分布更加不均

關(guān)于網(wǎng)站資源，研究人員從 Google 圖像搜索中收集了 200 萬張圖像，從 Instagram 收集了 150 萬圖像和 500,000 個視頻，以及從 YouTube 收集了 17,000 多個視頻。結(jié)合?標(biāo)數(shù)據(jù)集，所有這些都被輸?到一些視頻分類模型中。

據(jù)報告顯示，在沒有進行訓(xùn)練時，只有 350 萬張圖像和 80 萬分鐘的視頻可以從互聯(lián)?上爬取而得，結(jié)果不及先前工作的 2％。而在 Kinetics-400 數(shù)據(jù)集上，經(jīng)過訓(xùn)練的模型則顯示出?少 3.0％的準(zhǔn)確性提，精度?達(dá) 83.6％。同時，該框架下從零開始訓(xùn)練的最佳模型在 Kinetics-400 數(shù)據(jù)集上，達(dá)到了 80.4％的準(zhǔn)確度。

可擴展的視頻識別技術(shù)

OmniSource 論?的作者表示，與最先進的技術(shù)相?，該框架可以通過更簡單（也更輕巧）的主?設(shè)計以及更?的輸?量來實現(xiàn)可持平甚至更好的性能。OmniSource 利?了特定于任務(wù)的數(shù)據(jù)集，并且數(shù)據(jù)效率更?，與以前的?法相?，它??減少了所需的數(shù)據(jù)量。此外，框架可推?到各種視頻任務(wù)中，例如：視頻識別和細(xì)粒度分類等。

圖?來源：Reuters / Thomas Peter

未來，OmniSource 或許還可以應(yīng)?于私?和公共場所的安全攝像機中?；蛘?，它可以為諸如 Facebook 之類的社交網(wǎng)站，提供視頻審核算法所需的設(shè)計信息與技術(shù)。

原文地址：

https://venturebeat.com/2020/04/02/amazon-sensetime-omnisource-framework-web-data-video-recognition/ 

OmniSource 論文地址：

https://arxiv.org/pdf/2003.13042.pdf 

雷鋒網(wǎng) AI 源創(chuàng)評論   雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。