雷鋒網(wǎng) AI 科技評(píng)論按：CVPR是近十年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域全球最有影響力、內(nèi)容最全面的頂級(jí)學(xué)術(shù)會(huì)議，由全球最大的非營(yíng)利性專(zhuān)業(yè)技術(shù)學(xué)會(huì)IEEE（電氣和電子工程師協(xié)會(huì)）主辦。今年CVPR審核了2620篇文章，最終收錄783篇，錄取率29%。阿里巴巴集團(tuán)數(shù)據(jù)科學(xué)與技術(shù)研究院 iDST 和人工智能研究院 AI LAB 也有多篇論文被收錄。

本文就是對(duì)阿里巴巴 iDST 視頻分析團(tuán)隊(duì)的 CVPR 2017論文「 Video2Shop: Exact Matching Clothes in Videos to Online Shopping Images 」（從視頻到電商：視頻衣物精確檢索）的解讀，文章作者為阿里巴巴方廣、磐君、思淘。

阿里巴巴 iDST 視頻分析團(tuán)隊(duì)在這篇論文中圍繞視頻電商業(yè)務(wù)場(chǎng)景，提出了一個(gè)在線視頻衣物精確檢索系統(tǒng)。該系統(tǒng)能夠滿(mǎn)足用戶(hù)在觀看影視劇時(shí)想要同時(shí)購(gòu)買(mǎi)明星同款的需求。整個(gè)系統(tǒng)采用了目前最先進(jìn)的衣物檢測(cè)和跟蹤技術(shù)，針對(duì)明星同款檢索中存在的多角度、多場(chǎng)景、遮擋等問(wèn)題，提出可變化的深度樹(shù)形結(jié)構(gòu)（Reconfigurable Deep Tree structure），利用多幀之間的相似匹配解決單一幀檢索存在的遮擋、模糊等問(wèn)題。該結(jié)構(gòu)可以認(rèn)為是對(duì)現(xiàn)有attention模型的一種擴(kuò)展，可以用來(lái)解決多模型融合問(wèn)題。

論文技術(shù)在天貓魔盒視頻中應(yīng)用

業(yè)務(wù)場(chǎng)景及研究問(wèn)題：視頻電商中的衣物精確匹配

早在 2014 年，阿里與優(yōu)酷土豆發(fā)布視頻電商戰(zhàn)略，稱(chēng)未來(lái)可以實(shí)現(xiàn)邊看邊買(mǎi)，使得視頻電商的概念，繼微博電商，朋友圈電商之后浮出水面。電商平臺(tái)擁有少量商品，而視頻網(wǎng)站具有巨大的流量，二者結(jié)合是發(fā)展的必然結(jié)果。電商平臺(tái)可以借助視頻網(wǎng)站的流量來(lái)實(shí)現(xiàn)導(dǎo)流和平臺(tái)下沉，而視頻網(wǎng)站則需要通過(guò)廣告點(diǎn)擊和商品成交來(lái)實(shí)現(xiàn)流量變現(xiàn)，因此二者的結(jié)合可謂一拍即合。視頻電商的商業(yè)主旨是打造以視頻為入口的購(gòu)物服務(wù)，視頻中出現(xiàn)所有物體都可能是商品，提供包括邊看邊買(mǎi)、明星同款、廣告投放等服務(wù)，它集娛樂(lè)、休閑、購(gòu)物于一體，給用戶(hù)構(gòu)造出一種“身臨其境”情境營(yíng)銷(xiāo)，或者是明星同款的沖動(dòng)式消費(fèi)。視頻電商目前已經(jīng)不是停留在概念層次了，視頻網(wǎng)站向電商的導(dǎo)流轉(zhuǎn)化也一直在不斷的嘗試中。

然而影視劇中的服飾存在較大的差異性和異構(gòu)性， 同一個(gè)目標(biāo)往往展現(xiàn)出較大的差異。服飾購(gòu)物圖像通常具有雜亂、多樣的背景， 而且常在戶(hù)外拍攝。多樣化的背景可能是建筑物，街道、風(fēng)景、汽車(chē)等多種情況。由于自然場(chǎng)景下受到光線、角度、大小、分 辨率、幾何學(xué)和光度學(xué)的變化等影響，使得服飾呈現(xiàn)出現(xiàn)的外形極為復(fù)雜，即使是同一件服飾也會(huì)出現(xiàn)變化較大的效果。同時(shí)在線網(wǎng)站為更好地展示服飾的效果，通常聘請(qǐng)時(shí)尚模特穿著所售商品，模特/人物姿勢(shì)變化也是導(dǎo)致服飾變化的一個(gè)重要因素。 由于以上這些因素，使得視頻明星同款搜索成為了一個(gè)極具挑戰(zhàn)性的技術(shù)問(wèn)題。

網(wǎng)絡(luò)結(jié)構(gòu)及技術(shù)細(xì)節(jié)

AsymNet網(wǎng)絡(luò)結(jié)構(gòu)：整個(gè)Asymnet深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。當(dāng)用戶(hù)通過(guò)機(jī)頂盒（天貓魔盒）觀看視頻時(shí)，該網(wǎng)絡(luò)將從電商網(wǎng)站（淘寶、天貓）檢索到與之匹配的衣服，并推薦給用戶(hù)。為忽略復(fù)雜背景對(duì)檢索結(jié)果的影響，更準(zhǔn)確的進(jìn)行服裝定位，我們首先應(yīng)用服飾檢測(cè)技術(shù)，提取得到服飾區(qū)域一組候選框。然后對(duì)這些候選框進(jìn)行跟蹤，得到明星同款在視頻中的的運(yùn)動(dòng)軌跡。對(duì)于衣物候選區(qū)域和運(yùn)動(dòng)軌跡我們分別利用用圖像特征網(wǎng)絡(luò)（IFN）和視頻特征網(wǎng)絡(luò)（VFN）進(jìn)行特征學(xué)習(xí)?？紤]到服裝的運(yùn)動(dòng)軌跡，衣物精確檢索問(wèn)題被定義為不對(duì)稱(chēng)（多對(duì)單）匹配問(wèn)題，我們提出可變化的深度樹(shù)形結(jié)（Reconfigurable Deep Tree Structure），利用多幀之間的相似匹配解決單一幀檢索存在的遮擋、模糊等問(wèn)題。后續(xù)本文將詳細(xì)介紹模型的各個(gè)部分。

圖 1 Asymnet深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖像特征網(wǎng)絡(luò)（IFN）：傳統(tǒng)CNN網(wǎng)絡(luò)要求輸入圖像為固定的227x227（因?yàn)镃NN網(wǎng)絡(luò)中的卷積層需要有一個(gè)確定的預(yù)定義的維度）。在視頻電商業(yè)務(wù)場(chǎng)景中，因?yàn)橐挛餀z測(cè)候選框?yàn)槿我獯笮。叨茸兓艽?，傳統(tǒng)CNN網(wǎng)絡(luò)無(wú)法進(jìn)行有效的特征學(xué)習(xí)。針對(duì)這一問(wèn)題，我們利用空間金字塔池化結(jié)構(gòu)（SPP）體系結(jié)構(gòu)，如圖2所示。它通過(guò)空間池聚合最后一個(gè)卷積層的特征，從而使池區(qū)域的大小與輸入的大小無(wú)關(guān)。

圖 2 Asymnet圖像特征網(wǎng)絡(luò)（IFN）

視頻特征網(wǎng)絡(luò) (VFN)：為了更好的考慮視頻的空間序列模式，進(jìn)一步提高衣物檢索的性能?；?LSTM，我們提出了視頻特征網(wǎng)絡(luò) (VFN)，如圖3所示。其中實(shí)驗(yàn)驗(yàn)證明兩層堆疊式 LSTM 結(jié)構(gòu)能夠在視頻特征學(xué)習(xí)中得到最佳性能。

 

圖 3 Asymnet視頻特征網(wǎng)絡(luò) (VFN)

相似性網(wǎng)絡(luò)：明星同款匹配不同于近似衣物檢索，精確匹配要求完全一致。在完全一致的 要求下，傳統(tǒng)的通過(guò)相似性計(jì)算來(lái)進(jìn)行檢索的方法，不能滿(mǎn)足明星同款精確匹配要求。已有的方法通常將精確匹配問(wèn)題轉(zhuǎn)換為一個(gè)二分類(lèi)問(wèn)題，但這種方式適應(yīng)性差，只能利用單一時(shí)刻的視頻幀。為了能夠利用整個(gè)衣物運(yùn)動(dòng)軌跡，我們提出了如下的可變化的深度樹(shù)形結(jié)構(gòu)（Reconfigurable Deep Tree structure）將匹配問(wèn)題轉(zhuǎn)換為邏輯回歸問(wèn)題。匹配網(wǎng)絡(luò)擬采用基于混合專(zhuān)家系統(tǒng)的邏輯回歸網(wǎng)絡(luò)。該結(jié)構(gòu)可以認(rèn)為是對(duì)現(xiàn)有attention模型的一種擴(kuò)展，可以用來(lái)解決多模型融合問(wèn)題。

圖 4 Asymnet相似性網(wǎng)絡(luò)

整個(gè)模型的目標(biāo)函數(shù)是綜合考慮每一幀的匹配結(jié)果，得到基于整個(gè)衣物運(yùn)動(dòng)序列和電商衣物的相似性，整個(gè)系統(tǒng)可以建模為對(duì)如下目標(biāo)公式進(jìn)行求解：

類(lèi)似于attention機(jī)制，我們提出如下后驗(yàn)概率模型，來(lái)對(duì)上式進(jìn)行求解：

得到如下梯度并采用端到端方式進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)。 

試驗(yàn)結(jié)果

我們利用業(yè)務(wù)數(shù)據(jù)和最新的衣物檢索方法進(jìn)行了對(duì)比，試驗(yàn)結(jié)果如下表所示。相對(duì)于alexnet，Asymnet在前20的檢索精確率指標(biāo)上，其性能幾乎提高了進(jìn)一倍。相對(duì)于其他2種網(wǎng)絡(luò)CS 和RC， 我們發(fā)現(xiàn)RC的性能略?xún)?yōu)于CS，因?yàn)镽C具有較強(qiáng)的識(shí)別能力差異較?。ú捎枚嗳蝿?wù)學(xué)習(xí)）。甚至在對(duì)于某些類(lèi)別（無(wú)明顯差別）RC在精確率上甚至略好于AsymNet，但是總的來(lái)說(shuō)AsymNet比目前現(xiàn)有的方法擁有更好的性能。因?yàn)锳symnet可以處理現(xiàn)有的視頻的時(shí)空動(dòng)態(tài)變化，并結(jié)合自動(dòng)視頻幀的自動(dòng)調(diào)節(jié)爐排判別信息的融合策略。

論文下載鏈接：http://openaccess.thecvf.com/content_cvpr_2017/papers/Cheng_Video2Shop_Exact_Matching_CVPR_2017_paper.pdf 

CVPR 2017 后續(xù)報(bào)道、更多近期學(xué)術(shù)會(huì)議現(xiàn)場(chǎng)報(bào)道，請(qǐng)繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評(píng)論。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。