雷鋒網(wǎng)按：本文作者嚴(yán)燦祥，碩士畢業(yè)于中科院計(jì)算所VIPL課題組。目前就職于百度深度學(xué)習(xí)研究院。主要從事商品檢索技術(shù)的研發(fā)。所在的識(shí)圖策略組包括商品搜索、相似搜索、相同搜索與圖像猜詞等方向。

摘要

商品檢索是一門綜合了物體檢測(cè)、圖像分類以及特征學(xué)習(xí)的技術(shù)。近期，很多研究者成功地將深度學(xué)習(xí)方法應(yīng)用到這個(gè)領(lǐng)域。本文對(duì)這些方法進(jìn)行了總結(jié)，然后概括地提出了商品特征學(xué)習(xí)框架以及垂類數(shù)據(jù)挖掘方式，最后介紹了商品檢索技術(shù)在服裝搭配中的應(yīng)用。

前言

幾年前，當(dāng)人們還在感嘆于網(wǎng)頁購(gòu)物的快速便捷時(shí)，各大電商巨頭就“悄悄地”將它們的購(gòu)物應(yīng)用推廣到了用戶的手機(jī)里。從那一刻起，用戶購(gòu)買的習(xí)慣也在悄悄地發(fā)生著改變：人們不再局限于時(shí)間與地點(diǎn)，只要擁有一部聯(lián)網(wǎng)的手機(jī)，就能輕松獲取想要的商品。發(fā)展至今，移動(dòng)設(shè)備的安全、高速等特點(diǎn)越來越獲得人們的認(rèn)可，也使得移動(dòng)購(gòu)物行為變得更加普遍。然而目前PC和Mobile終端中，用戶基本都是通過文本關(guān)鍵詞獲取目標(biāo)商品，這種單一的關(guān)鍵詞描述有時(shí)很難獲取用戶的真實(shí)需求。

為此，電商們也進(jìn)行了很多改進(jìn)。其中最有效的一些做法是構(gòu)建高度結(jié)構(gòu)化的后臺(tái)商品數(shù)據(jù)庫(kù)。其目的是能夠通過分析用戶的查詢來推薦一些更加精細(xì)粒度、時(shí)效性好、熱度高的商品品類，并提供給用戶一個(gè)限定了價(jià)格、品牌、風(fēng)格等等的商品候選集合。這種基于文本的由粗到精的推薦方式，能夠很好的幫助用戶定位到具有精細(xì)且具體標(biāo)簽的商品。然而，當(dāng)用戶需求的商品的周邊信息不明確時(shí)，很難通過抽象出有限的關(guān)鍵詞來進(jìn)行檢索。這類商品包括：未知品牌的化妝品，樣式新穎的家具或者時(shí)尚流行的服裝等（如圖1）。

圖1：一些難以用關(guān)鍵詞描述的商品

所見即所得

對(duì)于上述的問題，可以用一句話歸結(jié)為：當(dāng)需求物品難以用文本量化描述時(shí)， 給定它的一張圖像，是否有可能推薦給用戶相關(guān)的商品？ 可以想象這樣的場(chǎng)景： 當(dāng)你看到一件喜歡的物品，只通過手機(jī)拍照將其圖像上傳購(gòu)物網(wǎng)站，就能獲取實(shí)物購(gòu)買信息。如果商品檢索能做到這樣的“所見即所得”， 必將會(huì)給有購(gòu)物需求的用戶帶來很大的便捷。

“所見”如何才能變成“所得”呢？ 在回答這個(gè)問題之前， 首先需要了解商品檢索中的難點(diǎn)問題：

商品品類繁多

小到柴米油鹽，大到家具電器， 都可以稱為商品。而且很多商品都包括多級(jí)且細(xì)致的分類，例如，家具可分為臥室家具、客廳家具、餐廳家具、書房家具等；服裝的一級(jí)品類包括女裝、男裝、內(nèi)衣、配飾與童裝童鞋等， 女裝又可分為連衣裙、T恤、雪紡衫等； 母嬰中的童車童床類別可分為安全座椅、嬰兒推車、嬰兒床、嬰兒床、墊餐、椅學(xué)步車等。由此可見， 好的檢索技術(shù)不僅要識(shí)別這么多的商品類別， 并且需要區(qū)分每個(gè)類別下的不同商品實(shí)例； 同時(shí)后臺(tái)商品數(shù)據(jù)庫(kù)應(yīng)該具有很高的覆蓋面。

圖2：多種多樣的商品

同款與相似款的混淆

根據(jù)多級(jí)類目或?qū)傩赃M(jìn)行商品劃分的方式，盡管區(qū)分了大多數(shù)具有精細(xì)語義的商品，但在區(qū)分同款與相似款上的作用仍然是有限的，即無法確認(rèn)兩件分為一個(gè)類別的商品是相同款。 舉例來說，已知兩個(gè)人都穿著白色短袖圓領(lǐng)T恤， 因?yàn)樽藨B(tài)、角度、光照等影響，有可能會(huì)使得相似款更像同款，或者同款被誤識(shí)別為相似款。這就是計(jì)算機(jī)視覺中經(jīng)常碰到的類內(nèi)差異性與類間相似性問題。圖3的例子可以說明這兩個(gè)問題。 左側(cè)(a)中的上衣是同一款衣服，但由于人體姿態(tài)、懸掛方式、手臂遮擋、光線等問題的存在，使得它的顏色以及長(zhǎng)度等表觀屬性具有很大的差異性；三款相似的黑色印花連衣裙如(b)所示，它們擁有相似的不規(guī)則的印花圖案，以及黑色的底色和A字裙擺；這些特點(diǎn)都讓他們很相似，但從袖型可看出它們非同款。

圖3：同款與相似款服飾圖像

其實(shí)，計(jì)算機(jī)視覺的各個(gè)領(lǐng)域都在解決這樣的“所見即所得”難題， 即如何讓機(jī)器能夠自動(dòng)準(zhǔn)確的理解圖像內(nèi)容。隨著深度學(xué)習(xí)的興起， 包括人臉識(shí)別、 圖像分類與物體檢測(cè)在內(nèi)的方向都取得了很多重要的進(jìn)展， 也為深度學(xué)習(xí)在商品檢索中的應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。

概括的講， 為達(dá)到“所見即所得”的目標(biāo)， 商品檢索技術(shù)的框架中需要包含以下三個(gè)部分：

(1)  商品主體檢測(cè)： 用于自動(dòng)定位用戶感興趣的商品，去除背景、多主體等因素的影響，也有利于抽取的語義特征的對(duì)齊。

(2)  商品品類識(shí)別：通過識(shí)別商品的主體的品類， 使得在檢索時(shí)可以在商品子數(shù)據(jù)子庫(kù)進(jìn)行搜索，提升檢索的效果與效率。

(3)  商品特征表示： 通過學(xué)習(xí)獲得商品主體的判別性特征， 使得同款商品距離更近且非同款商品相距更遠(yuǎn)； 對(duì)光照、姿態(tài)、遮擋等變化有一定的魯棒性。

服飾檢索技術(shù)回顧

基于拍照的商品檢索問題本質(zhì)是一個(gè)跨域(cross-domain)圖像檢索問題：需要根據(jù)用戶輸入的移動(dòng)拍照?qǐng)D像，從電商庫(kù)中獲取同款或是非常相似的商品圖片列表。這些特點(diǎn)決定了商品檢索是一項(xiàng)綜合性的圖像處理技術(shù)——它涉及圖像識(shí)別、檢測(cè)、特征學(xué)習(xí)等各方面的內(nèi)容。

其中， 服裝垂類檢索是商品檢索中一個(gè)重要的問題。因?yàn)榉b包含非常多的細(xì)品類， 而且存在非常多的視覺變化， 如光照、形變、視角、尺度、背景影響等等。解決服裝檢索的技術(shù)能夠很好的被推廣到其他垂類上。當(dāng)前，很多學(xué)者和研究機(jī)構(gòu)都嘗試基于深度學(xué)習(xí)進(jìn)行服裝檢索技術(shù)的探究與創(chuàng)新。 下文將回顧三篇基于深度學(xué)習(xí)來解決跨域服裝檢索問題的文章。

Where-to-Buy-It (WTBI)

這篇文章發(fā)表于ICCV2015，作者是來自北卡羅來納大學(xué)教堂山分校的M. Hadi Kiapour。作者把street-to-shop的服裝檢索場(chǎng)景， 形式化為cross-domain的商品相似度學(xué)習(xí)問題，并設(shè)計(jì)了一種用于特定類別的相似度計(jì)算的網(wǎng)絡(luò)參數(shù)學(xué)習(xí)方式。整個(gè)學(xué)習(xí)流程如圖4所示。

圖4 基于特定類別的度量學(xué)習(xí)網(wǎng)絡(luò)

首先， 利用裙子、外套、上衣、褲子、裙子等五個(gè)主要的商品類別的同款標(biāo)注圖像， 基于cross entropy loss訓(xùn)練一個(gè)通用商品的同款判別模型；然后，對(duì)于特定細(xì)分類的商品檢索模型學(xué)習(xí)問題，采用其對(duì)應(yīng)的同款訓(xùn)練數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)參數(shù)微調(diào)，將通用同款模型遷移成特定類別的同款模型。在進(jìn)行方法驗(yàn)證時(shí)，文中還收集了40萬的電商數(shù)據(jù)，以及近4萬組的street-to-shop的同款商品數(shù)據(jù)。實(shí)驗(yàn)表明，通過這種“由粗到細(xì)”方式學(xué)習(xí)到的相似度量網(wǎng)絡(luò)，比基于ImageNet訓(xùn)練的深度特征有更好的檢索性能。但此文只基于離線CNN特征學(xué)習(xí)相似度， 并沒有進(jìn)行端到端的檢索模型的探索。

Dual Attribute-aware Ranking Network (DARN)

這篇文章發(fā)表于ICCV2015，作者是來自新加坡國(guó)立大學(xué)的Junshi Huang。此文與WTBI方法相比的不同在于：在處理街拍場(chǎng)景(street scenario)與電商場(chǎng)景(shopping scenario)服裝圖像之間的檢索問題時(shí)，提出了一種端到端的雙路神經(jīng)網(wǎng)絡(luò)模型（DARN）來學(xué)習(xí)深度特征。如圖5所示：其中一路網(wǎng)絡(luò)學(xué)習(xí)街拍場(chǎng)景下的服裝特征；另一路網(wǎng)絡(luò)學(xué)習(xí)電商場(chǎng)景下的服裝特征。

圖5：DARN方法的網(wǎng)絡(luò)結(jié)構(gòu)

為了提升圖像檢索特征的判別能力，作者還采用了多種標(biāo)注數(shù)據(jù)來監(jiān)督網(wǎng)絡(luò)的學(xué)習(xí)過程：多標(biāo)簽的屬性標(biāo)注與服裝同款I(lǐng)D標(biāo)注。為此，在設(shè)計(jì)網(wǎng)絡(luò)損失時(shí)，同時(shí)采用了基于多標(biāo)簽屬性數(shù)據(jù)的cross-entropy loss以及服裝同款I(lǐng)D數(shù)據(jù)的triplet loss?？偟膩砜?，網(wǎng)絡(luò)的輸出特征同時(shí)隱含了局部語義屬性的判別能力以及全局表觀的區(qū)分性， 在檢索效果的提升上具有很好的互補(bǔ)性。

DeepFashion

這篇文章發(fā)表于CVPR2016，作者是來自香港中文大學(xué)的Ziwei Liu。為了使服飾識(shí)別相關(guān)的研究更加貼近實(shí)際應(yīng)用場(chǎng)景， 作者收集了一個(gè)規(guī)模更大且語義標(biāo)注更全面的服裝數(shù)據(jù)集DeepFashion；它在圖像數(shù)目、類別與屬性數(shù)目、同款對(duì)、位置標(biāo)定與數(shù)據(jù)開放等方面都占據(jù)優(yōu)勢(shì)。其與WTBI和DARN中的數(shù)據(jù)庫(kù)對(duì)比如表格1所示。

表格1：DeepFashion與WTBI、DARN中圖像數(shù)據(jù)庫(kù)對(duì)比

此文還提出了一種FashionNet， 融合了大類、屬性、服裝ID以及關(guān)鍵點(diǎn)四種監(jiān)督信息來進(jìn)行服裝特征學(xué)習(xí)。它的創(chuàng)新之處是，設(shè)計(jì)了分別對(duì)全局表觀以及局部部件進(jìn)行特征學(xué)習(xí)的網(wǎng)絡(luò)；其中的局部網(wǎng)絡(luò)結(jié)構(gòu)利用了服裝局部關(guān)鍵點(diǎn)對(duì)卷積特征響應(yīng)圖進(jìn)行對(duì)齊，避免了關(guān)鍵點(diǎn)所在部件的變化帶來的影響。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6：FashionNet網(wǎng)絡(luò)

方法總結(jié)

復(fù)雜體系下的商品類別識(shí)別以及檢索問題的解決，不僅在于網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)，而且需要多種類型的標(biāo)注數(shù)據(jù)來約束整個(gè)網(wǎng)絡(luò)的訓(xùn)練；這些數(shù)據(jù)包括商品位置、商品類別、 商品屬性以及商品同款數(shù)據(jù)等；由此，檢索結(jié)果與查詢圖像才能具有全局表觀相似性與局部語義一致性。當(dāng)然，對(duì)于如何結(jié)合這些監(jiān)督數(shù)據(jù)進(jìn)行學(xué)習(xí)仍有待進(jìn)一步探索，是否端到端網(wǎng)絡(luò)的性能一定優(yōu)于分段學(xué)習(xí)網(wǎng)絡(luò)也猶未可知。與傳統(tǒng)方法相比，此類深層神經(jīng)網(wǎng)絡(luò)模型在進(jìn)行商品檢索特征學(xué)習(xí)時(shí)并沒有脫離一般圖像檢索的特征學(xué)習(xí)框架： 不僅需要在前端進(jìn)行語義對(duì)齊，也需要在后端提升特征判別性?？偟膩碚f， 以上深度學(xué)習(xí)方法的探索與創(chuàng)新, 都將為商品檢索技術(shù)趨于實(shí)用化打下扎實(shí)的基礎(chǔ)。

特征學(xué)習(xí)框架

盡管以上的論文主要在探究服裝類商品的檢索技術(shù)， 但這些方法在其他的商品垂類上也是適用的。如圖7所示，這些方法可概括成一套特征學(xué)習(xí)框架。圖中三個(gè)部分的意義分別是：

(1) 商品圖像預(yù)處理。商品有剛體（如鞋子、箱包、化妝品等）與非剛體（如男裝、女裝、童裝等）之分， 姿態(tài)、形變、尺寸等差異很大； 因此，需要采用一定的語義對(duì)齊方式使得模型對(duì)這些變化魯棒，常見操作有商品檢測(cè)框?qū)R、旋轉(zhuǎn)對(duì)齊、局部關(guān)鍵點(diǎn)對(duì)齊等。

(2) 全局表觀與局部語義特征融合。將一個(gè)商品圖像映射為一個(gè)特征的方法有很多；為了使得到的特征具有很好的判別性，多種語義監(jiān)督信息被用于引導(dǎo)模型的學(xué)習(xí)。以服裝垂類為例，最終的特征不僅需要區(qū)分語義（如服裝的袖長(zhǎng)、 領(lǐng)型、 扣型等），也需要能衡量表觀的相似性（如顏色、紋理等） 因此，這類監(jiān)督數(shù)據(jù)的收集也是整個(gè)特征學(xué)習(xí)框架的重要組成。

(3) 特征降維。特征的學(xué)習(xí)是一個(gè)精益求精的過程，維度低且判別性好的特征才能保證檢索的性能與效率。用于降維學(xué)習(xí)的數(shù)據(jù)一般是商品同款數(shù)據(jù)；常用的降維方式有線性判別分析（LDA）、圖像分類與度量學(xué)習(xí)等。

圖7：商品垂類特征學(xué)習(xí)框架

垂類數(shù)據(jù)挖掘

基于這套框架，特征學(xué)習(xí)就可以依靠大量的標(biāo)注數(shù)據(jù)來完成。如何來獲取標(biāo)注數(shù)據(jù)呢？ 簡(jiǎn)單粗暴的全量數(shù)據(jù)標(biāo)注會(huì)非常耗時(shí)耗力。 這里針對(duì)同款數(shù)據(jù)與類別數(shù)據(jù)分別給出了數(shù)據(jù)挖掘的方法， 如圖8所示。

（a）同款數(shù)據(jù)挖掘?；谝延械臋z索特征模型以及大類屬性分類模型，可以將互聯(lián)網(wǎng)數(shù)據(jù)按照類別預(yù)測(cè)結(jié)果進(jìn)行劃分，并根據(jù)子類進(jìn)行單獨(dú)的聚類。對(duì)于每個(gè)cluster，根據(jù)一些準(zhǔn)則（如特征數(shù)目、平均距離、距離方差等）來判定噪聲并進(jìn)行篩選；最后通過人工標(biāo)注的方式進(jìn)一步切分每一個(gè)cluster來獲取同款的商品。

（b）類別數(shù)據(jù)挖掘。首先，通過爬蟲抓取以及人工構(gòu)造的方式，可以獲得大量的關(guān)鍵詞集合；并將它們進(jìn)行多詞組合的方式在圖像搜索引擎獲取top-K的檢索結(jié)果，放入類別圖像候選集合；之后，基于已有的大類屬性模型，對(duì)候選集進(jìn)行提純，去除低質(zhì)量以及語義錯(cuò)誤的圖像。

圖8：同款與類別數(shù)據(jù)挖掘

技術(shù)應(yīng)用

本節(jié)介紹一種新商品檢索技術(shù)應(yīng)用方向： 服裝搭配。服裝搭配是指根據(jù)用戶給定的一件衣服單品，推薦出能夠與之搭配的時(shí)尚款式。它的應(yīng)用場(chǎng)景包括時(shí)尚資訊推薦、電商導(dǎo)購(gòu)等。由于服飾品類繁多、穿著標(biāo)準(zhǔn)各異， 如何定義并獲取時(shí)尚的款式以及給用戶個(gè)性化推薦搭配方案，都面臨很大的挑戰(zhàn)。下文將圍繞這兩個(gè)問題，介紹一種基于商品檢索技術(shù)的服飾搭配方法。

定義時(shí)尚款式

“工欲善其事必先利其器”。在服飾搭配過程中，構(gòu)建時(shí)尚款式的數(shù)據(jù)庫(kù)是非常必要的。然而，時(shí)尚是一種比較感性的認(rèn)識(shí)， 且人們對(duì)于時(shí)尚的理解各不相同，“時(shí)尚款式”的定義是沒有一個(gè)統(tǒng)一的量化標(biāo)準(zhǔn)的。下圖給出了一些時(shí)尚圖像的例子， 可以看出，圖像中服裝的時(shí)尚取決于很多方面： 服裝樣式、發(fā)型、 鞋子、 拍照?qǐng)鼍啊?身材等等。

圖9：時(shí)尚庫(kù)中的四款搭配

為了解決這個(gè)難題，數(shù)據(jù)來源選自多個(gè)頂級(jí)時(shí)尚網(wǎng)站。這些網(wǎng)站往往通過時(shí)尚達(dá)人編輯的方式來推薦出時(shí)尚圖片，確保了服裝的時(shí)尚性與新穎性； 除此之后，從視覺上影響圖像時(shí)尚程度的因素還有很多，如背景灰暗、T臺(tái)秀、非全身圖、身材差、分辨率低等； 基于這類數(shù)據(jù)訓(xùn)練低質(zhì)圖片過濾模型，就能獲取最終的高質(zhì)時(shí)尚庫(kù)。

服裝搭配技術(shù)

簡(jiǎn)單講，服飾搭配就是一種通過用戶上衣（下裝），推薦時(shí)尚下裝（上衣）的技術(shù)。這里根據(jù)優(yōu)化目標(biāo)的不同將現(xiàn)有方法分為兩大類： 基于上下衣度量學(xué)習(xí)的方法以及基于相似服飾檢索的方法。前者的實(shí)現(xiàn)基于不同服裝部件的度量學(xué)習(xí)： 適合搭配的上下裝距離應(yīng)該盡量的近，而不適合搭配的則要盡量的遠(yuǎn)。后者假定時(shí)尚庫(kù)的圖像擁有優(yōu)質(zhì)的搭配, 將用戶服裝單品輸入時(shí)尚服裝數(shù)據(jù)庫(kù)的檢索引擎， 獲得語義與表觀相似的時(shí)尚推薦結(jié)果。

圖10：服飾搭配。上排：灰色短袖T恤；下排：黑色七分闊腿褲

總結(jié)與展望

本文回顧了基于深度學(xué)習(xí)的服裝檢索技術(shù)，并且基于這些方法，概括出一套通用的商品特征學(xué)習(xí)框架。針對(duì)不同種類商品圖像的采集，給出了基于圖像搜索引擎的數(shù)據(jù)挖掘方法。后續(xù)仍有待進(jìn)一步探究的方向包括多品類商品檢索技術(shù)、基于大規(guī)模同款數(shù)據(jù)的特征學(xué)習(xí)以及全自動(dòng)數(shù)據(jù)挖掘方法等。

雷鋒網(wǎng)注：本文由深度學(xué)習(xí)大講堂授權(quán)雷鋒網(wǎng)發(fā)布，如需轉(zhuǎn)載請(qǐng)注明作者和出處，不得刪減內(nèi)容。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。