雷鋒網(wǎng) AI 科技評(píng)論按，ICCV（The International Conferenceon Computer Vision）是計(jì)算機(jī)視覺領(lǐng)域的三大頂級(jí)會(huì)議之一，騰訊優(yōu)圖實(shí)驗(yàn)室在 ICCV 2017 中共投稿 15 篇論文，其中 12 篇被大會(huì)錄用。錄用論文中，被譽(yù)為「一鍵卸妝」的論文 Makeup-Go: Blind Reversion of Portrait Edit 在社會(huì)各界引起了強(qiáng)烈反響，引爆社交媒體。另一篇超分辨率的論文 Detail-revealing Deep Video Super- resolution（細(xì)節(jié)還原深度視頻超分辨率）相關(guān)技術(shù)也已經(jīng)在 QQ 空間成功落地，各項(xiàng)性能指標(biāo)均超過谷歌的同類技術(shù)。

近日，雷鋒網(wǎng) AI 科技評(píng)論邀請(qǐng)到騰訊優(yōu)圖實(shí)驗(yàn)室高級(jí)研究員沈小勇，他為我們?cè)敿?xì)介紹了騰訊優(yōu)圖實(shí)驗(yàn)室和前面提到的兩篇論文：「一鍵卸妝」（Makeup-Go: Blind Reversion of Portrait Edit）和視頻超分辨率（Detail-revealing Deep Video Super- resolution）。

嘉賓簡(jiǎn)介：沈小勇，騰訊優(yōu)圖實(shí)驗(yàn)室高級(jí)研究員，浙江大學(xué)本科、碩士，香港中文大學(xué)博士、博士后。主要研究深度學(xué)習(xí)在圖像視頻處理理解中的應(yīng)用，包括圖像增強(qiáng)、分割、物體檢測(cè)識(shí)別、運(yùn)動(dòng)與深度估計(jì)等，在 CVPR、ICCV、ECCV 等頂級(jí)會(huì)議和 TPAMI、TOG 等頂級(jí) Journal 上發(fā)表論文超過 15 篇。

以下為他的分享內(nèi)容：

雷鋒網(wǎng)的網(wǎng)友們，大家晚上好，非常高興能在這里進(jìn)行直播，我今天分享的題目是《視覺 AI IP 輸出者：騰訊優(yōu)圖 ICCV 2017 論文》，我是沈小勇，騰訊優(yōu)圖高級(jí)研究員，目前在優(yōu)圖主要進(jìn)行人工智能的技術(shù)研究及開發(fā)工作。

這是我的個(gè)人主頁，我本科和研究生就讀于浙江大學(xué)，博士就讀于香港中文大學(xué)。

下面是對(duì)騰訊優(yōu)圖的簡(jiǎn)介，我們主要立足于人臉識(shí)別、圖像識(shí)別、音頻識(shí)別三個(gè)方面的研究。

下面是優(yōu)圖在基礎(chǔ)研究、平臺(tái)數(shù)據(jù)以及業(yè)務(wù)場(chǎng)景三方面融合的生態(tài)。

這是優(yōu)圖實(shí)驗(yàn)室2017年最新的技術(shù)突破。

今天我重點(diǎn)要跟大家分享的是騰訊優(yōu)圖在 ICCV 2017 上發(fā)表的其中 2 篇論文。

Makeup-Go: Blind Reversion of Portrait Edit

我分享的第一篇論文是 Makeup-Go: Blind Reversion of Portrait Edit，即一鍵卸妝，給你一張?zhí)幚磉^的圖片（比如經(jīng)過美圖秀秀把人變白、變美之后的圖片），把軟件處理之前的樣子恢復(fù)出來。一般情況下，現(xiàn)在有很多圖片處理 APP，我們想知道在美顏處理之前是照片是什么樣。

下面是未經(jīng)過美化的圖片。

美化之后臉上的痘痘消失了，皮膚變得非常光滑。

想要把圖片恢復(fù)成處理之前的狀態(tài)，難點(diǎn)在哪里？

簡(jiǎn)單暴力的方法是既然有輸入圖片和輸出圖片，能不能訓(xùn)練出一個(gè)神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)會(huì)處理圖片。在這里我們做了一個(gè)簡(jiǎn)單實(shí)驗(yàn)，是2016年 CVPR 的一篇文章，一個(gè)非常深的網(wǎng)絡(luò)。

下面是輸入和輸出。從這里可以發(fā)現(xiàn)，即使用了一個(gè)那么深、學(xué)習(xí)能力那么強(qiáng)的網(wǎng)絡(luò)，還是和最初的圖像有很大差別，比如說皺紋和雀斑，都恢復(fù)得不是那么完美。

為什么現(xiàn)在的 CNN 網(wǎng)絡(luò)不能恢復(fù)原來的圖片？圖像里包含很多東西，如果只是簡(jiǎn)單用 CNN 去回歸，只能回歸出非常少的 component，我們?cè)趫D像恢復(fù)時(shí)發(fā)現(xiàn)了一個(gè)非常重要的信息，叫 component domination effect，這篇文章重點(diǎn)針對(duì) component domination effect 來改變一鍵卸妝效果。

首先我們對(duì) L2 loss 進(jìn)行分析，可以對(duì)其進(jìn)行分解，F(xiàn) 是神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，y 是 ground truth。

我們?cè)谶@里發(fā)現(xiàn)，實(shí)際上可以對(duì) L2 loss 進(jìn)行分解，分解成 PCA 不同 component 的線性組合。

可以繼續(xù)對(duì)其進(jìn)行展開。

怎么理解 component，我們從大到小分解出來。

這里是我們所做的網(wǎng)絡(luò)，稱為 component regression network。相當(dāng)于把圖經(jīng)過 PCA 分解為不同的成分，接下來我們希望通過不同的 subnetwork 把每一個(gè) component 都能回歸得很好，最后把各個(gè) component 綜合在一起，得到最終的結(jié)果。

接下來是我們的實(shí)驗(yàn)結(jié)果，可以證明這個(gè)網(wǎng)絡(luò)對(duì)于一鍵卸妝是非常有效的。綠色線條是我們的結(jié)果，在 component 為 40 時(shí)就能達(dá)到比較好的效果。大家可以看到與 Euclidean loss 和 Perception loss 的比較。

下面的這張圖經(jīng)過美圖秀秀處理，把雀斑、皺紋都去除了，可以看到我們復(fù)原的結(jié)果與 ground truth 修飾的結(jié)果的比較。

下面是一張 overly touched 圖片，圖像過度平滑，顏色都改變了，我們恢復(fù)的結(jié)果能把丟失的細(xì)節(jié)很好地復(fù)原出來。

下面是更多的結(jié)果，我們?cè)诰W(wǎng)上隨便找的照片，可以很好地把圖中雀斑和皺紋恢復(fù)出來。

這個(gè)網(wǎng)絡(luò)并不對(duì)所有案例都有效，下面是對(duì) Trump 的圖片的處理，雖然能把圖片恢復(fù)出來，但和 ground truth 比還是有差別。

這個(gè)工作的總結(jié)如下：一、我們?cè)谧鰣D像修復(fù)時(shí)發(fā)現(xiàn)了非常重要的性質(zhì) component domination effect；二，提出 component regression network，在很多領(lǐng)域有非常強(qiáng)的應(yīng)用。

Detail-revealing Deep Video Super- resolution

第二篇論文是 Detail-revealing Deep Video Super-resolution，目前做出來的效果在業(yè)界非常好。

首先講一下我們做視頻超分辨率的 motivation。一，這是一個(gè)非常傳統(tǒng)和基礎(chǔ)的問題；二，應(yīng)用非常非常多，比如說在監(jiān)控場(chǎng)景下分辨車牌號(hào)。

對(duì)于視頻超分辨率之前的工作，可以分為兩類，一類是 image SR，一類是 video SR，具體的研究工作如 PPT 所示。我們這篇文章在別人的基礎(chǔ)上把研究向前推進(jìn)了一步。

下面是這個(gè)問題的難點(diǎn)。一是怎么去得到非常 effective 的網(wǎng)絡(luò)，二是模型的問題。

首先介紹我們方法的優(yōu)勢(shì)：一是 sub-pixel motion 更好的運(yùn)用，二是在視覺和數(shù)量上我們的結(jié)果比之前好很多。另外這個(gè)模型是 fully scalable 的，可以是任何輸入大小，實(shí)現(xiàn)任何倍數(shù)放大。

下面是我們方法的網(wǎng)絡(luò)。怎么解決剛才提到的那些問題呢？一是設(shè)置 Fully convolutional，二是 SPMC 層沒有任何參數(shù)，三是 Conv LSTM。

下面是我們的分析。對(duì)這個(gè)網(wǎng)絡(luò)，我們輸入三個(gè)相同的幀，效果不是很好，而輸入三個(gè)連續(xù)的幀可以得到比較好的效果。

第二個(gè)分析是將 SPMC Layer 和 Baseline 進(jìn)行比較，SPMC 在此處效果更好。

通過對(duì)比可以看到我們的方法比之前的 Bicubic、BayesSR、DESR、VSRNet 都要好。

最后分析下運(yùn)行時(shí)間，我們的方法優(yōu)于 BayesSR、MFSR、DESR、VSRNet。

最后總結(jié)：一是這個(gè)工作是端到端的，有很好的適應(yīng)性，二是提出了 SPMC layer，三是我們的方法質(zhì)量很高，速度上有較大提升。

下面是對(duì)我們騰訊優(yōu)圖 X-Lab 的簡(jiǎn)介。

這是我們的團(tuán)隊(duì)照片，目前我們團(tuán)隊(duì)大概有 30 多個(gè)人。

最后我還想在這里來個(gè)簡(jiǎn)單的廣告，目前我們團(tuán)隊(duì)處于飛速發(fā)展中，如果大家對(duì)我們團(tuán)隊(duì)有興趣，歡迎加我微信。

視頻：

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。