Adobe也玩“PPAP”，兩圖合并帶來新風格

本文作者：周翔

2017-04-01 23:31

導語：此外，該技術(shù)并不會改變照片的結(jié)構(gòu)，因而不會產(chǎn)生失真的現(xiàn)象，處理后的照片看起來仍然非常自然。

雷鋒網(wǎng)按：有沒有想過，為什么你拍攝的照片永遠不如專業(yè)攝影師那樣出彩？其實在你看不到的地方隱藏著大量的后期處理。如今，計算機科學家希望讓業(yè)余攝影師也能夠輕而易舉地獲得同樣精彩的照片，而不需要再花費大量時間來進行PS。

日前，軟件公司Adobe和康奈爾大學合作，利用深度學習來對圖片進行后期制作和顏色調(diào)校。這其實是一種圖像風格遷移技術(shù)，它能夠?qū)⒁粡堈掌拿缹W風格自動套用到另一張完全不同的照片中，包括光線、顏色和色調(diào)。此外，該技術(shù)并不會改變照片的結(jié)構(gòu)，因而不會產(chǎn)生失真現(xiàn)象，處理后的照片看起來仍然非常自然。如下圖所示：

Adobe也玩“PPAP”，兩圖合并帶來新風格

雖然這樣的圖像處理算法并不是什么新東西，但是此前結(jié)果往往會讓照片呈現(xiàn)出畫像那樣不真實感：比如細節(jié)丟失、直線彎曲變形，顏色大范圍的變化等等。因此這些圖像通常還需要進一步處理，糾正里面的錯誤。

然而，這個研究團隊的目標是——讓轉(zhuǎn)變過程能夠一步到位，不再需要手動調(diào)整，因此最終他們選用了神經(jīng)網(wǎng)絡加深度學習。

神經(jīng)網(wǎng)絡和深度學習是人工智能領(lǐng)域常被提及的專用術(shù)語，要實現(xiàn)自動執(zhí)行圖像風格遷移，這兩種技術(shù)是非?；镜?。想要專門教會軟件識別并處理地球上的每種物體是不可能的，但是通過對成千上萬個樣本不斷進行修正，然后對其結(jié)果進行反饋，隨著時間的推移，算法將通過不斷的自我調(diào)參來獲得更好的結(jié)果。

最終，不需要教會算法什么是建筑物或者建筑物是什么樣子，它就能自己知道天空出現(xiàn)的顏色不應該應用到人造的建筑物上。這種算法僅僅會對圖像的顏色和色調(diào)進行調(diào)整，因此它能夠保留細節(jié)，而不會產(chǎn)生線條變形等副作用。

那么，到底是如何實現(xiàn)圖像間的風格遷移的呢？這個研究團隊在論文“Deep Photo Style Transfer”中做了詳細介紹，感興趣的可以閱讀原文。雷鋒網(wǎng)對該論文做了摘編：

首先需要兩張圖像：一張普通圖像作為輸入（input），以及一張已經(jīng)修飾過風格化圖像作為參考（reference）。然后通過神經(jīng)風格算法（Neural Style algorithm）將參考圖像的風格遷移到輸入圖像中去，最后獲得處理過后的圖像（output）。

此外，該團隊還為神經(jīng)風格算法中引入了兩個核心思想（core ideas）：
在優(yōu)化過程中，在目標函數(shù)中加入了一項“照片現(xiàn)實正則化”參數(shù)（a photorealism regularization term），約束重建圖像，防止產(chǎn)生失真。
為基于對輸入圖像進行語義分割的風格轉(zhuǎn)移過程引入了指導選項（optional guidance），避免內(nèi)容不匹配的問題，大大提高了輸出圖片的真實感。

當然，結(jié)果并不總是完美的，比如下面這個將雪景轉(zhuǎn)化成熱帶山谷的例子，最后獲得照片整體看起來并不逼真。但是研究人員發(fā)現(xiàn)，這個算法在80%左右的時間里都是非常有效的，無需任何后期手動調(diào)整。

Adobe也玩“PPAP”，兩圖合并帶來新風格