0
| 本文作者： 岑大師 | 2017-11-29 02:44 |
雷鋒網(wǎng)按：2017年可謂“GANs之年”，各種基于GANs的模型和變化層出不窮。近日，來自韓國首爾大學(xué)、Naver等研究者發(fā)布了一篇“StarGAN：Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation”的文章，下面雷鋒網(wǎng)和大家來看下這篇論文。
論文摘要：最近的研究表明在兩個領(lǐng)域的圖像轉(zhuǎn)化方面取得了顯著的成功。 然而，現(xiàn)有的方法在處理兩個以上的域時在可伸縮性和魯棒性上存在局限，原因在于應(yīng)該為每一對圖像域獨立建立不同的模型。 為了解決這個限制，我們提出了StarGAN，這是一種新穎且可擴展的方法，可以僅使用一個模型來執(zhí)行多個域的圖像到圖像的轉(zhuǎn)換。 StarGAN這樣一個統(tǒng)一的模型體系架構(gòu)讓我們可以同時訓(xùn)練單個網(wǎng)絡(luò)中具有不同域的多個數(shù)據(jù)集，這導(dǎo)致StarGAN的圖像轉(zhuǎn)化結(jié)果比現(xiàn)有模型質(zhì)量更高，并具有將輸入圖像靈活轉(zhuǎn)化成任何期望目標域的新穎能力。我們憑經(jīng)驗證明了我們的方法在面部屬性轉(zhuǎn)移和面部表情合成任務(wù)上的有效性。
（圖2：StarGAN進行多個域的圖像轉(zhuǎn)換）
圖2為在CelebA數(shù)據(jù)集上通過傳遞從RaFD數(shù)據(jù)集中學(xué)習(xí)到的知識，進行多領(lǐng)域圖像到圖像的轉(zhuǎn)換結(jié)果。第一列和第六列顯示輸入圖像，而其余的列是由StarGAN生成的圖像。 （值得注意的是，圖像由一個單一的生成器網(wǎng)絡(luò)產(chǎn)生，如憤怒、快樂和恐懼等面部表情標簽來自RaFD，而不是CelebA。）
圖像到圖像轉(zhuǎn)換的任務(wù)是將給定圖像的某個特定屬性改變?yōu)榱硪环N屬性，例如將人的面部表情從微笑改變?yōu)榘櫭迹ㄒ妶D2）。而在引入生成對抗網(wǎng)絡(luò)（GAN）之后，這個任務(wù)進一步升級，生成結(jié)果包括改變頭發(fā)顏色、從邊緣映射重建照片、改變風(fēng)景圖像的季節(jié)等。
給定來自兩個不同域的訓(xùn)練數(shù)據(jù)，這些模型將學(xué)習(xí)如何將圖像從一個域轉(zhuǎn)換到另一個域中。在這里，我們將術(shù)語屬性用諸如頭發(fā)顏色、性別或年齡等這些圖像中固有意義的特征來表示，并將屬性值作為屬性的特定值，例如頭發(fā)顏色：黑色/金色/棕色，或性別：男性/女性。我們進一步將域表示為一組共享相同屬性值的圖像。例如，女性的圖像可以代表一個域，而男性的圖像則代表另一個域。
某些圖像數(shù)據(jù)集會帶有一些標注屬性，例如，CelebA數(shù)據(jù)集包含40個與面部屬性相關(guān)的標簽，如頭發(fā)顏色、性別和年齡等，而RaFD數(shù)據(jù)集有8個面部表情標簽，如“開心”、“憤怒”、“悲傷”等。這些設(shè)置屬性使我們能夠執(zhí)行更多有趣的任務(wù)，我們稱之為多域的圖像到圖像轉(zhuǎn)換，即根據(jù)來自多個域的屬性來變換圖像，如圖2中的前五列顯示了一個CelebA圖像是如何按照“金發(fā)”、“性別”、“老年”和“蒼白的皮膚”四這個域中來進行轉(zhuǎn)換的。我們還可以進一步擴展到從不同的數(shù)據(jù)集中訓(xùn)練多個域，如聯(lián)合訓(xùn)練CelebA和RaFD圖像，如圖2最右一列就是使用在RaFD訓(xùn)練過程中學(xué)習(xí)的特征來改變CelebA圖像的面部表情。
（圖3：StarGAN與Cross-domain models的區(qū)別）
然而，目前的模型在這種多域的圖像轉(zhuǎn)換任務(wù)中效率不高且效果低下。它們效率不高主要是為了學(xué)習(xí)k個域之間的所有映射，必須訓(xùn)練k（k-1）個生成器，如圖3所示，左邊表明了在4個不同的域中進行圖像轉(zhuǎn)換需要訓(xùn)練12個不同的生成器，而它們效果也不是很好。即便存在諸如面部形狀這樣可以從所有域的圖像中學(xué)習(xí)的全局特征，每個生成器都不能充分利用整個訓(xùn)練數(shù)據(jù)，而只能從k個中的兩個域中進行學(xué)習(xí)，這也進一步限制了生成圖像的質(zhì)量。此外，由于每個數(shù)據(jù)集已經(jīng)是部分標注的，所以他們無法聯(lián)合訓(xùn)練來自不同數(shù)據(jù)集的域。
基于此，我們提出StarGAN，一個能夠?qū)W習(xí)多個域之間相互映射的生成對抗網(wǎng)絡(luò)。如上圖右側(cè)所示，我們的模型可以從多個域中提取訓(xùn)練數(shù)據(jù)，并僅使用一個生成器就可以學(xué)習(xí)所有可用域之間的映射。這個想法很簡單：我們的模型將圖像和域信息作為輸入而不是學(xué)習(xí)固定轉(zhuǎn)換（例如，黑色到金色的頭發(fā)），并學(xué)習(xí)將輸入圖像靈活地轉(zhuǎn)換到相應(yīng)的域。我們使用標簽（例如，二進制或onehot向量）來表示域信息。在訓(xùn)練中，我們隨機生成一個目標域標簽，并訓(xùn)練模型以靈活地將輸入圖像轉(zhuǎn)換到目標域。這樣，我們可以控制域標簽，并在測試階段將圖像轉(zhuǎn)換成任何期望的域。
我們還提出了一種簡單而有效的方法，這一方法可以通過向域標簽添加一個掩碼向量，來實現(xiàn)不同數(shù)據(jù)集的域之間的聯(lián)合訓(xùn)練。這一方法確保模型可以忽略未知的標簽并聚焦于特定數(shù)據(jù)集提供的標簽。這樣，我們的模型可以很好地完成如使用從RaFD學(xué)習(xí)的特征來合成CelebA圖像的面部表情的任務(wù)（如圖2最右一列）。據(jù)我們所知，我們的該項研究是第一個在不同數(shù)據(jù)集上成功執(zhí)行多域圖像轉(zhuǎn)換的研究。
總的來說，我們的貢獻如下：
?我們提出了一種全新的生成對抗網(wǎng)絡(luò)StarGAN，該網(wǎng)絡(luò)只使用一個生成器和一個鑒別器來學(xué)習(xí)多個域之間的映射，并從各個域的圖像中有效地進行訓(xùn)練；
?我們演示了如何使用掩模向量方法（mask vector method）成功學(xué)習(xí)多個數(shù)據(jù)集之間的多域圖像轉(zhuǎn)換，并使得StarGAN控制所有可用的域標簽；
?我們使用StarGAN進行面部屬性轉(zhuǎn)換和面部表情合成任務(wù)，并對結(jié)果進行了定性和定量分析，結(jié)果顯示其優(yōu)于基準線模型。
不出所料，這篇論文被GAN的提出者Ian Goodfellow發(fā)推點贊，重點提了StarGAN在多個域中用非監(jiān)督學(xué)習(xí)方法進行轉(zhuǎn)換的成果（之前的研究是在兩個域中進行轉(zhuǎn)換）。
而在Reddit的Machine Learning版塊上，這篇論文也引起了熱烈討論，Reddit指數(shù)直逼一千。雷鋒網(wǎng)摘錄了幾條關(guān)于這篇文章的評價如下：
@ReginaldIII：
很酷的研究。 令人驚訝的是，他們沒有在相關(guān)的工作中引用任何Google的神經(jīng)轉(zhuǎn)換的論文。 將多個生成器模型編碼到一個共同的空間并在整個集合上進行訓(xùn)練，這種想法并不是新鮮。 盡管GAN的應(yīng)用給出了很好的結(jié)果。
@ajinkyablaze：
對于那些你的角色頂著丑陋的頭像的視頻游戲來說是個不錯的東西。
@Reiinakano對這條評論進行了回復(fù)：
說實話，這件事正在進行，我敢說現(xiàn)在已經(jīng)有一個非常清晰的路徑來生成惡搞奧巴馬（雷鋒網(wǎng)注：原文為“Obama punching babies”，punching babies為“喝酒”或“聚會”的代名詞）的視頻。
@bigassholeredditor ：
這看起來很棒。你們有預(yù)訓(xùn)練的模型嗎？
第一作者@Yunjey回復(fù)：
我們很快將上傳預(yù)訓(xùn)練的模型。
于是下面就被“一月內(nèi)求通知”刷了屏。
@abhik_singla：
這與Pix2Pix方法有什么區(qū)別？
@ProgrammerChilli回復(fù)：
論文中有提到。簡單說，Pix2pix要求明確地學(xué)習(xí)從一個域到另一個域的任何轉(zhuǎn)換，StarGAN可以一次學(xué)習(xí)幾個領(lǐng)域，并從任何領(lǐng)域轉(zhuǎn)換到另一個領(lǐng)域。 我想，這就是它為什么用“STAR”命名的原因吧？
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
