0
雷鋒網(wǎng) AI 科技評論按：本文作者 Damian Bogunowicz，于去年在慕尼黑大學(xué)獲得碩士學(xué)位，主攻機(jī)器人、認(rèn)知和智能專業(yè)方向，他在參與一個研究項目的過程中閱讀了大量計算機(jī)視覺深度學(xué)習(xí)相關(guān)論文，并從 Reddit 網(wǎng)站上「What are best papers regarding GANs for 2018 you read?」這一話題討論受到啟發(fā)，挑選出來 2018 年度三篇最佳 GAN 論文，并整理成文進(jìn)行發(fā)布。雷鋒網(wǎng) AI 科技評論編譯如下。
今年我很榮幸能參與到一個研究項目中，它要求我熟悉大量計算機(jī)視覺深度學(xué)習(xí)相關(guān)論文，讓我深入到這個領(lǐng)域中學(xué)習(xí)，在此過程中，對于該領(lǐng)域在近兩三年時間里所取得進(jìn)步，我深為震撼。同時，圖像修復(fù)、對抗樣本、超分辨率或 3D 重建等所有不同的子領(lǐng)域從最新進(jìn)展中獲益頗豐，讓人興奮并激勵人心。然而，現(xiàn)在人們對生成式對抗網(wǎng)絡(luò)（GAN）這一神經(jīng)網(wǎng)絡(luò)進(jìn)行了大量炒作（在我看來，這一定是有原因的）。我認(rèn)同這些模型非常好，同時我也一直在留意關(guān)于 GAN 的一些新觀點。
受 Reddit 網(wǎng)站上「What are best papers regarding GANs for 2018 you read?」這一話題討論（話題討論網(wǎng)址： https://www.reddit.com/r/MachineLearning/comments/a8th4o/d_what_are_best_papers_regarding_gans_for_2018/）的啟發(fā)，我決定對 2018 年度最有趣的 GAN 相關(guān)論文進(jìn)行簡要回顧。這個清單是主觀性非常高的——我選擇的研究論文不僅是當(dāng)前最新的，也是最酷、并能給人驚喜的。在本文的第一章，我會介紹三篇論文。順便一提，如果你對于此前的 GAN 相關(guān)論文感興趣，這篇文章（閱讀地址：https://medium.com/nurture-ai/keeping-up-with-the-gans-66e89343b46）將會對你有所幫助，作者提到的其中一篇論文甚至就是我今天要介紹的最佳論文。
1.《GAN 剖析：可視化和理解生成式對抗網(wǎng)絡(luò)》（GAN Dissection: Visualizing and Understanding Generative Adversarial Networks）——即使生成式對抗網(wǎng)絡(luò)周圍充斥著大量炒作，不過顯而易見，這種技術(shù)遲早會進(jìn)行商用。然而，正因為我們對它們的內(nèi)部機(jī)制了解甚少，我認(rèn)為它仍然很難去開發(fā)一個可靠的產(chǎn)品。這篇論文朝未來邁進(jìn)了一大步，到那個時候，我們可以真正地掌控生成式對抗網(wǎng)絡(luò)。各位一定要去看看論文作者們制作的超棒的交互式 demo，它的結(jié)果十分驚艷。
2.《基于樣式的生成式對抗網(wǎng)絡(luò)生成器架構(gòu)》（A Style-Based Generator Architecture for Generative Adversarial Networks）——英偉達(dá)的研究團(tuán)隊經(jīng)常能提出開創(chuàng)性的概念（2018 年很棒的圖像修復(fù)論文：https://www.youtube.com/watch?v=gg0F5JjKmhA，使用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖形渲染的最新 demo：https://www.youtube.com/watch?time_continue=2&v=ayPqjPekn7g）。這篇論文也不例外，另外，展示他們研究結(jié)果的視頻簡直令人著迷。
3.《進(jìn)化的生成式對抗網(wǎng)絡(luò)》（Evolutionary Generative Adversarial Networks）——這篇論文可讀性非常高并且十分巧妙。進(jìn)化算法與生成式對抗網(wǎng)絡(luò)的結(jié)合——這注定就會很厲害。
摘要
這篇文章于 2018 年 11 月 26 日被收錄。作者創(chuàng)建了一個很不錯的項目網(wǎng)站，交互式 demo 也在該網(wǎng)站上，大家可前往下方地址觀看：
主要思路：
毋庸置疑，生成式對抗網(wǎng)絡(luò)證明了深度神經(jīng)網(wǎng)絡(luò)有多大的能力。機(jī)器學(xué)習(xí)生成效果驚人、高分辨率的圖像這種方式是美好的，就仿佛它像我們一樣理解這個世界。不過，正如其他出色的統(tǒng)計模型一樣，它們最大的缺陷就是缺乏可解釋性。這項研究為理解生成式對抗網(wǎng)絡(luò)帶來了非常重要的進(jìn)展，它讓我們找到對從屬于級別 c 的特定目標(biāo)負(fù)責(zé)的生成器中的單位。作者們稱，我們可以觀察到生成器的一個層，并且找到該層的單元的子集，在生成的圖像中，這些單元決定 c 級別目標(biāo)的生成。作者通過引入剖析（dissection）和干預(yù)（intervention）這兩個步驟，為每一層級搜索出了一組「具有因果關(guān)系」的單元。此外，它可能是首次為理解生成式對抗網(wǎng)絡(luò)的內(nèi)部機(jī)制提供系統(tǒng)分析的一項工作。
方法：
生成器 G 可以看做是一個潛在向量 z 到一個生成圖像 x 的映射：
。我們的目標(biāo)是理解內(nèi)部表示 r，它是生成器 G 中某個特定層的輸出。
我們希望通過觀察級別 c 中的目標(biāo)來更近地觀察 r。而我們知道 r 包含了特定目標(biāo)生成的編碼信息，我們的目標(biāo)就是理解該信息是如何在內(nèi)部被 encode 到 r 中的。作者聲稱，有一種方法可以將這些單元從為級別 c 目標(biāo)的生成負(fù)責(zé)的 r 中提取出來。
在這里，
是特定層中所有單元的集合，U 表示場景單元（具有因果關(guān)系的單元），P 表示像素位置。問題是，怎樣表示這一分離？作者提出了兩個步驟，作為理解生成式對抗網(wǎng)絡(luò)「黑盒」的工具：剖析（dissection）和干預(yù)（intervention）。
用 Dissection 測量單元 u 和 級別 c 之間的一致性
剖析（dissection）：我們想要確定這些在 r 中有明確表示的場景級別。這一目標(biāo)主要通過比較兩張圖像來實現(xiàn)。我們通過計算 x 得到第一張圖像，然后讓它貫穿于語義分割網(wǎng)絡(luò)中運行，這就會返回與場景（例如樹）級別相關(guān)的像素位置圖片: 
。第二張圖像通過計算圖片: 
生成，接著對該圖像進(jìn)行上采樣處理，從而使其與圖片: 的維度匹配；之后又對其進(jìn)行閾值處理，從而針對特定單元「觸發(fā)」哪些像素這一難以抉擇的問題作出決策。最終，我們計算出兩個輸出的空間一致性——值越高，單元 u 對級別 c 的具有因果關(guān)系的影響就越大。通過為每一單元執(zhí)行這一操作，我們最終可以找出，哪些層級在 r 架構(gòu)中有明確的表示。
用干預(yù)測量單元集 U 在級別 c 上具有因果關(guān)系的影響
干預(yù)（intervention）：在這一步驟中，我們確定了相關(guān)的級別。現(xiàn)在，我們嘗試為每一級別找到最佳分離效果。這就意味著一方面，我們消除（抑制）弱的單元，以期讓場景級別從生成圖像中消失；而另一方面，我們又放大具有因果關(guān)系的單元對于生成圖像的影響。通過這種方式，我們可以了解到它們對于顯示場景級別 c 起到了多大的作用。最終，我們將級別 c 從兩張圖像中分割出來并進(jìn)行比較。它們語義映射的一致性越小，級別的分離效果就越好，也就是說我們完全「證明出」了樹對一張圖像的影響，而第二張圖像僅僅包含了一片叢林。
結(jié)果：
a) 由漸進(jìn)式的生成式對抗網(wǎng)絡(luò)生成的教堂圖像； b) 給定預(yù)訓(xùn)練的漸進(jìn)式生成式對抗網(wǎng)絡(luò)，我們確定了對生成「樹」這一場景級別負(fù)責(zé)的單元；c) 我們或者可以抑制將樹從圖像上「去掉」的那些單元…； d) 或者增大圖像中樹的密度。
結(jié)果表明，我們在理解網(wǎng)絡(luò)的內(nèi)部概念方面的工作做得比較好，這些想法可以幫助我們改善網(wǎng)絡(luò)的表現(xiàn)。了解哪些圖像特征來自于神經(jīng)網(wǎng)絡(luò)的哪些部分，對于可解釋性、商用以及更深入的研究都是非常有價值的。
a) 為了排除故障，我們可以確定引入工藝品的那些單元… ；b) 和 c)可以 將它們?nèi)サ簦瑏怼感迯?fù)」生成式對抗神經(jīng)網(wǎng)絡(luò)
目前可以解決的一個問題就是生成圖像中的人為視覺效果。即便是一個被訓(xùn)練得很好的生成式對抗神經(jīng)網(wǎng)絡(luò)，有時也可能會生成一個很糟的不切實際的圖像，而研究者們此前也并不知道這些錯誤的原因?，F(xiàn)在，我們可以將這些錯誤與決定人為視覺效果的神經(jīng)元集關(guān)聯(lián)起來考慮，通過確定和抑制這些單元，研究者可以提高生成圖像的質(zhì)量。
通過將某些單位設(shè)置為固定平均值，以門為例，我們可以確定門將會顯示在圖像上的某個地方。自然而然地，這就不會違反已知的分布統(tǒng)計信息（我們無法強(qiáng)制讓門出現(xiàn)在天空中）。現(xiàn)實中的另一局限是，一些目標(biāo)與一些位置的固有關(guān)聯(lián)度太高，想要將它們從圖像中去掉是不可能的。舉一個例子：研究者無法將椅子從會議廳移除，而僅僅能減小它們的密度或者尺寸。
摘要
這篇論文于 2018 年 12 月 12 日被收錄。作者們確認(rèn)論文中所提出的方法的代碼，不久后就會對外發(fā)布。此外，對于想要了解更多關(guān)于這一方法的信息但不想閱讀全篇論文的讀者，前兩天發(fā)布的一篇博文對這篇論文進(jìn)行了概述，大家可前往如下地址查看：
主要思路：
這篇論文針對 GAN 框架提出了另一種觀點。更特別地，它從樣式—遷移設(shè)計中汲取靈感，創(chuàng)建了一個生成器架構(gòu)，它能學(xué)習(xí)生成圖像中的高級屬性（例如在人臉或者背景上訓(xùn)練時的年齡、身份，質(zhì)量差的圖像的拍攝視角、樣式）以及隨機(jī)變量（人臉的雀斑、頭發(fā)細(xì)節(jié)或者在質(zhì)量差的圖像上訓(xùn)練時的發(fā)色、皮膚紋理）。該生成器不僅能學(xué)習(xí)自動分離這些屬性，還能讓研究者用非常直觀的方式控制合成。
方法：
傳統(tǒng)的生成式對抗神經(jīng)架構(gòu)（左邊）VS基于樣式的生成器（右邊）。在新的框架中，有兩個網(wǎng)絡(luò)部分：映射網(wǎng)絡(luò) f 和合成網(wǎng)絡(luò) g。前者將一個潛在代碼 f 映射到一個中間的潛在空間
中，這個潛在空間對樣式信息進(jìn)行解碼。后者利用生成的樣式和高斯噪聲來創(chuàng)建新的圖像。 區(qū)塊「A」是學(xué)到的仿射變換； 區(qū)塊「B」將學(xué)到的每個通道規(guī)?；囊蛩貞?yīng)用到噪聲輸入上。
在傳統(tǒng)的生成式對抗網(wǎng)絡(luò)方法中，生成器使用一些潛在的代碼作為輸入，然后輸出一個從屬于它在訓(xùn)練階段所學(xué)到的分布的圖像。論文作者舍棄了傳統(tǒng)方法的設(shè)計，而是創(chuàng)建一個基于樣式的生成器，它由兩個部分組成：
1. 一個全連接網(wǎng)絡(luò)（fully connected network），它表示非線性映射 f ：
2. 一個合成的網(wǎng)絡(luò)（synthesis network）g。
全連接網(wǎng)絡(luò)（fully connected network）——通過轉(zhuǎn)換一個標(biāo)準(zhǔn)的潛在向量圖片: 
，我們獲得了一個中間的潛在向量圖片: 
，這個中間的潛在空間 
可以有效控制生成器的樣式。附注一點，作者確?？梢员苊鈴? 的低密度區(qū)域取樣，雖然這會造成 w 中的變量損失，但是據(jù)說最終提高了圖像的平均質(zhì)量?，F(xiàn)在，一個從中間的潛在空間取樣的潛在變量 w 被輸入到 區(qū)塊「A」（學(xué)到的仿射變換）并被轉(zhuǎn)化成樣式 
。這個樣式最終通過每一個卷積層的自適應(yīng)的實例正則化（adaptive instance normalization，AdaIN，大家可前往 https://arxiv.org/abs/1703.06868 查看相關(guān)論文）被輸入到合成網(wǎng)絡(luò)。自適應(yīng)的實例正則化操作被定義為：
合成的網(wǎng)絡(luò)（synthesis network）——自適應(yīng)的實例正則化操作通過將每一個特征映射 
正則化來變更它們，然后使用來自樣式 y 的組成部分將其規(guī)?；⑦M(jìn)行轉(zhuǎn)移。最終，生成器的特征映射也同樣被喂養(yǎng)一個直接的方式（a direct means），以包含無相關(guān)的高斯白噪聲的單通道圖像的形式，來生成顯性噪音輸入的隨機(jī)細(xì)節(jié)。
總而言之，雖然顯性噪聲輸入可能被視作合成網(wǎng)絡(luò)生成過程的「種子」，從 
取樣的潛在代碼試圖將某種風(fēng)格注入到一個圖像中。
結(jié)果：
論文作者再次討論了英偉達(dá)在 2017 年論文中（論文地址：https://arxiv.org/abs/1710.10196）提出的漸進(jìn)式生成式對抗神經(jīng)網(wǎng)絡(luò)（Progressive GAN）架構(gòu)。雖然他們保留了這一架構(gòu)和超參數(shù)的主要部分，但是根據(jù)新的設(shè)計對生成器進(jìn)行了「更新」。該論文最令人印象深刻的特征就是樣式混合。
可視化樣式混合的影響。一個由潛在代碼產(chǎn)生的圖像（源）可以覆蓋另一個圖像（目標(biāo)）的特征集，這樣就覆蓋了與粗糙的空間分辨率（低分辨率特征映射）相對應(yīng)的層。這樣的話，就可以對目標(biāo)圖像的高級特征產(chǎn)生影響。
這個新的生成器架構(gòu)能夠?qū)⒉煌臉邮剑⑷氲胶铣删W(wǎng)絡(luò)不同層的相同圖像中。在訓(xùn)練期間，我們通過映射網(wǎng)絡(luò)運行了兩個潛在代碼
和
，并獲得了
和
兩個向量。完全由生成的圖像表示目標(biāo)。作為一個高分辨率的生成圖像，它實際上無法與真實的分布區(qū)分開來。僅由注入的生成的圖像表示源。現(xiàn)在，在目標(biāo)圖像生成期間，我們通過使用在某些層注入代碼。這項執(zhí)行用那些源來覆蓋呈現(xiàn)在目標(biāo)中的樣式子集。源對目標(biāo)的影響由層的位置進(jìn)行控制，這些層是使用源的潛在代碼所「培育」的。分辨率與特定層的關(guān)聯(lián)度越低，源對目標(biāo)的影響就越大。以這種方式，我們可以決定對目標(biāo)圖像產(chǎn)生多大程度的影響：
粗糙的空間分辨率（分辨率
）—高層級方面（例如頭發(fā)樣式、眼鏡或年齡）；
中等樣式分辨率（分辨率
）—更小規(guī)模的臉部特征（頭發(fā)樣式細(xì)節(jié)、眼睛）；
精細(xì)的分辨率（分辨率
）—僅僅改變頭發(fā)顏色、膚色的色調(diào)或皮膚紋理等小細(xì)節(jié)。
作者將他們的方法深入應(yīng)用到汽車、臥室甚至貓的圖像中，并得到了令人驚喜的結(jié)果。我現(xiàn)在依舊感到困惑的是：為什么網(wǎng)絡(luò)網(wǎng)絡(luò)決定影響貓圖像中的貓爪定位，而不關(guān)心車圖像中車輪的旋轉(zhuǎn)呢？
這個令人驚喜的框架可以更深入地應(yīng)用到不同的數(shù)據(jù)集上，例如汽車、臥室圖像等。
摘要
這篇論文于 2018 年 1 月 03 日被收錄。
主要思路：
在傳統(tǒng)設(shè)置中，通過利用反向傳播交替更新生成器和判別器，來訓(xùn)練生成式對抗網(wǎng)絡(luò)。這兩層的 minmax 博弈通過利用目標(biāo)函數(shù)中的交叉熵機(jī)制來實現(xiàn)。《進(jìn)化的生成式對抗網(wǎng)絡(luò)》作者提出了基于進(jìn)化算法的可選擇的生成式對抗網(wǎng)絡(luò)框架。他們用進(jìn)化問題的形式，重新表述了損失函數(shù)。生成器的任務(wù)是在判別器的影響下經(jīng)受不斷的變異。根據(jù)「優(yōu)勝劣汰」法則，研究者認(rèn)為生成器最終的生成以這種方式「進(jìn)化」，從而學(xué)到正確的訓(xùn)練樣本分布。
方法：
原始的 GAN 框架（左邊）vs E-GAN 框架 （右邊）。在 E-GAN 框架中，生成器
「種群」在動態(tài)環(huán)境（判別器 D）中進(jìn)化。算法設(shè)計到三個階段：變異、評估和選擇。最好的「子代」被保留到下一次迭代中。
進(jìn)化算法試圖在一個給定的環(huán)境（這里是判別器）中進(jìn)化生成器「種群」(population)。每一個來自群的個體代表在生成式網(wǎng)絡(luò)參數(shù)空間可能存在的解決方案。這個進(jìn)化過程可以歸結(jié)為三個步驟：
1. 變異（Variation）：生成器個體
、
、
......
2. 評估（Evaluation）：每個「子代」通過使用依賴于判別器當(dāng)前狀態(tài)的適應(yīng)度函數(shù)來進(jìn)行評估。
3. 選擇（Selection）：我們評估了每個「子代」，然后判斷它對于適應(yīng)度函數(shù)來說是否足夠好。如果是，就繼續(xù)保留；如果不是，就將其舍棄。
這些步驟涉及到兩個應(yīng)該進(jìn)行更詳細(xì)探討的概念：變異和適應(yīng)度函數(shù)。
變異（Mutation）——在「變異」步驟中引入到「子代」上的變化就是變異，這一概念是從最初的生成式對抗網(wǎng)絡(luò)訓(xùn)練目標(biāo)中受到的啟發(fā)。論文作者區(qū)分出來了三種最有效的變異類型。它們是 minmax mutation（最小最大化變異，啟發(fā)了 Jensen-Shannon 散度的最小化）、heuristic mutation（啟發(fā)式變異，增加了反向的 Kullback–Leibler 散度項）以及 least-squares mutation（最小二乘變異，受最小二乘 GAN 的啟發(fā)，最小二乘 GAN 論文地址：https://arxiv.org/abs/1611.04076）
適應(yīng)度函數(shù)（Fitness function）——適應(yīng)度函數(shù)使用進(jìn)化算法讓我們知道怎樣靠近給定的「子代」，來實現(xiàn)設(shè)定的目標(biāo)。在這里，適應(yīng)度函數(shù)由兩個元素組成：質(zhì)量適應(yīng)度分?jǐn)?shù)和多樣性適應(yīng)度分?jǐn)?shù)。前者可以確保生成器產(chǎn)生的輸出能夠「騙過」判別器，后者則關(guān)注生成樣本的多樣性。因此，一方面，不僅需要教這些子代（offsprings）去接近于原始分布，還要教他們保持多樣性并避免模式崩潰陷阱。
作者們聲稱，他們的方法解決了許多著名的問題。進(jìn)化的生成式對抗網(wǎng)絡(luò)不僅能夠在穩(wěn)定性和抑制模式崩潰方面的表現(xiàn)更好，還能夠減輕對超參數(shù)和架構(gòu)（對收斂性至關(guān)重要）的細(xì)致選擇上的負(fù)擔(dān)。最終，作者表示進(jìn)化的生成式對抗網(wǎng)絡(luò)比傳統(tǒng)的生成式對抗網(wǎng)絡(luò)框架收斂得更快。
結(jié)果：
這個算法不僅僅在合成數(shù)據(jù)上進(jìn)行測試，同時也對照了 CIFAR-10 數(shù)據(jù)集和 Inception score。作者修改了深度卷積對抗生成網(wǎng)絡(luò)（DCGAN，論文地址：https://arxiv.org/abs/1511.06434）等當(dāng)下流行的生成式對抗網(wǎng)絡(luò)方法，并將他們在現(xiàn)實的數(shù)據(jù)集上進(jìn)行了測試。結(jié)果表明，可以訓(xùn)練進(jìn)化的生成式對抗網(wǎng)絡(luò)從目標(biāo)數(shù)據(jù)分布中生成多樣的、高質(zhì)量的圖像。據(jù)作者稱，在每一個「選擇」步驟中保留一個「子代」，就足以成功穿過參數(shù)空間找到最優(yōu)的解決方案。我發(fā)現(xiàn)進(jìn)化的生成式對抗網(wǎng)絡(luò)的特質(zhì)非常有趣。此外，通過檢查空間的連貫性，我們發(fā)現(xiàn)從潛在的噪音空間到圖像空間，該網(wǎng)絡(luò)確實學(xué)到了有意義的圖像投影。通過在潛在的向量間插值，我們可以得到能從語義上流暢地更改有意義的臉部屬性的生成圖像。
潛在空間
的線性插值。生成器從 CelebA 數(shù)據(jù)集學(xué)到圖像分布。
對應(yīng)于從向量
生成圖像，而
則對應(yīng)著從向量 
生成的圖像。通過改變 alpha，我們可以在潛在空間插入很好的結(jié)果。
文中所有圖像來自于在文中提到的相關(guān)論文。
題圖來源：https://www.saatchiart.com
via：https://dtransposed.github.io/blog/Best-of-GANs-2018-(Part-1-out-of-2).html 雷鋒網(wǎng)AI 科技評論編譯
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
