雷鋒網(wǎng)AI科技評論按：近日，「GANs 之父」Ian Goodfellow 做客國外一檔「你問我答」（Ask Me Anything）的線上問答節(jié)目，提問者可以直接對 Ian Goodfellow 提出任何關(guān)于 GANs 的問題，下面 AI 科技評論帶大家圍觀 GANs 發(fā)明的背后都有哪些不為人知的故事。

以下是 AMA 節(jié)目中，Ian Goodfellow 與線上提問者的問答實(shí)錄，雷鋒網(wǎng)AI 科技評論做了不改動原意的編譯。

Gfred：有傳言說你是在一家酒吧想出 GAN 的。你能回憶并描述一下當(dāng)時的情景嗎？

Ian Goodfellow：這確實(shí)是真的，并不是傳言。我之前在幾次采訪中也講過這個故事，「麻省理工科技評論」「連線」雜志，「英偉達(dá)博客」上都有報道。

• Wired：https://www.wired.com/2017/04/googles-dueling-neural-networks-spar-get-smarter-no-humans-required/

• NVIDIA Blog：https://blogs.nvidia.com/blog/2017/06/08/ai-podcast-an-argument-in-a-bar-led-to-the-generative-adversarial-networks-revolutionizing-deep-learning/

• MIT Technology Review:

•  https://www.technologyreview.com/lists/innovators-under-35/2017/inventor/ian-goodfellow/

•  https://www.technologyreview.com/s/610253/the-ganfather-the-man-whos-given-machines-the-gift-of-imagination/
  

Gautam Ramachandra：您能否介紹一下實(shí)現(xiàn)以下目標(biāo)函數(shù)所采用的函數(shù)導(dǎo)數(shù)所涉及的步驟。 GAN中是否采用了貝葉斯定理？

以上給出了上述目標(biāo)函數(shù)的導(dǎo)數(shù)

這些方程來自論文「Generative Adversarial Networks」（http://arxiv.org/pdf/1701.00160.pdf）可以在第 46 頁和第 47 頁找到。能不能幫我完成目標(biāo)函數(shù)的函數(shù)導(dǎo)數(shù)推導(dǎo)步驟？

Ian Goodfellow：在這個回答中，我可能沒有足夠時間用 LaTex 格式完成函數(shù)推導(dǎo)的過程，不過你可以在「深度學(xué)習(xí)」書中找到一些有用的信息：http://www.deeplearningbook.org/contents/inference.html。大部分你需要知道的內(nèi)容在方程 19.46 中。

當(dāng)你把這個方程應(yīng)用到 j(d)，你就會得到一個新的衍生表達(dá)式，并不需要知道任何有關(guān)函數(shù)導(dǎo)數(shù)的東西。

Avhirup Chakraborty：目前是否有關(guān)于生成模型可遷移的論文和工作？例如：我有一個用于生成貓和狗圖片的模型，我是否可以利用該模型前面的一些網(wǎng)絡(luò)層來生成狼和老虎的圖片？

Ian Goodfellow：目前我還不知道在這方面有哪些研究和工作，但我認(rèn)為這是可行的。對于生成器來說，越接近后面輸出端的網(wǎng)絡(luò)層，越容易在不同模型之間共享吧。

Anshuman Suri：這個問題可能有點(diǎn)偏離主題。您認(rèn)為今天重新思考「神經(jīng)元」在深度學(xué)習(xí)模型中的工作方式是唯一能夠解決對抗樣本中的魯棒性問題嗎？在你的一些視頻中，你曾經(jīng)提到過存在這種普遍性問題，因?yàn)檫@些模型都是「線性」（而不是許多人稱的「非線性」）。我們是通過深入探索目前這些神經(jīng)元模型來找出錯誤，還是說將完美的激活函數(shù)和數(shù)據(jù)增強(qiáng)/防御混合起來作為一個整體模型運(yùn)用到模型中，就能修復(fù)這些問題？

Ian Goodfellow：我不認(rèn)為這是完全脫離主題的，因?yàn)?GAN 的鑒別器需要對由生成器生成的對抗輸入具有魯棒性。我確實(shí)認(rèn)為我們目前使用的神經(jīng)元很難對對抗樣本保持魯棒性，但我覺得這不是唯一錯誤。最近的一些工作表明，如 https://arxiv.org/abs/1801.02774 中提到的，為了確保分類器的安全性，我們真的需要重新思考我們的基本原則和策略，而不僅僅是訓(xùn)練我們的模型。

膠囊網(wǎng)絡(luò)確實(shí)比普通模型更能抵御對抗樣本（參考文章 https://openreview.net/forum?id=HJWLfGWRb），但目前還不清楚這是否是最好的防御方式---在同一數(shù)據(jù)集上的對抗訓(xùn)練是否能抵御最強(qiáng)攻擊，目前還不知道結(jié)果。

Foivos Diakogiannis：您能否就 GAN 與強(qiáng)化學(xué)習(xí)（RL）之間的相似之處（如果有的話）發(fā)表一下評論？我對這兩種網(wǎng)絡(luò)的認(rèn)識都不是太專業(yè)，但據(jù)我淺顯的理解，我認(rèn)為 GAN 上的生成器-鑒別器和強(qiáng)化學(xué)習(xí)中的代理-環(huán)境相互作用的方式非常相近，我的理解對嗎？

Ian Goodfellow：我或許沒有資格評價強(qiáng)化學(xué)習(xí)，但是我認(rèn)為 GAN 是使用強(qiáng)化學(xué)習(xí)來解決生成建模的一種方式。GAN 案例的一些奇怪的地方在于獎勵函數(shù)在行動中是完全已知和可微分的，獎勵是非穩(wěn)態(tài)的，獎勵也是代理策略的一種函數(shù)。但我確實(shí)認(rèn)為它是基于強(qiáng)化學(xué)習(xí)。

Jakub Langr：我發(fā)現(xiàn) GAN 訓(xùn)練中有兩個或三個陣營：OpenAI 和 Google 的人員算一個陣營；Mescheder、Sebastian Nowozin 與其他微軟研究院等機(jī)構(gòu)的研究人員是另一個陣營。你認(rèn)為是這樣的嗎？你有類似的看法嗎？

Ian Goodfellow：不，我認(rèn)為還有更多的陣營。FAIR（Facebook AI 研究院）/ NYU（紐約大學(xué)）也是主要參與者。實(shí)際上，F(xiàn)AIR / NYU 是第一個將 GAN 與 LAPGAN 應(yīng)用在地圖上。這是 GAN 第一次生成真正引人注目的高分辨率圖像，這也是 GAN 第一次得到新聞報道等。另一個非常重要的陣營是（伯克利+英偉達(dá)）Berkeley + NVIDIA 陣營，他們專注于非常引人注目的高分辨率圖像和視頻，無監(jiān)督翻譯等。我也不確定你所說的「陣營」是什么意思。如果你只是指研究 GAN 的不同方法，那么是的，這些團(tuán)隊(duì)傾向于以不同的方式運(yùn)作。不過很多時候，「陣營」一詞意味著彼此意見不同或相互沖突的群體，我認(rèn)為情況并非如此。

Vineeth Bhaskara：您的論文與 Jurgen Schmidhuber 在 GAN vs PM 上有多遠(yuǎn)？你們倆在這方面還有什么分歧嗎？

Ian Goodfellow：這篇論文已被撤稿了，但我們?nèi)杂蟹制纭?/p>

Adam Ferguson：

1）您如何選擇 GAN 與其他生成模型（如 VAE 和 FVBN）（NADE，MADE，PixelCNN）？我們應(yīng)該使用哪個框架來做出這個決定？

2）第二個問題與論文沒有直接關(guān)系，像 Librarian / Fermat Library 工具對 ML / DL 等領(lǐng)域來說很重要，因?yàn)檫@些領(lǐng)域的發(fā)論文速度要比期刊快得多。你如何看待這個領(lǐng)域的未來？

Ian Goodfellow：先回答第二個問題，我正在做這個 AMA 問答，就是來幫助促進(jìn) Librarian / Fermat Library 工具的普及，因?yàn)槲艺J(rèn)為這些工具需要變得更加為大眾所知。ArXiv 現(xiàn)在基本上是一種繞過同行評審的方式篩選論文，它使得深度學(xué)習(xí)論文的信噪比猛降。雖然仍然有很多偉大的深度學(xué)習(xí)工作正在進(jìn)行，但也存在很多低質(zhì)量的工作。即使現(xiàn)在最好的工作也經(jīng)常出現(xiàn)夾雜私貨 -比如一個好想法寫在一篇不公平的營銷文章，或是與其他作品比較不準(zhǔn)確的論文中，因?yàn)闆]有任何同行評審，所以作者變得有點(diǎn)肆無忌憚了。

再回到第一個問題，如果你想生成連續(xù)變量的真實(shí)樣本，如果你想做無監(jiān)督翻譯（例如 CycleGAN），或者如果你想做半監(jiān)督學(xué)習(xí)，那么你可能需要用到 GAN。如果你想產(chǎn)生離散符號，你可能用不到 GAN，但我們正在努力使它在這方面變得更好。如果你想最大化可能性，你可能也不想用 GAN。

Kushajveer Singh：最近你在 Twitter 上列了 10 篇你認(rèn)為最佳的 GAN 論文，你能寫一篇文章列舉一下從初學(xué)者和專家都需要學(xué)習(xí)哪些 GAN 知識，你還有別的資源分享嗎？

Ian Goodfellow：我可能沒有時間寫，而且即便我寫了，它也會很快過時。我在 2016 年 12 月編寫了關(guān)于 GAN 的大型教程：https://arxiv.org/abs/1701.00160。大家可以去看一下。這里的許多想法今天仍然實(shí)用，當(dāng)然，它不包括 2017 年末以后的現(xiàn)有技術(shù)模型，如漸進(jìn)式 GAN，光譜歸一化 GAN，帶投影鑒別器的 GAN 等。

Rafa Ronaldo：定量評估 GAN 的標(biāo)準(zhǔn)是什么？

Ian Goodfellow：它取決于你希望拿 GAN 來做什么。如果你希望將它用于半監(jiān)督學(xué)習(xí)，那么就使用測試集的準(zhǔn)確率度量；如果你希望用于生成用戶喜歡的圖像（如超分辨率圖像等），那么就需要使用真人來打分。如果你僅希望使用一般的自動化質(zhì)量評分，那么我認(rèn)為 Frechet Inception Distance ( https://arxiv.org/abs/1706.08500 ) 可能是最好的。當(dāng)然度量方法本身仍然是研究領(lǐng)域中非常重要的一部分。

Andres Diaz-Pinto：現(xiàn)在有方法將隱變量映射到生成圖像的一部分嗎？換句話說，能否使用幾個變量改變背景顏色，然后然后另外幾個個變量修正形狀或其它的屬性？

Ian Goodfellow：通常情況下是可以實(shí)現(xiàn)的，但我們需要以特定的方式訓(xùn)練模型，參考論文 InfoGAN：https://arxiv.org/abs/1606.03657。

Rafa Ronaldo：很多瘋狂的想法，如 GANs 需要高超的編程技巧來輔以實(shí)現(xiàn)，你是如何提升你的編程技能的？有沒有推薦的書？任何特定學(xué)習(xí) Tensorflow 或深度學(xué)習(xí)框架的書籍都可以。謝謝！

Ian Goodfellow：我學(xué)習(xí)現(xiàn)代深度學(xué)習(xí)編程的路徑非常間接，因?yàn)樵趯W(xué)習(xí)使用 Python 之前，我已經(jīng)學(xué)了各種 C、匯編、網(wǎng)頁等語言。所以對于別人，我不確定有什么捷徑可以加速編程的學(xué)習(xí)過程。在編程能力方面，對我來說非常重要的一個轉(zhuǎn)折點(diǎn)就是 2006 年參加 Jerry Cain 在斯坦福開設(shè)的 CS107 課程。在那之前，我基本只是一個編程愛好者，但上過課后，基本上我在軟件開發(fā)方面就不會再困惑了?，F(xiàn)在你們也可以在 YouTube 或 iTunes U 等站點(diǎn)找到該課程。

關(guān)于我是如何提升編程技能，因?yàn)槲易隽撕芏嗑幊?！我?11 歲時學(xué)會了編程。我的中學(xué)為我們的數(shù)學(xué)課程設(shè)計了圖形計算器，并且有人在 TI-BASIC 上編程游戲，并加入了圖形計算器課程中。我從圖書館獲得了 https://www.amazon.com/MacFroggy-Teaches-Basic-Amy-Barger/dp/0944838391 的副本，以便了解游戲的工作原理。

我為什么開始踏入深度學(xué)習(xí)領(lǐng)域，有一部分原因是我一直在做我最愛的游戲編程。我一直在使用 OpenGL 著色器語言編寫通用 GPU 程序。當(dāng) CUDA 推出時，利用 GPU 進(jìn)行 CUDA 編程實(shí)際上比試圖將數(shù)學(xué)問題解決為專門為圖形設(shè)計的語言要容易得多。我的朋友 Ethan Dreyfuss 在 Geoff Hinton 關(guān)于深層網(wǎng)絡(luò)的論文出爐后不久告訴了我關(guān)于深度學(xué)習(xí)的內(nèi)容，然后我和 Ethan 一起構(gòu)建了斯坦福大學(xué)的第一臺 CUDA 機(jī)器，以便一起研究深度學(xué)習(xí)。我的第一次深度學(xué)習(xí)計劃是在 CUDA 中實(shí)施 RBM。與我為編程 GAN 所做的相比，這確實(shí)很困難。當(dāng)我編寫第一個 GAN 代碼時，我有很多很好的工具，如 Theano，LISA 實(shí)驗(yàn)室計算機(jī)集群等。

為什么編寫 GAN 代碼很容易？有一部分原因是我有一個非常好的代碼庫，是從很早期的項(xiàng)目就開始準(zhǔn)備的。我一直在為我的整個博士期間的學(xué)習(xí)深度學(xué)習(xí)做準(zhǔn)備，并且有很多類似的代碼可以隨時待命。我的第一個 GAN 實(shí)現(xiàn)主要是來自 https://arxiv.org/pdf/1302.4389.pdf 的 MNIST 分類器的復(fù)制粘貼。

Jason Rotella：GAN 能用于主題建模嗎？現(xiàn)在除了生成模型，GAN 框架還能擴(kuò)展應(yīng)用到其它領(lǐng)域嗎？

Ian Goodfellow：我猜測是可以用于主題建模的，但目前還沒聽說在該領(lǐng)域有哪些具體研究。一個主要的挑戰(zhàn)即文本建模，文本是由離散的字符、標(biāo)記或單詞組成的，但是 GAN 需要通過生成器的輸出計算梯度，因此它只能用于連續(xù)型的輸出。當(dāng)然還是有可能使用對抗自編碼器或 AVB 等模型，因此生成器實(shí)際上或是一個編碼器，并能輸出連續(xù)的編碼。這對于文本建?？赡苁欠浅Ｓ杏玫膶傩裕?yàn)樗o出了表征主題的分布。

Rafa Ronaldo：我在 NIPS 會議上的理論/實(shí)踐研討會上發(fā)表了關(guān)于 GAN 的演講（我還參加了 LLD 研討會上的演講 - GAN 創(chuàng)建新數(shù)據(jù)）。談話結(jié)束時，Sanjeev Arora 問了你一些問題，就像 GAN 框架可能不足以學(xué)習(xí)分布，需要添加更多元素。我沒有完全理解這個問題，你能否解釋為什么 GAN 框架不足以學(xué)習(xí)分布，需要添加哪些元素以及為什么 GAN 在圖像生成任務(wù)中如此順利？感謝 AMA，也感謝您的在線講座和教程，這對于像我這樣的人來說非常有幫助。

Ian Goodfellow：說實(shí)話，我不記得 Sanjeev Arora 在這次演講中究竟是怎么問的，我也不明白他的工作需要什么詳細(xì)的答案。

我認(rèn)為他擔(dān)心計數(shù)問題（也可能我認(rèn)為是錯的）：神經(jīng)網(wǎng)絡(luò)參數(shù)空間中沒有足夠的不同點(diǎn)來表示輸入上的所有不同概率分布。如果我正確地表達(dá)了他的關(guān)注，這將適用于任何類型的神經(jīng)網(wǎng)絡(luò)生成器，而不僅僅是 GAN，并且有一些出路：可能在現(xiàn)實(shí)生活中，我們不會遇到任意的概率分布，而只是一些子集非常結(jié)構(gòu)化的，也許我們在現(xiàn)實(shí)生活中遇到的分布結(jié)構(gòu)與神經(jīng)網(wǎng)絡(luò)可以有效表示的分布結(jié)構(gòu)一致。

現(xiàn)在深度學(xué)習(xí)和 GAN 有很多不同的話題，我很難跟隨所有這些話題，我很樂意承認(rèn)這是我所不擅長的，所以很可能我錯誤地表達(dá)了 Sanjeev 的工作。

Greg McInnes：在基因組學(xué)研究中，有用到 GAN 的機(jī)會嗎？

Ian Goodfellow：我對基因組學(xué)沒有太多的了解，但我認(rèn)為用于半監(jiān)督學(xué)習(xí)的 GAN 模型可能會對該領(lǐng)域有非常重要的作用。因?yàn)槲礃?biāo)注的基因遠(yuǎn)要比標(biāo)注的基因多，所以半監(jiān)督學(xué)習(xí)有助于利用大量未標(biāo)記數(shù)據(jù)從少數(shù)標(biāo)注樣本中學(xué)習(xí)。

Tim Salimans 為此也開發(fā)了一些方法，這些方法在 MNIST 和 SVHN 等基準(zhǔn)測試中非常高效（https://arxiv.org/abs/1606.03498）。

但值得注意的是，到目前為止，我們發(fā)現(xiàn)其他半監(jiān)督方法實(shí)際上并不能很好地完成任務(wù)（https://openreview.net/forum?id=ByCZsFyPf），半監(jiān)督 GAN 尚未完成測試。

Kevin Hsu：我看到你的推特發(fā)布評論 StarGAN。您提到 StarGAN 可以在沒有監(jiān)督的情況下在多個域之間進(jìn)行翻譯。據(jù)我所知，雖然 StarGAN 不需要配對數(shù)據(jù)，但仍需要標(biāo)記數(shù)據(jù)來訓(xùn)練條件圖像生成過程。我很困惑，為什么你提到它是「沒有監(jiān)督」。謝謝！

Ian Goodfellow：我的「沒有監(jiān)督」意思是不需要搭檔來監(jiān)督翻譯。

Nicholas Teague：我想知道你是否已經(jīng)成功地將 GAN 應(yīng)用于圖像或視頻以外的領(lǐng)域。

Ian Goodfellow：這個鏈接是我們近來將 GAN 用于文本數(shù)據(jù)的論文： https://arxiv.org/abs/1801.07736。

Gon?alo Abreu：我認(rèn)為這個概念真的很巧妙。關(guān)于結(jié)論的第 4 點(diǎn)：您如何建議我們只使用 GAN 進(jìn)行特征提??？我的意思是：我們?nèi)绾未_保由 GAN 架構(gòu)產(chǎn)生的表示是輸入數(shù)據(jù)底層結(jié)構(gòu)的有用表示呢。如果網(wǎng)絡(luò)有足夠的容量，那么沒有什么能阻止生成器學(xué)習(xí)如何「模仿」輸入數(shù)據(jù)，是嗎？

「有可能有兩個不同的 GAN，其中一個具有更好的得分，但是在作為外部分類器時，從鑒別器中抽取特征要更差或更低效?！惯@種陳述對嗎？

Ian Goodfellow：你說的那個陳述是對的，假設(shè)你有一個完美的生成器，那么對于所有的 x，P_generator(x)=P_data(x)。那么最優(yōu)判別器 D*（x）= P_data（x）/（P_generator(x)+P_data(x)）=1/2，這個判別器的特征可能完全沒用，因?yàn)槲覀兛梢詫⑴袆e器的權(quán)重設(shè)為 0 而達(dá)到該效果。

對于特征提取，一種方法是使用判別器隱藏層的特征，另一種方法就如同自編碼器一樣單獨(dú)學(xué)習(xí)一個獨(dú)立的編碼器，以下是一些關(guān)于 GAN 編碼器的論文：

• 對抗性學(xué)習(xí)推斷：https://arxiv.org/abs/1606.00704

• BiGAN：https://arxiv.org/abs/1605.09782

• 對抗性自編碼器：https://arxiv.org/abs/1511.05644

• 對抗性變分貝葉斯：https://arxiv.org/abs/1701.04722

• alpha-GAN：https://arxiv.org/abs/1706.04987

關(guān)于「如果網(wǎng)絡(luò)有足夠的容量，那么就沒有什么能阻止生成器學(xué)習(xí)如何「模仿」輸入數(shù)據(jù)，是嗎？」這個問題，我的回答是：是的，這幾乎與所有生成模型的點(diǎn)估計量都有關(guān)。如果最大限度地提高無限容量密度函數(shù)的可能性，則應(yīng)該只記住訓(xùn)練數(shù)據(jù)。在實(shí)踐中，GAN 似乎在配合不足方面比在過度配合方面更麻煩。這可能是因?yàn)槲覀儾恢廊绾魏芎玫仄胶庥螒颉?/p>

「關(guān)于基于解碼器的生成模型的定量分析」文中發(fā)現(xiàn)，GAN 為列車和測試集分配相似的可能性。當(dāng)然，可能性很低，因?yàn)?GAN 沒有經(jīng)過最大化可能性的訓(xùn)練，并且取決于 z 的維度?，他們甚至可以為所有訓(xùn)練數(shù)據(jù)分配零可能性。論文地址：https://arxiv.org/abs/1611.04273

「GAN 是否真的學(xué)會了這種分布？」一項(xiàng)實(shí)證研究發(fā)現(xiàn) GAN 學(xué)習(xí)生成的樣本比真正的基礎(chǔ)數(shù)據(jù)生成分布少得多，但比訓(xùn)練數(shù)據(jù)更多樣化。論文地址：https://arxiv.org/pdf/1706.08224.pdf

雷鋒網(wǎng)注：編譯原文出處：https://fermatslibrary.com/arxiv_comments?url=https%3A%2F%2Farxiv.org%2Fpdf%2F1406.2661.pdf

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。