0
| 本文作者： 楊曉凡 | 2017-08-08 18:14 | 專題：ICML 2017 |
雷鋒網 AI 科技評論按：Facebook列出了自己的9篇 ICML 2017論文，Wasserstein GAN 赫然位列其中。
ICML 2017 仍然在悉尼火熱進行中，Facebook 研究院今天也發(fā)文介紹了自己的 ICML 論文。Facebook有9篇論文被 ICML 2017接收，這些論文的主題包括語言建模、優(yōu)化和圖像的無監(jiān)督學習；另外 Facebook 還會共同參與組織 Video Games and Machine Learning Workshop。
在9篇接收論文中，Facebook 自己最喜歡的是「Wasserstein Generative Adversarial Networks」（WGAN）這一篇，它也確實對整個機器學習界有巨大的影響力，今年也掀起過一陣 WGAN 的熱潮。
Ian Goodfellow 提出的原始的 GAN 大家都非常熟悉了，利用對抗性的訓練過程給生成式問題提供了很棒的解決方案，應用空間也非常廣泛，從此之后基于 GAN 框架做應用的論文層出不窮，但是 GAN 的訓練困難、訓練進程難以判斷、生成樣本缺乏多樣性（mode collapse）等問題一直沒有得到完善解決。 這篇 Facebook 和紐約大學庫朗數學科學研究所的研究員們合作完成的 WGAN 論文就是眾多嘗試改進 GAN、解決它的問題的論文中具有里程碑意義的一篇。
WGAN 的作者們其實花了整整兩篇論文才完全表達了自己的想法。在第一篇「Towards Principled Methods for Training Generative Adversarial Networks」里面推了一堆公式定理，從理論上分析了原始GAN的問題所在，從而針對性地給出了改進要點；在這第二篇「Wasserstein Generative Adversarial Networks」里面，又再從這個改進點出發(fā)推了一堆公式定理，最終給出了改進的算法實現流程。
WGAN 成功地做到了以下爆炸性的幾點：
徹底解決GAN訓練不穩(wěn)定的問題，不再需要小心平衡生成器和判別器的訓練程度
基本解決了collapse mode的問題，確保了生成樣本的多樣性
訓練過程中終于有一個像交叉熵、準確率這樣的數值來指示訓練的進程，這個數值越小代表GAN訓練得越好，代表生成器產生的圖像質量越高（如題圖所示）
以上一切好處不需要精心設計的網絡架構，最簡單的多層全連接網絡就可以做到
而改進后相比原始GAN的算法實現流程卻只改了四點：
判別器最后一層去掉sigmoid
生成器和判別器的loss不取log
每次更新判別器的參數之后把它們的絕對值截斷到不超過一個固定常數c
不要用基于動量的優(yōu)化算法（包括momentum和Adam），推薦RMSProp，SGD也行
所以數學學得好真的很重要，正是靠著對 GAN 的原理和問題的深入分析，才能夠找到針對性的方法改進問題，而且最終的呈現也這么簡單。（ WGAN詳解參見雷鋒網 AI 科技評論文章 令人拍案叫絕的Wasserstein GAN）
WGAN 論文今年1月公布后馬上引起了轟動，Ian Goodfellow 也在 reddit 上和網友們展開了熱烈的討論。不過在討論中，還是有人反映 WGAN 存在訓練困難、收斂速度慢等問題，WGAN 論文一作 Martin Arjovsky 也在 reddit 上表示自己意識到了，然后對 WGAN 做了進一步的改進。
改進后的論文為「Improved Training of Wasserstein GANs」。原來的 WGAN 中采用的 Lipschitz 限制的實現方法需要把判別器參數的絕對值截斷到不超過固定常數 c，問題也就來自這里，作者的本意是避免判別器給出的分值區(qū)別太大，用較小的梯度配合生成器的學習；但是判別器還是會追求盡量大的分值區(qū)別，最后就導致參數的取值總是最大值或者最小值，浪費了網絡優(yōu)秀的擬合能力。改進后的 WGAN-GP 中更換為了梯度懲罰 gradient penalty，判別器參數就能夠學到合理的參數取值，從而顯著提高訓練速度，解決了原始WGAN收斂緩慢的問題，在實驗中還第一次成功做到了“純粹的”的文本GAN訓練。（WGAN-GP詳解參見雷鋒網 AI 科技評論文章 掀起熱潮的Wasserstein GAN，在近段時間又有哪些研究進展？）
Facebook 此次被 ICML 2017 接收的9篇論文里的另外8篇如下，歡迎感興趣的讀者下載閱讀。
High-Dimensional Variance-Reduced Stochastic Gradient Expectation-Maximization Algorithm
An Analytical Formula of Population Gradient for two-layered ReLU network and its Applications in Convergence and Critical Point Analysis
Convolutional Sequence to Sequence Learning
Efficient softmax approximation for GPUs
Gradient Boosted Decision Trees for High Dimensional Sparse Output
Language Modeling with Gated Convolutional Networks
Parseval Networks: Improving Robustness to Adversarial Examples
Unsupervised Learning by Predicting Noise
雷鋒網 AI 科技評論會繼續(xù)帶來更多精彩論文和現場演講報道，請繼續(xù)關注。
相關文章：
掀起熱潮的Wasserstein GAN，在近段時間又有哪些研究進展？
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
專題
