0
| 本文作者： 奕欣 | 2018-06-06 17:26 |
雷鋒網(wǎng) AI 科技評論按：本論文由阿里巴巴達(dá)摩院機器智能技術(shù)實驗室華先勝團(tuán)隊與 UCF 齊國君教授領(lǐng)導(dǎo)的 UCF MAPLE 實驗室合作完成，被 CVPR 2018 收錄為 poster 論文。
從學(xué)術(shù)開發(fā)和企業(yè)活動上看，阿里巴巴達(dá)摩院機器智能技術(shù)實驗室在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評論旗下數(shù)據(jù)庫項目「AI 影響因子」中有不錯的表現(xiàn)。實驗室分別在 SQuAD 和 KITTI 比賽中獲得第一名，近期在 AAAI 2018 上，達(dá)摩院機器智能技術(shù)實驗室共有 4 篇論文被錄用，在CVPR 2018上，也有多篇論文被錄用，成績斐然。
以下為論文介紹：
GAN 自誕生以來吸引了眾多相關(guān)的研究，并在理論、算法和應(yīng)用方面取得了很多重大的突破。我們試圖從一個全新的幾何角度，用局部的觀點建立一種與之前經(jīng)典 GAN 模型所采用的整體方法不同的理論和模型，并以此建立和半監(jiān)督機器學(xué)習(xí)中 Laplace-Beltrami 算子的聯(lián)系，使之不再局限于傳統(tǒng)的圖模型 (Graph) 方法，并在用少量標(biāo)注樣本訓(xùn)練深度學(xué)習(xí)模型上取得了優(yōu)異的性能；同時，我們還展示了如果用 Localized GAN (LGAN) 對給定圖像在局部坐標(biāo)系下進(jìn)行編輯修改，從而獲得具有不同角度、姿態(tài)和風(fēng)格的新圖像；我們還將進(jìn)一步揭示如何從流型切向量獨立性的角度來解釋和解決 GAN 的 mode collapse 問題。
該工作由 UCF 齊國君教授領(lǐng)導(dǎo)的 UCF MAPLE 實驗室 (MAchine Perception and LEarning) 和阿里巴巴華先勝博士領(lǐng)導(dǎo)的城市大腦機器視覺研究組合作完成，并將發(fā)表在 CVPR 2018 上。
論文地址：https://arxiv.org/abs/1711.06020
GAN 除了用來生成數(shù)據(jù)，我們認(rèn)為一個非常重要的作用是：我們第一次有了一個比較理想的工具，可以用來表示和描述數(shù)據(jù)流型 (manifold)。之前，如果我們想表示流型，一般是借助于一個圖模型（Graph）。在圖模型里，我們用節(jié)點表示數(shù)據(jù)點，用邊表示數(shù)據(jù)直接的相似性。有了 Graph，我們可以定量計算數(shù)據(jù)點上函數(shù)的變化。比如，在分類問題中，我們感興趣的函數(shù)是分類函數(shù)，輸出的是數(shù)據(jù)點的標(biāo)簽。有了基于 Graph 的流型，我們就可以建立一個分類模型：它輸出的分類標(biāo)簽在相似樣本上具有最小的變化。這個就是一種平滑性的假設(shè)，是基于圖的半監(jiān)督方法的核心假設(shè)。
上圖：基于圖的流型表示和半監(jiān)督分類。
盡管這種基于圖的半監(jiān)督方法取得了很大的成功，但是它的缺點也是很明顯的。當(dāng)數(shù)據(jù)點數(shù)量非常巨大的時候，構(gòu)建這樣一個 Graph 的代價會非常大。為了解決這個問題，Graph 為我們提供了一個很好的基礎(chǔ)。通過訓(xùn)練得到的生成器 G(z)，其實就是一個非常好的流型模型。這里 z 就是流型上的參數(shù)坐標(biāo)，通過不斷變化 z，我們就可以在高維空間中劃出一個流型結(jié)構(gòu)。
有了這樣一個流型和它的描述 G，我們可以在數(shù)據(jù)流型上研究各種幾何結(jié)構(gòu)。比如切向量空間、曲率，進(jìn)而去定義在流型上，沿著各個切向量，函數(shù)會如何變化等等。好了，這里 GAN 就和半監(jiān)督學(xué)習(xí)聯(lián)系起來了。以前我們是用 Graph 這種離散的結(jié)果去研究分類函數(shù)的變化，并通過最小化這種變化去得到平滑性假設(shè)。
現(xiàn)在，有了流型直接的參數(shù)化描述 G(z)，我們就能直接去刻畫一個函數(shù)（比如分類問題中的分類器）在流型上的變化，進(jìn)而去建立一個基于這種參數(shù)化流型的半監(jiān)督分類理論，而非去借助基于圖的流型模型。
具體來說，半監(jiān)督圖流型中，我們常用到 Laplacian 矩陣來做訓(xùn)練；現(xiàn)在，有了參數(shù)化的流型后，我們就可以直接定義 Laplace-Beltrami 算子，從而實現(xiàn)半監(jiān)督的訓(xùn)練。下面是基于這個方法在一些數(shù)據(jù)集上得到的結(jié)果。更多的結(jié)果可以參考我們的論文「Global versus Localized Generative Adversarial Networks「。
上表：在 SVHN, CIFAR-10 和 CIFAR-100 上的半監(jiān)督學(xué)習(xí)效果。
這里，有個比較精細(xì)的問題。通常的 GAN 模型，得到的是一個全局的參數(shù)話模型：我們只有一個 z 變量去參數(shù)化整個流型。事實上，在數(shù)學(xué)上，這種整體的參數(shù)化王是不存在的，比如我們無法用一個參數(shù)坐標(biāo)去覆蓋整個球面。這時我們往往要借助于通過若干個局部的坐標(biāo)系去覆蓋整個流型。
同時，使用局部坐標(biāo)系的另一個更加實際的好處是，我們給定一個目標(biāo)數(shù)據(jù)點 x 后，整體坐標(biāo)系 G(z) 要求我們必須知道對應(yīng)的一個參數(shù)坐標(biāo) z；而使用局部坐標(biāo)系后，我們就直接可以在 x 附近去建立一個局部坐標(biāo)系 G(x,z) 去研究流型周圍的幾何結(jié)構(gòu)，而不用去解一個逆問題去去它對應(yīng)的 z 了。這個極大地方便了我們處理流型上不同數(shù)據(jù)點。
上圖：流型的局部參數(shù)化表示。
沿著這個思路，我們可以利用參數(shù)化的局部坐標(biāo)和它表示的流型來研究一系列問題。
1. 比較理論的研究可以專注于，有了這些局部參數(shù)表示，如何去定義出一整套黎曼流型的數(shù)學(xué)結(jié)構(gòu)，比如局部的曲率，黎曼度量，和如果沿著流型去算測地線和兩個數(shù)據(jù)點之間的測地距離。
2. 從應(yīng)用的角度，給定了一個圖像 x，用局部表示 G(x,z) 可以對這個 x 在它的局部領(lǐng)域中做各種編輯操作或者控制圖像的各種屬性，從而可以幫助我們生成想要的圖像；比如不同角度的人臉、人體姿態(tài)、物體，甚至不同風(fēng)格、表現(xiàn)不同情感的圖像等等。這在安防、內(nèi)容生成、虛擬現(xiàn)實等領(lǐng)域都會有廣泛的應(yīng)用前景。
當(dāng)然，從幾何和流型參數(shù)化的角度還可以給出對 GAN 更深入的理解，比如對 mode collapse 問題。在 GAN 的相關(guān)研究中，mode collapse 是一個被廣泛關(guān)注的問題。有很多相關(guān)的論文在從不同角度來研究和解決這個問題。
而基于 Localized GAN 所揭示的幾何方法，我們可以從流型局部崩潰的角度來解釋和避免 GAN 的 mode collapse。具體來說，給定了一個 z，當(dāng) z 發(fā)生變化的時候，對應(yīng)的 G(z) 沒有變化，那么在這個局部，GAN 就發(fā)生了 mode collapse，也就是不能產(chǎn)生不斷連續(xù)變化的樣本。這個現(xiàn)象從幾何上來看，就是對應(yīng)的流型在這個局部點處，沿著不同的切向量方向不再有變化。換言之，所有切向量不再彼此相互獨立--某些切向量要么消失，要么相互之間變得線性相關(guān)，從而導(dǎo)致流型的維度在局部出現(xiàn)缺陷（dimension deficient）。
為了解決這個問題，最直接的是我們可以給流型的切向量加上一個正交約束 (Orthonormal constraint)，從而避免這種局部的維度缺陷。下圖是在 CelebA 數(shù)據(jù)集上得到的結(jié)果?？梢钥吹?，通過對不同的切向量加上正交化的約束，我們可以在不同參數(shù)方向上成功地得到不同的變化。
上圖：在給定輸入圖像的局部坐標(biāo)系下對人臉的不同屬性進(jìn)行編輯。
值得注意的是，盡管我們是從局部 GAN 的角度推導(dǎo)和實現(xiàn)了對切向量的正交化約束，這個思路和方法同樣適用于傳統(tǒng)的整體 GAN 模型。我們只需要在訓(xùn)練整體 GAN 模型的同時，在每個訓(xùn)練數(shù)據(jù)樣本或者一個 batch 的子集上也加上這個約束來求取相應(yīng)的下降梯度就同樣可以訓(xùn)練整體 GAN 模型；這個方向可以引申出未來的相關(guān)工作。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
