0
會(huì)畫畫的AI有多可怕？
你是否想象過把螞蟻和豬、螃蟹和鯨魚，或者100種生物的任意兩個(gè)組合起來會(huì)是什么神奇的亞子？
現(xiàn)在，AI可以把這些天馬行空的想象全部變成現(xiàn)實(shí)！
而只需要我們點(diǎn)點(diǎn)鼠標(biāo)隨便涂個(gè)鴉，像這樣：
犀牛的犄角，老鷹的翅膀，恐龍的尾巴，組合起來就可以變成這樣：
妥妥地一幅專業(yè)創(chuàng)意作品，對繪畫小白簡直不要太友好。
更重要的是，它或許還能激發(fā)你的創(chuàng)意靈感，而這也是Google研究團(tuán)隊(duì)推出這款工具的目的之一。
這款A(yù)I繪畫神器名為Chimera Painter，它是一個(gè)Web工具，其功能是基于動(dòng)物簡圖生成高度逼真的“小怪獸”。
完成涂鴉后，只要點(diǎn)擊「轉(zhuǎn)換」按鈕，它就會(huì)自動(dòng)生成3D效果的「怪獸」。
有意思的是，Googel研究團(tuán)隊(duì)還把Chimera Painter創(chuàng)作的怪獸形象用來搭建了一個(gè)數(shù)字紙牌游戲。
圖中每張紙牌的攻擊值由上面的怪獸決定，這些怪獸的技能由他們所組合的兩種物種決定。
據(jù)了解，這款A(yù)I工具的研發(fā)靈感就來自我們平時(shí)在游戲中看到的「怪獸」。Googel研究人員認(rèn)為，這些怪獸的創(chuàng)作往往需要游戲美術(shù)師有高度的藝術(shù)創(chuàng)造力和技術(shù)知識，而AI可以充當(dāng)畫筆，幫助他們節(jié)省藝術(shù)創(chuàng)作的時(shí)間，比如一鍵完成3D渲染，甚至還可以增強(qiáng)他們的創(chuàng)造力。
假如游戲中有100種動(dòng)物，每種動(dòng)物都可以相互融合，那么它會(huì)給任何藝術(shù)家?guī)砗艽蟮墓ぷ髁?，但這對于機(jī)器學(xué)習(xí)來說，是很輕松的事。
那么，它是如何做到的呢？
Chimera Painter，是一種機(jī)器學(xué)習(xí)（ML）模型。為了可以生成高質(zhì)量且任意組合的怪獸形象，研究團(tuán)隊(duì)向模型提供數(shù)千張生物圖像，并標(biāo)記了如爪，腿，腿，眼睛等特殊部位，以供模型進(jìn)行訓(xùn)練。
該模型的訓(xùn)練過程利用的仍然是生成式對抗網(wǎng)絡(luò)（GAN）,GAN我們已經(jīng)非常熟悉，它可以基于兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)：生成器和判別器生成高清且逼真的新圖像。其工作原理是，生成器用來創(chuàng)建新圖像，鑒別器用來確定這些圖像是否來自訓(xùn)練數(shù)據(jù)集。
不過，在這里研究人員提出了一種被稱為條件GAN的變體，其中生成器采用單獨(dú)的輸入來指導(dǎo)圖像生成過程。有趣的是，這種方法與其他GAN的工作完全不同，因?yàn)楹笳咄ǔ?cè)重于照片真實(shí)性，而該工具的目的是融合不同的物種生成一種嵌合體。
為了訓(xùn)練 GAN，研究團(tuán)隊(duì)創(chuàng)建了一個(gè)全彩色圖像數(shù)據(jù)集，其中包含單種生物的輪廓，這些輪廓改編自3D 生物模型。這種生物的輪廓描述了每種生物的形狀和大小，并提供了一張分割地圖來識別身體的各個(gè)部分。 
訓(xùn)練后的模型，可以基于藝術(shù)家提供的輪廓，生成表現(xiàn)最好的多物種嵌合體并嵌入到 Chimera Painter中。
使用GAN生成新物種時(shí)會(huì)遇到一個(gè)問題，即在繪制圖像細(xì)節(jié)或低對比度部分時(shí)，可能會(huì)失去空間的連貫性，包括眼睛、手指，甚至是具有相似紋理的重疊身體部位之間的區(qū)分。
因此，它對訓(xùn)練數(shù)據(jù)集提出了一定的要求?，F(xiàn)有的插圖庫不適合用作訓(xùn)練ML模型的數(shù)據(jù)集，原因是它們可能具有沖突樣式，或者缺少多樣性。生成嵌合體的數(shù)據(jù)集需要具備獨(dú)特性，如戲劇性的視角、構(gòu)圖和燈光等。
為了解決這個(gè)問題，研究人員開發(fā)了一種用戶主導(dǎo)的半自動(dòng)方法，即從3D生物模型中創(chuàng)建ML訓(xùn)練數(shù)據(jù)集。在這個(gè)過程中，用戶們將創(chuàng)建并獲得一組3D生物模型。
具體來說，他們將用虛幻引擎制作兩組紋理，并疊加在3D模型上——一組具有全彩色紋理（左圖），另一組顯示身體每個(gè)部位（如頭，耳朵，脖子等），稱為分割圖（右圖）。
其中，圖二身體細(xì)分部分會(huì)提交給模型進(jìn)行訓(xùn)練，以確保GAN了解各種生物身體部位的特定結(jié)構(gòu)、形狀、紋理和比例。
三維生物模型都被放置在一個(gè)3D場景中，并同樣使用虛幻引擎。一組自動(dòng)化腳本將采用這個(gè)3D場景，并在不同的姿勢、視點(diǎn)和每個(gè)3D生物模型的縮放級別之間進(jìn)行插值，創(chuàng)建全彩色圖像和分割地圖，形成 GAN的訓(xùn)練數(shù)據(jù)集。
使用這種方法，研究人員為每個(gè)3D生物模型生成10000多個(gè)圖像+分割圖對，與手動(dòng)創(chuàng)建這些數(shù)據(jù)相比，用戶每張圖像可以節(jié)省大約20分鐘。
GAN的超參數(shù)大小會(huì)影響模型輸出圖像的質(zhì)量。為了驗(yàn)證該模型哪個(gè)版本的性能最佳，研究團(tuán)隊(duì)收集并分析了模型生成不同生物類型的樣本，并從中提取了一些顯著特征，如深度感，有關(guān)生物紋理的樣式，以及面部、眼睛的真實(shí)感等。
這些信息不僅將用于訓(xùn)練模型的新版本，而且能在模型生成成千上萬的生物圖像之后，從每種生物類別（例如瞪羚，山貓，大猩猩等）中選擇最佳的圖像。
具體來說，研究團(tuán)隊(duì)通過感知損失（ Perceptual Loss）對GAN進(jìn)行了優(yōu)化。該損失函數(shù)組件使用從單獨(dú)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取的特征來計(jì)算兩幅圖像之間的差異，該卷積神經(jīng)網(wǎng)絡(luò)之前已經(jīng)對ImageNet數(shù)據(jù)集中的數(shù)百萬張照片進(jìn)行了訓(xùn)練。
從CNN的不同層提取特征，并對每個(gè)特征施加權(quán)重，這會(huì)影響特征對最終損耗值的貢獻(xiàn)，這些權(quán)重對于確定最終生成的圖像的外觀至關(guān)重要。
下面是來自不同感知損失權(quán)重訓(xùn)練GANs的結(jié)果。
圖片中的顏色變化主要是數(shù)據(jù)集導(dǎo)致的，其原因是數(shù)據(jù)集中的一個(gè)生物往往包含多種紋理（比如蝙蝠的紅色版和灰色版），不過，忽略顏色變化，許多差異也直接與感知損失值的變化有關(guān)。
研究人員發(fā)現(xiàn)，特定值會(huì)產(chǎn)生更清晰的面部特征，使生成的生物更具真實(shí)感。
下面是一些由GAN生成的生物，它們使用了不同的感知損失權(quán)重進(jìn)行訓(xùn)練，展示了模型可以處理一小部分輸出和姿勢。
總之，對于藝術(shù)創(chuàng)作者或者繪畫愛好者來說，Chimera Painter只需調(diào)整生物的局部形狀、類型或者位置，就可輕松創(chuàng)建大量圖像，而不是從頭繪制幾十種類似的生物。同時(shí)，該模型還允許使用外部程序（如Photoshop）創(chuàng)建的生物輪廓。
谷歌團(tuán)隊(duì)在博客中表示，希望這些GAN模型和Chimera Painter演示工具可以激發(fā)人們新的藝術(shù)創(chuàng)作思路。
那么，使用機(jī)器學(xué)習(xí)作為畫筆時(shí)，你想創(chuàng)建什么呢？（點(diǎn)擊鏈接即可體驗(yàn)~）
https://storage.googleapis.com/chimera-painter/index.html
引用鏈接：
https://techcrunch.com/2020/11/17/google-has-created-an-ai-powered-nightmare-creature-generator/
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
