雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))按：這里是，雷鋒字幕組編譯的Two minutes paper專欄，每周帶大家用碎片時(shí)間閱覽前沿技術(shù)，了解AI領(lǐng)域的最新研究成果。

原標(biāo)題 ：Gaussian Material Synthesis (SIGGRAPH 2018) 

翻譯 | 程煒    整理 | 凡江

如果你要使用 Principled Shader 通過(guò)手動(dòng)方式創(chuàng)建不同材質(zhì)上逼真的光影效果，使用者必須對(duì)大量的材質(zhì)參數(shù)進(jìn)行手動(dòng)微調(diào)，并且在每次設(shè)置后等待圖片渲染才能完成整個(gè)過(guò)程。這需要你掌握一定的專業(yè)技能，并且經(jīng)過(guò)大量的試錯(cuò)過(guò)程才能達(dá)到最好的效果。

為了優(yōu)化這個(gè)流程，我們開發(fā)了基于學(xué)習(xí)的系統(tǒng)，它可以大批量地進(jìn)行材質(zhì)合成。

（1）首先，用戶看到的是一個(gè)材質(zhì)圖庫(kù)，左上角顯示分?jǐn)?shù)。這里我們學(xué)習(xí)了玻璃和透明材質(zhì)的概念，通過(guò)學(xué)習(xí)幾十個(gè)高分?jǐn)?shù)的樣本，我們的系統(tǒng)可以從學(xué)習(xí)到的分類中推薦更多新的材質(zhì)，學(xué)習(xí)過(guò)程通常需要幾秒鐘，而大批量地進(jìn)行推薦所需要的時(shí)間可以忽略不計(jì)。然后可以使用這些推薦將材質(zhì)填充到場(chǎng)景中，通常每個(gè)推薦花費(fèi) 40-60 秒來(lái)渲染全局照明。在真實(shí)世界的工作流程中，即使是對(duì)中等大小的圖庫(kù)來(lái)說(shuō)，這個(gè)速度也是不能接受的。

（2）下一步，我們提出了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，它可以預(yù)測(cè)出這些材質(zhì)的圖像，使之與全局照明方法產(chǎn)生的圖片相近，而且每幅圖像只需要 3 毫秒，有時(shí)推薦的材質(zhì)接近使用者的期望，但仍需要進(jìn)行微調(diào)。

（3）最后，我們?cè)谥庇^二維隱空間中嵌入高維著色器描述符，使我們即使沒(méi)有專門知識(shí)也可以對(duì)色彩進(jìn)行探索和調(diào)整，但是如果沒(méi)有更多的信息，它并不是非常有用。因?yàn)槭褂谜卟⒉恢滥膫€(gè)區(qū)域提供了有用的與它們分?jǐn)?shù)符合的材質(zhì)模型，我們重點(diǎn)關(guān)注隱空間技術(shù)，它可以結(jié)合高斯過(guò)程回歸，提供一種期望偏好的直觀色彩編碼，幫助我們將關(guān)注區(qū)域高亮顯示。

而且，我們的卷積神經(jīng)網(wǎng)絡(luò)可以提供這些圖像的實(shí)時(shí)預(yù)測(cè)結(jié)果，這些預(yù)測(cè)與真正的渲染圖像難以分辨，并且實(shí)時(shí)生成。除了偏好圖，這個(gè)神經(jīng)網(wǎng)絡(luò)提供了一種可能，可以將我們希望進(jìn)行微調(diào)的這些新材質(zhì)的期望相似度可視化，結(jié)合偏好和相似圖，我們得到一個(gè)色彩編碼，它會(huì)引導(dǎo)用戶在隱空間中將材質(zhì)調(diào)整為相似并且期望分?jǐn)?shù)高。

我們已經(jīng)進(jìn)行了一個(gè)擴(kuò)展的實(shí)驗(yàn)，加入更多表達(dá)形式的著色器，包括過(guò)程紋理反照率和替換，使用學(xué)習(xí)到的材質(zhì)，推薦，以及嵌入的隱空間，填充接下來(lái)的場(chǎng)景，我們提出了一個(gè)可以大批量地進(jìn)行材質(zhì)合成系統(tǒng)，通過(guò)對(duì)用戶偏好的學(xué)習(xí)，它可以從適量的樣本中進(jìn)行大量新材質(zhì)模型的快速推薦。

除了這個(gè)流程，我們還結(jié)合了三種強(qiáng)大的學(xué)習(xí)算法，從而為實(shí)時(shí)的逼真材質(zhì)可視化，顏色探索，以及二維隱空間微調(diào)提供了可能，我們相信這個(gè)特征設(shè)置為大批量材質(zhì)合成提供了有用的解決方案，無(wú)論是對(duì)于新手還是專家來(lái)說(shuō)，都希望未來(lái)將多種先進(jìn)算法，結(jié)合到更多的探索工作當(dāng)中。

視頻原址：https://www.youtube.com/watch?v=6FzVhIV_t3s

論文原址：https://arxiv.org/pdf/1804.08369.pdf

雷鋒網(wǎng)雷鋒網(wǎng)

雷鋒網(wǎng)雷鋒網(wǎng)

雷鋒網(wǎng)雷鋒

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。