0
| 本文作者： 我在思考中 | 2022-04-08 11:52 |
作者 | Ailleurs、錢磊
編輯 | 陳彩嫻
大家還記得去年 1 月 OpenAI 發(fā)布的 120 億參數(shù)魔法模型 DALL·E 嗎？
當(dāng)時(shí)，DALL·E 的畫風(fēng)是這樣的：
只要「閱讀」文本，DALL·E 就能根據(jù)文本的內(nèi)容「自動(dòng)」生成栩栩如生的大師級(jí)畫像。因此，當(dāng)時(shí)一經(jīng)發(fā)布，DALL·E 就火遍了 AI 圈，吸粉無數(shù)，也讓 Language-Vision（文本-視覺）方向又火了一把。
就在今天！時(shí)隔一年后，OpenAI 結(jié)合 CLIP，又發(fā)布了 DALL·E 的第二個(gè)版本——DALL·E 2.0！
相比 DALL·E 1.0，DALL·E 2.0 可以生成更真實(shí)和更準(zhǔn)確的畫像：綜合文本描述中給出的概念、屬性與風(fēng)格等三個(gè)元素，生成「現(xiàn)實(shí)主義」圖像與藝術(shù)作品！分辨率更是提高了4倍！
比如，當(dāng)提示文本中分別包含「概念」“An astronaut ”（一個(gè)宇航員）、「屬性」“riding a horse”（在騎一匹馬）和「 風(fēng)格」“in a phtprealistic style”（超現(xiàn)實(shí)風(fēng)格）時(shí)：
DALL·E 2可以生成如下這些同時(shí)包含三種元素的圖像：
在滿足三種給定元素的基礎(chǔ)上，它可是充分發(fā)揮了自己的「想象力」，不僅馬的姿態(tài)各不相同，而且給宇航員穿上了樣式各異的服裝，場景也是十分豐富，草地上、山頂上、星空中......
神不神奇！牛不牛！
如果你想要變換文本中概念、屬性和風(fēng)格三個(gè)元素中的一個(gè)或多個(gè)，比如保留「概念」“一個(gè)宇航員”和「屬性」“在騎一匹馬”，而將超現(xiàn)實(shí)主義風(fēng)格替換為波普藝術(shù)家安迪·沃霍爾的風(fēng)格，DALL·E 2也可以「輕松」轉(zhuǎn)換它的繪畫風(fēng)格：
DALL·E 2生成的圖像：
DALL·E 2生成的圖像：
DALL·E 2生成的圖像：
DALL·E 2生成的圖像：
DALL·E 2生成的圖像：
DALL·E 2生成的圖像：
DALL·E 2生成的圖像：
DALL·E 2生成的圖像：
DALL·E 2生成的圖像：
1、圖像編輯
DALL·E 2 可以根據(jù)自然語言描述的標(biāo)題對(duì)現(xiàn)有圖像進(jìn)行逼真的編輯，比如，在考慮陰影、反射和紋理的同時(shí)增加或刪除圖中的某個(gè)元素。示例如下：
文本描述的編輯需求：選擇一個(gè)位置在圖中添加火烈鳥。
原圖 vs. DALL·E 2編輯后的圖像：
原圖 vs. DALL·E 2編輯后的圖像：
2、風(fēng)格變體
DALL·E 2 可以拍攝一張圖片，然后根據(jù)原圖制作出同一個(gè)風(fēng)格的不同畫像。示例如下：
原圖 1：
DALL·E 2 創(chuàng)造的同一風(fēng)格圖像：
原圖 2：
DALL·E 2 創(chuàng)造的同一風(fēng)格圖像：
原圖 3：
DALL·E 2 創(chuàng)造的同一風(fēng)格圖像：
原圖 4：
DALL·E 2 創(chuàng)造的同一風(fēng)格圖像：
對(duì)于AI從文本生成的圖像，我們非?？粗氐囊稽c(diǎn)當(dāng)然是圖像的分辨率了，圖像的分辨率越高，像素?cái)?shù)量就越多，圖像也就越清晰和逼真。與DALL·E 1相比，DALL·E 2的分辨率提高了4倍！
比如，對(duì)于同樣的文本提示：
下面兩張圖分別是DALL·E 1 和DALL·E 2所生成圖像的對(duì)比：
對(duì)比之下，DALL·E 1 生成的圖像可以說是很模糊了，甚至根本看不出「日出」在哪里，「狐貍」只顯露出它的頭部，「田野」也不太有田野的樣子，而且在整體風(fēng)格上與畫家莫奈的印象派風(fēng)格相去甚遠(yuǎn)。
而在DALL·E 2的魔法手筆下，圖像質(zhì)量顯著提高，「日出」和「田野」都很生動(dòng)，小狐貍端坐在草地上，姿態(tài)可愛。這幅畫作色彩更加豐富，使用了更多的復(fù)色，對(duì)光影的描繪更加接近莫奈的風(fēng)格。
總體來說，相比 DALL·E 1.0，DALL·2 顯然能 hold 住元素更豐富、色彩更飽滿的圖像。不再是簡單的單一物品描述，而是對(duì)一個(gè)場景的整體表達(dá)，故事更完整，想象力也更豐富！
更詳細(xì)的內(nèi)容，可以查看 DALL·E 2 的相關(guān)研究論文：
論文地址：https://cdn.openai.com/papers/dall-e-2.pdf
收下我的膝蓋……
參考鏈接：https://openai.com/dall-e-2/
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
