研究人員開(kāi)發(fā)的框架可以根據(jù)物體空間關(guān)系的文本描述生成場(chǎng)景圖像。

作者 | 莓酊

編輯 | 青暮

人類(lèi)在描述場(chǎng)景時(shí)，經(jīng)常描述物體之間的空間關(guān)系。生物視覺(jué)識(shí)別涉及自上而下通路和自下而上通路的交互，而深度神經(jīng)網(wǎng)絡(luò)只模擬了第二種通路。自上而下的視覺(jué)通路涉及生物視覺(jué)感知的全局性、拓?fù)湫?、多解?/strong>等特點(diǎn)，尤其是理解圖像時(shí)會(huì)面臨數(shù)學(xué)上的無(wú)窮解問(wèn)題。而這些特點(diǎn)或許就是深度神經(jīng)網(wǎng)絡(luò)下一步的改進(jìn)方向。

“視覺(jué)場(chǎng)景理解包括檢測(cè)和識(shí)別物體，推理被檢測(cè)物體之間的視覺(jué)關(guān)系以及使用語(yǔ)句描述圖像區(qū)域?！币罁?jù)《我們賴(lài)以生存的隱喻》的觀點(diǎn)，物體關(guān)系相比于語(yǔ)義關(guān)系是更加基本的，因?yàn)檎Z(yǔ)義關(guān)系背后都包含著物體關(guān)系的假設(shè)。

就如下圖中，兩只貓貓?jiān)凇富?，另一只貓貓?jiān)谂赃叢幌邮麓蟮乜礋狒[。通過(guò)這個(gè)例子，人類(lèi)可以非常清晰直接地觀察并捕捉到貓咪的位置、行為和關(guān)聯(lián)。但許多深度學(xué)習(xí)模型卻無(wú)法以相同的方式理解復(fù)雜實(shí)況，捕獲全部信息并進(jìn)行解析，因?yàn)樗鼈儾幻靼讍蝹€(gè)物體之間的「糾纏」關(guān)系。

那么問(wèn)題來(lái)了，如果「捋不清」這些關(guān)系，像被設(shè)計(jì)用于廚房的機(jī)器人就很難執(zhí)行「拿起菜板左邊的柜子下面的爐灶上的鐵鍋燉大鵝」此類(lèi)指令。

為了讓機(jī)器人能夠精準(zhǔn)完成這些任務(wù)，來(lái)自麻省理工學(xué)院的Shuang Li、Yilun Du和伊利諾伊大學(xué)香檳分校的Nan Liu等人合作提出一款可以理解場(chǎng)景中物體之間空間關(guān)系的模型。該模型具有很好的泛化能力，能夠通過(guò)組合多個(gè)物體的空間關(guān)系從而生成或者編輯復(fù)雜的圖片。論文已作為Spotlight展示被NeurIPS 2021接收。

論文鏈接：https://arxiv.org/abs/2111.09297

總的來(lái)說(shuō)，研究主要有三個(gè)主要貢獻(xiàn)：

1. 提出了一個(gè)框架來(lái)分解和組合物體之間的關(guān)系，該框架能夠生成和編輯圖像根據(jù)通過(guò)組合物體之間空間關(guān)系描述，并且明顯優(yōu)于基線(xiàn)方法。

2. 能夠推斷出潛在物體之間的場(chǎng)景描述，并能夠很好的理解物體之間的語(yǔ)義等效。語(yǔ)義等效是同樣的場(chǎng)景但是不同的表述方式，例如蘋(píng)果在香蕉左邊和香蕉在蘋(píng)果右邊。

3. 最重要的這個(gè)方法通過(guò)組合物體關(guān)系的描述可以推廣到以前未見(jiàn)過(guò)的更復(fù)雜關(guān)系描述中。

這種泛化可以應(yīng)用于工業(yè)機(jī)器人執(zhí)行復(fù)雜多步驟的操縱任務(wù)，比如在倉(cāng)庫(kù)中堆放物品或組裝電器。讓機(jī)器能進(jìn)一步“仿生”人類(lèi)從環(huán)境中學(xué)習(xí)、互動(dòng)，并且通過(guò)不斷學(xué)習(xí)分解，組合從而很快適應(yīng)新的環(huán)境和學(xué)習(xí)新的任務(wù)。

共同一作Yilun Du說(shuō)道：“當(dāng)我們看到一張桌子時(shí)，不會(huì)用空間坐標(biāo)系的XYZ三軸來(lái)表達(dá)物體位置, 因?yàn)槿祟?lèi)大腦不是這樣工作的。我們對(duì)周?chē)h(huán)境的洞悉是基于物體之間的關(guān)系。通過(guò)構(gòu)建能夠理解物體關(guān)系的系統(tǒng)，更有效地操縱機(jī)械從而改變周?chē)鷪?chǎng)景。”

單次單個(gè)關(guān)系

研究人員所提框架的亮點(diǎn)就在于，「它能以人類(lèi)的方式“解讀”場(chǎng)景中物體之間的關(guān)系」。

比如輸入一段文本——木桌在藍(lán)色沙發(fā)的右側(cè)，木桌在木柜的前面。

系統(tǒng)首先將句子拆分為「木桌在藍(lán)色沙發(fā)的右側(cè)」和「木桌在木柜的前面」兩部分，再逐一描述單獨(dú)部分之間的空間關(guān)系，然后對(duì)每個(gè)關(guān)系概率分布建模，通過(guò)優(yōu)化過(guò)程將這些分離的“結(jié)構(gòu)”匯合，最終生成一個(gè)完整、準(zhǔn)確的場(chǎng)景圖像。

基于能量的模型（Energy-Based Model）

研究人員使用機(jī)器學(xué)習(xí)中「基于能量的模型」編碼每一對(duì)物體直接的空間關(guān)系，然后像樂(lè)高積木一樣將它們組合起來(lái)從而描述整個(gè)場(chǎng)景。

共同一作Shuang Li解釋道：“系統(tǒng)通過(guò)重新組合物體之間的描述，從而產(chǎn)生很好泛化能力，可以生成或者編輯以前沒(méi)有見(jiàn)過(guò)的場(chǎng)景?！?/span>

Yilun Du也表示：“其他系統(tǒng)是從整體上考慮場(chǎng)景中物體之間的關(guān)系，再根據(jù)文本描述中一次性生成場(chǎng)景圖像。一旦包含更復(fù)雜的場(chǎng)景描述時(shí)，這些模型就無(wú)法真正的理解并且生產(chǎn)想要的場(chǎng)景圖像。我們將這些單獨(dú)的、較小的模型集成起來(lái)，實(shí)現(xiàn)對(duì)更多的關(guān)系進(jìn)行建模，從而可以生產(chǎn)新穎的組合。

這個(gè)模型也可以逆向操作。給定一張圖像和不同的描述文本，它能準(zhǔn)確找到場(chǎng)景結(jié)構(gòu)中與物體關(guān)系相匹配的描述文本。

理解復(fù)雜場(chǎng)景 

每種情況下，Nan Liu等人提出的模型都優(yōu)于基線(xiàn)。

“我們的模型在訓(xùn)練過(guò)程中只見(jiàn)過(guò)一個(gè)物體關(guān)系描述，但是在測(cè)試中，當(dāng)物體關(guān)系描述增加到兩個(gè)、三個(gè)甚至四個(gè)的時(shí)候，我們的模型依然效果良好，其他機(jī)器學(xué)習(xí)方法則失敗了?！?/span>

如圖所示，圖像編輯(Image Editing) 列出了不同方法在 CLEVR 和 iGibson 數(shù)據(jù)集上的分類(lèi)結(jié)果。文中方法都大大優(yōu)于基線(xiàn)—— StyleGAN2和StyleGAN2 (CLIP)。在 2R 和 3R 測(cè)試子集上的模型亦有優(yōu)秀表現(xiàn)，所提方法對(duì)訓(xùn)練分布之外的關(guān)系場(chǎng)景描述具有良好的泛化能力。 

研究人員還請(qǐng)實(shí)驗(yàn)參與者評(píng)估生成圖像和場(chǎng)景描述的匹配度。在描述包含三個(gè)物體關(guān)系的最復(fù)雜示例中，91% 的人認(rèn)為該模型比其他基線(xiàn)的性能更好。

在模型代碼網(wǎng)頁(yè)上Interactive Demo的展示中，可以清晰看到新模型在多層物體位置中依然可以按照指令準(zhǔn)確生成我們想要的圖像。

OpenAI訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型「DALL·E」，也是可以根據(jù)文本標(biāo)題為自然語(yǔ)言的各種概念創(chuàng)建圖像。DALL·E 雖然可以很好的理解物體，但是不能夠準(zhǔn)確的理解物體之間的關(guān)系。

可以說(shuō)Nan Liu等人提出的新模型魯棒性十分優(yōu)越，特別是在處理從未遇到的場(chǎng)景描述時(shí)，其他算法只能望其項(xiàng)背。

雖然早期實(shí)驗(yàn)效果甚佳，但研究人員希望模型能夠進(jìn)一步在更復(fù)雜的真實(shí)世界場(chǎng)景中（比如具有嘈雜的背景和相互阻擋的物體時(shí)）執(zhí)行任務(wù)。更進(jìn)一步讓機(jī)器人能夠通過(guò)視頻推斷物體空間關(guān)系，然后應(yīng)用這些知識(shí)來(lái)和周邊環(huán)境中的物體交互。”

捷克技術(shù)大學(xué)捷克信息學(xué)、機(jī)器人和控制論研究所的杰出研究員 Josef Sivic 說(shuō)：“開(kāi)發(fā)出可以理解事物關(guān)系并且通過(guò)不斷組合認(rèn)識(shí)新的事物是計(jì)算機(jī)視覺(jué)領(lǐng)域至關(guān)重要的開(kāi)放問(wèn)題之一。他們的實(shí)驗(yàn)結(jié)果著實(shí)令人驚嘆。”

作者介紹

Nan Liu, 伊利諾伊大學(xué)厄巴納香檳分校碩士。2021 年畢業(yè)于密歇根大學(xué)安娜堡分校，獲得計(jì)算機(jī)科學(xué)學(xué)士學(xué)位。目前從事研究計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)。

Shuang Li, MIT CSAIL博士，師從Antonio Torralba。主要研究使用語(yǔ)言作為交流和計(jì)算工具以及構(gòu)建可以持續(xù)學(xué)習(xí)并與周?chē)澜缁?dòng)的智能體。

Yilun Du，MIT CSAIL博士生，受 Leslie Kaelbling 教授、Tomas Lozano-Perez 教授和 Josh Tenenbaum 教授指導(dǎo)。他對(duì)構(gòu)建可以像人類(lèi)一樣感知理解世界的智能體和對(duì)構(gòu)建模塊化系統(tǒng)感興趣。曾在國(guó)際生物學(xué)奧林匹克競(jìng)賽中獲得了金牌。

Joshua B. Tenenbaum，MIT腦認(rèn)知科學(xué)系教授、CSAIL研究員。1993 年獲得耶魯大學(xué)物理學(xué)學(xué)士學(xué)位，1999 年獲得麻省理工學(xué)院博士學(xué)位。Tenenbaum因?qū)?shù)學(xué)心理學(xué)和貝葉斯認(rèn)知科學(xué)的貢獻(xiàn)而聞名，他是最早開(kāi)發(fā)并將概率和統(tǒng)計(jì)建模應(yīng)用于人類(lèi)學(xué)習(xí)、推理和感知研究的人之一。2018 年，R&D 雜志將 Tenenbaum 評(píng)為“年度創(chuàng)新者”。麥克阿瑟基金會(huì)于 2019 年授予他麥克阿瑟研究員稱(chēng)號(hào)。

Antonio Torralba，MIT電氣工程與計(jì)算機(jī)科學(xué)系 (EECS) 人工智能與決策系主任、CSAIL的首席研究員、MIT-IBM Watson AI Lab負(fù)責(zé)人、2021 AAAI Fellow。1994年獲得西班牙電信BCN的電信工程學(xué)位，并于2000年獲得法國(guó)格勒諾布爾國(guó)立理工學(xué)院的信號(hào)，圖像和語(yǔ)音處理博士學(xué)位。他是“計(jì)算機(jī)視覺(jué)國(guó)際期刊”的副主編，并在2015年擔(dān)任計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議的計(jì)劃主席。2008年國(guó)家科學(xué)基金會(huì)職業(yè)獎(jiǎng)，2009年IEEE計(jì)算機(jī)視覺(jué)和模式識(shí)別會(huì)議上獲得最佳學(xué)生論文獎(jiǎng)，2010年獲JK國(guó)際模式識(shí)別協(xié)會(huì)頒發(fā)的Aggarwal獎(jiǎng)。2017年Frank Quick Faculty研究創(chuàng)新獎(jiǎng)學(xué)金和Louis D. Smullin優(yōu)秀教學(xué)獎(jiǎng)。

參考鏈接：

https://news.mit.edu/2021/ai-object-relationships-image-generation-1129

https://openai.com/blog/dall-e/

https://composevisualrelations.github.io/

https://arxiv.org/abs/2111.09297

---

雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。