0
人類在描述場景時，經(jīng)常描述物體之間的空間關系。生物視覺識別涉及自上而下通路和自下而上通路的交互，而深度神經(jīng)網(wǎng)絡只模擬了第二種通路。自上而下的視覺通路涉及生物視覺感知的全局性、拓撲性、多解性等特點，尤其是理解圖像時會面臨數(shù)學上的無窮解問題。而這些特點或許就是深度神經(jīng)網(wǎng)絡下一步的改進方向。
“視覺場景理解包括檢測和識別物體，推理被檢測物體之間的視覺關系以及使用語句描述圖像區(qū)域?！币罁?jù)《我們賴以生存的隱喻》的觀點，物體關系相比于語義關系是更加基本的，因為語義關系背后都包含著物體關系的假設。
就如下圖中，兩只貓貓在「互毆」，另一只貓貓在旁邊不嫌事大地看熱鬧。通過這個例子，人類可以非常清晰直接地觀察并捕捉到貓咪的位置、行為和關聯(lián)。但許多深度學習模型卻無法以相同的方式理解復雜實況，捕獲全部信息并進行解析，因為它們不明白單個物體之間的「糾纏」關系。
為了讓機器人能夠精準完成這些任務，來自麻省理工學院的Shuang Li、Yilun Du和伊利諾伊大學香檳分校的Nan Liu等人合作提出一款可以理解場景中物體之間空間關系的模型。該模型具有很好的泛化能力，能夠通過組合多個物體的空間關系從而生成或者編輯復雜的圖片。論文已作為Spotlight展示被NeurIPS 2021接收。
論文鏈接：https://arxiv.org/abs/2111.09297
總的來說，研究主要有三個主要貢獻：
1. 提出了一個框架來分解和組合物體之間的關系，該框架能夠生成和編輯圖像根據(jù)通過組合物體之間空間關系描述，并且明顯優(yōu)于基線方法。
2. 能夠推斷出潛在物體之間的場景描述，并能夠很好的理解物體之間的語義等效。語義等效是同樣的場景但是不同的表述方式，例如蘋果在香蕉左邊和香蕉在蘋果右邊。
3. 最重要的這個方法通過組合物體關系的描述可以推廣到以前未見過的更復雜關系描述中。
這種泛化可以應用于工業(yè)機器人執(zhí)行復雜多步驟的操縱任務，比如在倉庫中堆放物品或組裝電器。讓機器能進一步“仿生”人類從環(huán)境中學習、互動，并且通過不斷學習分解，組合從而很快適應新的環(huán)境和學習新的任務。
共同一作Yilun Du說道：“當我們看到一張桌子時，不會用空間坐標系的XYZ三軸來表達物體位置, 因為人類大腦不是這樣工作的。我們對周圍環(huán)境的洞悉是基于物體之間的關系。通過構建能夠理解物體關系的系統(tǒng)，更有效地操縱機械從而改變周圍場景?！?/span>
單次單個關系
研究人員所提框架的亮點就在于，「它能以人類的方式“解讀”場景中物體之間的關系」。
比如輸入一段文本——木桌在藍色沙發(fā)的右側，木桌在木柜的前面。
系統(tǒng)首先將句子拆分為「木桌在藍色沙發(fā)的右側」和「木桌在木柜的前面」兩部分，再逐一描述單獨部分之間的空間關系，然后對每個關系概率分布建模，通過優(yōu)化過程將這些分離的“結構”匯合，最終生成一個完整、準確的場景圖像。
基于能量的模型（Energy-Based Model）
研究人員使用機器學習中「基于能量的模型」編碼每一對物體直接的空間關系，然后像樂高積木一樣將它們組合起來從而描述整個場景。
共同一作Shuang Li解釋道：“系統(tǒng)通過重新組合物體之間的描述，從而產(chǎn)生很好泛化能力，可以生成或者編輯以前沒有見過的場景?！?/span>
Yilun Du也表示：“其他系統(tǒng)是從整體上考慮場景中物體之間的關系，再根據(jù)文本描述中一次性生成場景圖像。一旦包含更復雜的場景描述時，這些模型就無法真正的理解并且生產(chǎn)想要的場景圖像。我們將這些單獨的、較小的模型集成起來，實現(xiàn)對更多的關系進行建模，從而可以生產(chǎn)新穎的組合。
這個模型也可以逆向操作。給定一張圖像和不同的描述文本，它能準確找到場景結構中與物體關系相匹配的描述文本。
理解復雜場景
每種情況下，Nan Liu等人提出的模型都優(yōu)于基線。
“我們的模型在訓練過程中只見過一個物體關系描述，但是在測試中，當物體關系描述增加到兩個、三個甚至四個的時候，我們的模型依然效果良好，其他機器學習方法則失敗了?！?/span>
如圖所示，圖像編輯(Image Editing) 列出了不同方法在 CLEVR 和 iGibson 數(shù)據(jù)集上的分類結果。文中方法都大大優(yōu)于基線—— StyleGAN2和StyleGAN2 (CLIP)。在 2R 和 3R 測試子集上的模型亦有優(yōu)秀表現(xiàn)，所提方法對訓練分布之外的關系場景描述具有良好的泛化能力。
研究人員還請實驗參與者評估生成圖像和場景描述的匹配度。在描述包含三個物體關系的最復雜示例中，91% 的人認為該模型比其他基線的性能更好。
在模型代碼網(wǎng)頁上Interactive Demo的展示中，可以清晰看到新模型在多層物體位置中依然可以按照指令準確生成我們想要的圖像。
OpenAI訓練的神經(jīng)網(wǎng)絡模型「DALL·E」，也是可以根據(jù)文本標題為自然語言的各種概念創(chuàng)建圖像。DALL·E 雖然可以很好的理解物體，但是不能夠準確的理解物體之間的關系。
可以說Nan Liu等人提出的新模型魯棒性十分優(yōu)越，特別是在處理從未遇到的場景描述時，其他算法只能望其項背。
雖然早期實驗效果甚佳，但研究人員希望模型能夠進一步在更復雜的真實世界場景中（比如具有嘈雜的背景和相互阻擋的物體時）執(zhí)行任務。更進一步讓機器人能夠通過視頻推斷物體空間關系，然后應用這些知識來和周邊環(huán)境中的物體交互。”
捷克技術大學捷克信息學、機器人和控制論研究所的杰出研究員 Josef Sivic 說：“開發(fā)出可以理解事物關系并且通過不斷組合認識新的事物是計算機視覺領域至關重要的開放問題之一。他們的實驗結果著實令人驚嘆?！?/span>
作者介紹
Nan Liu, 伊利諾伊大學厄巴納香檳分校碩士。2021 年畢業(yè)于密歇根大學安娜堡分校，獲得計算機科學學士學位。目前從事研究計算機視覺和機器學習。
Shuang Li, MIT CSAIL博士，師從Antonio Torralba。主要研究使用語言作為交流和計算工具以及構建可以持續(xù)學習并與周圍世界互動的智能體。
Yilun Du，MIT CSAIL博士生，受 Leslie Kaelbling 教授、Tomas Lozano-Perez 教授和 Josh Tenenbaum 教授指導。他對構建可以像人類一樣感知理解世界的智能體和對構建模塊化系統(tǒng)感興趣。曾在國際生物學奧林匹克競賽中獲得了金牌。
Joshua B. Tenenbaum，MIT腦認知科學系教授、CSAIL研究員。1993 年獲得耶魯大學物理學學士學位，1999 年獲得麻省理工學院博士學位。Tenenbaum因?qū)?shù)學心理學和貝葉斯認知科學的貢獻而聞名，他是最早開發(fā)并將概率和統(tǒng)計建模應用于人類學習、推理和感知研究的人之一。2018 年，R&D 雜志將 Tenenbaum 評為“年度創(chuàng)新者”。麥克阿瑟基金會于 2019 年授予他麥克阿瑟研究員稱號。
Antonio Torralba，MIT電氣工程與計算機科學系 (EECS) 人工智能與決策系主任、CSAIL的首席研究員、MIT-IBM Watson AI Lab負責人、2021 AAAI Fellow。1994年獲得西班牙電信BCN的電信工程學位，并于2000年獲得法國格勒諾布爾國立理工學院的信號，圖像和語音處理博士學位。他是“計算機視覺國際期刊”的副主編，并在2015年擔任計算機視覺和模式識別會議的計劃主席。2008年國家科學基金會職業(yè)獎，2009年IEEE計算機視覺和模式識別會議上獲得最佳學生論文獎，2010年獲JK國際模式識別協(xié)會頒發(fā)的Aggarwal獎。2017年Frank Quick Faculty研究創(chuàng)新獎學金和Louis D. Smullin優(yōu)秀教學獎。
參考鏈接：
https://news.mit.edu/2021/ai-object-relationships-image-generation-1129
https://openai.com/blog/dall-e/
https://composevisualrelations.github.io/
https://arxiv.org/abs/2111.09297
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
