嚴(yán)格來(lái)說(shuō)，視頻并不是一個(gè)交互媒介，因?yàn)橛^眾只是接收訊息，并不能跟視頻里的畫(huà)面實(shí)時(shí)互動(dòng)。

但是麻省理工學(xué)院（MIT）正在改變這一現(xiàn)實(shí)：該校計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）研發(fā)了一項(xiàng)新技術(shù)，讓觀眾可以伸出手“觸碰”并操控影像里的物體，就像在真實(shí)世界里一樣。

比如下圖里一個(gè)小人，本來(lái)是靜止的畫(huà)面，但是如果你在上面點(diǎn)擊并拖動(dòng)鼠標(biāo)，小人真的會(huì)因?yàn)槟愕膭?dòng)作而出現(xiàn)抖動(dòng)或傾斜。

這個(gè)系統(tǒng)被稱為“交互動(dòng)態(tài)視頻”（Interactive Dynamic Video），簡(jiǎn)稱IDV。

技術(shù)原理：5秒視頻+振動(dòng)模式+算法

IDV系統(tǒng)的技術(shù)原理是這樣的：每一個(gè)真實(shí)世界的物體都會(huì)受到來(lái)自外界的作用力，由此引發(fā)物體的振動(dòng)。研究團(tuán)隊(duì)用攝像機(jī)拍攝該物體最短5秒的視頻，然后用一個(gè)算法生成一個(gè)預(yù)測(cè)模型，預(yù)測(cè)出該物體在其他外力的作用下產(chǎn)生的振動(dòng)模式。

所以上圖中的室內(nèi)的小人，在拍攝過(guò)程中，研究人員會(huì)在它站立的桌面上使勁拍打，使其產(chǎn)生振動(dòng)。而這種振動(dòng)，我們?nèi)祟惖娜庋蹘缀醪豢梢?jiàn)。

IDV系統(tǒng)可以捕捉到非常細(xì)小的物體振動(dòng)頻率。甚至一陣微風(fēng)引起的振動(dòng)也可以捕捉到，所以對(duì)于巨大的建筑物，這種模擬也可以實(shí)現(xiàn)。

而且令人興奮的一點(diǎn)是，這套系統(tǒng)里根本不需要3D輪廓重建的步驟。一般來(lái)說(shuō)，模擬物體的運(yùn)動(dòng)，是需要3D建模的，但是這一過(guò)程非常昂貴，而且對(duì)于十分復(fù)雜的物體來(lái)說(shuō)，其3D模型的構(gòu)造過(guò)程極其復(fù)雜。而IDV只需要5秒鐘的傳統(tǒng)視頻和一套算法，就可以實(shí)現(xiàn)運(yùn)動(dòng)模型的預(yù)測(cè)。

領(lǐng)導(dǎo)這個(gè)項(xiàng)目的是在CSAIL 實(shí)驗(yàn)室攻讀博士學(xué)位的Abe Davis，他說(shuō)：“這個(gè)技術(shù)可以讓我們捕捉到物體的物理動(dòng)態(tài)，讓我們?cè)谔摂M空間中與拍攝的物體玩耍。” 今年年初，他和同樣是博士生的Justin G. Chen以及Fredo Durand教授共同發(fā)表了關(guān)于該項(xiàng)技術(shù)的論文。

應(yīng)用：令人激動(dòng)的AR領(lǐng)域

IDV的應(yīng)用非常廣泛，比如工程師可以利用IDV來(lái)模擬在遭遇大風(fēng)或地震等災(zāi)害時(shí)的一座建筑物的狀況，而對(duì)于CG電影動(dòng)畫(huà)制作者來(lái)說(shuō)，制造一個(gè)虛擬的白宮或大橋倒塌的壯觀景象，也無(wú)疑更加容易了。

但其中最令人激動(dòng)的就是和AR的結(jié)合。以如今大火的Pokemon Go為例，在現(xiàn)在的游戲界面里，小精靈只是單純“出現(xiàn)”在畫(huà)面里，就像一個(gè)貼紙一樣，如果你撥動(dòng)這個(gè)小拉達(dá)后面的物體，它并不會(huì)受到任何影響。

而IDV可以讓虛擬的動(dòng)畫(huà)角色跟真實(shí)的環(huán)境交互。一個(gè)虛擬的皮卡丘從草叢里一下子蹦出來(lái)，并帶動(dòng)了草叢里的草，這效果就太逼真了，形成了所謂的“動(dòng)態(tài)AR”。

IDV系統(tǒng)的出現(xiàn)無(wú)疑會(huì)推動(dòng)人們對(duì)VR和AR技術(shù)的興趣和投入。它顯而易見(jiàn)的好處是可以大幅降低交互式AR體驗(yàn)的開(kāi)發(fā)成本，這點(diǎn)能夠鼓勵(lì)更多人參與到AR內(nèi)容的創(chuàng)作。人們都想證明AR的價(jià)值，而IDV正好預(yù)示著AR視頻巨大吸引力的未來(lái)。

Via MIT News

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。