7
Sebastian Marino是一個略微有點陌生的名字，但你肯定看過詹姆斯·卡梅隆的經(jīng)典之作《阿凡達》。Marino曾憑借在《阿凡達》中出色的特效工作為影片贏得奧斯卡金像獎。
某夜，他化身一名導(dǎo)演，在他的公寓拍攝了一段電影片段。他與他的團隊架起一排攝像機，在一個綠色的熒幕前對兩名女演員進行拍攝。只有其中一人有臺詞，她略帶神秘地說，“我猜你現(xiàn)在心情應(yīng)該有點像歷險記中掉進兔子洞的愛麗絲，我建議你謹(jǐn)慎選擇”。她指向一個方向，又指指另一個方向。拍攝內(nèi)容結(jié)束后，大家卸掉熒幕回家了。
但Marino的工作還沒有完成，接下來他需要將這個片段進行后期制作。
經(jīng)過一夜的處理，早上他把生成的文件載入Unity 3D游戲引擎中，并將這兩名女演員置身于一間公寓中。在一個房間中，一面墻上有霓虹燈，另一面墻上的掛燈發(fā)出的光芒投射到女演員的右側(cè)。在另一間房間中，他使屋內(nèi)的燈昏暗地發(fā)出紅光，使人看不清另一名演員身上的穿著。
事實上，這并不僅僅是個電子游戲，它是一個電影。確切來說，它極有可能是第一部真正加入真人角色的虛擬現(xiàn)實電影。之前講話的女演員看起來一點都不像電子游戲角色，她看起來跟本人一模一樣。她穿著同樣的衣服，臉部動作十分逼真，行為舉止流暢。然而，她正站在一個實際上根本不存在的房間中。
Marino與其初創(chuàng)虛擬現(xiàn)實公司Uncorporeal想要通過現(xiàn)實途徑，解決虛擬電影制作中的難題。更加令人吃驚地是，他與另外兩位聯(lián)合創(chuàng)辦人（他們曾在盧卡斯影業(yè)，WETA，歐洲太空屬，Google X，微軟和Electronic Arts工作）已經(jīng)秘密地完成了這項工作。他們獨立完成了公司的種子投資，并從未在現(xiàn)身于任何虛擬現(xiàn)實會議，并且各項對外聯(lián)系均利用母公司的電子郵箱，所以沒有任何人捕捉到Uncorporeal存在的信息。Marino說，“知道我們的工作的人數(shù)，用手指跟腳趾就能數(shù)過來”。
隨著時間駛向2016年，期待已久的虛擬現(xiàn)實技術(shù)投入市場的日子也越來越近，但仍有一個現(xiàn)實難題急需解決。這個難題并不是模擬器性能不足，分辨率不高之類；這些硬件問題目前都已被有效解決，雖然仍稱不上完美，但其性能相比于18個月之前，其變化已經(jīng)超乎想象了。這個難題亦不是輸入問題，即將出現(xiàn)的三種用戶系統(tǒng)（Oculus Rift，HTC Vive和Playstation VR）均有不俗的表現(xiàn)。此難題也無關(guān)內(nèi)容：從開發(fā)中的幾十款游戲到Netflix公司的虛擬影院，再到虛擬博物館之旅，這些都保證了其適用性。
Uncorporeal相機抓取實時幾何數(shù)據(jù)
難題是電影。
具體來說，是真實動作視頻捕捉。消費級虛擬現(xiàn)實依靠外部攝像頭追蹤頭盔的環(huán)境，并將其移動和位置轉(zhuǎn)化成虛擬環(huán)境。這稱為位置跟蹤，而在虛擬現(xiàn)實游戲中，正是這項技術(shù)讓你可以通過蹲下、斜靠和彎身，在游戲中實現(xiàn)在椅子后蹲伏、障礙物后側(cè)窺視以及在桌下巡查這些動作。但，現(xiàn)在還不能將位置追蹤加入到視頻中。
試想一下：你將一系列攝像頭放置于一個中心點周圍，作為頭戴頭盔的人的眼睛，那么你只能看到這點周圍360度的視野。在虛擬現(xiàn)實中最佳的“六自由度”中——左右點頭、轉(zhuǎn)頭、歪頭，并向三個方向移動——虛擬現(xiàn)實視頻在移動中有極大的限制。換句話說，你可以在即有位置上任意活動，但不管你怎樣蹲伏或者傾斜身體都不能改變位置，這會在使用時造成很大不便。
為了解決位置追蹤這一問題，數(shù)個虛擬現(xiàn)實電影公司都選擇制作皮克斯那樣的CGI電影，即使用為虛擬現(xiàn)實優(yōu)化的游戲引擎，如Unity 3D和Unreal 4，制作像游戲一樣的視頻。（這種奇怪的混合模型正是為什么在虛擬現(xiàn)實界，“體驗”與“敘事”正在逐漸取代“電影”這一詞。）但是實現(xiàn)位置跟蹤和所有六個自由度，你將會同時失去一些東西：現(xiàn)實。在常規(guī)的非虛擬現(xiàn)實游戲中制作逼真的人類，已經(jīng)夠嚇人了，如果再進行虛擬現(xiàn)實的處理，這完全是無用的。
Uncorporeal的幾何數(shù)據(jù)可被用于游戲引擎制作的虛擬環(huán)境
這就是Uncorporeal要解決的關(guān)鍵。他們像其他虛擬現(xiàn)實視頻公司一樣，使用一系列相機組合拍攝影片。然而，他們的鏡頭可以捕捉到房間的所有光場，像Lytro相機的視頻版那樣。簡單來說，這意味著該公司擁有如此多的光樣本，足夠通過在亞毫米精度創(chuàng)建幾何模型，處理畫面。“我們不單單能了解拍攝物體的幾何結(jié)構(gòu)，”Marino說，“也捕捉這些相機所能捕捉到的所有的光，我們能捕捉到每一個像素，無論你在哪個方向看物體?！?/span>
這聽起來可能有點像動作捕捉，但事實上它不是。在動作捕捉時，你制作一個人物的靜態(tài)三維模型，然后讓骨骼結(jié)構(gòu)和其他底層動起來，形成動作效果；它可能看起來逼真，甚或是基于一個穿了內(nèi)置追蹤設(shè)備的服裝的演員的動作生成的，但這仍然是CG。Uncorporeal的技術(shù)更像是“逐像素動作捕捉”，每個像素都有3D效果，可以完美實現(xiàn)數(shù)字化，但它本質(zhì)上是一個人類演員在做表演。
不過，這只是一個人物而已。所以一旦相機捕捉到了人的動作，Uncorporeal會合成所有數(shù)據(jù)，生成一個專有的編解碼器u3d，它包含有被捕捉對象的所有幾何信息，以及光場信息。u3d編碼文件能直接用在Unity 3D游戲引擎制作的場景。得到的結(jié)果就是，在虛擬環(huán)境中出現(xiàn)一個真實的人。光場信息讓兩者的結(jié)合變得天衣無縫，Marino將自家技術(shù)稱為10DVR——六個自由度加三維信息再加時間。
明確地說，Uncorporeal并不是唯一一家有所行動的公司。在今年早些時候，Lytro籌款五千萬美元，欲用于光場攝影機的虛擬現(xiàn)實應(yīng)用，目前尚未有成果公布。OTOY公司對一個空房間進行了光場渲染，但沒有人類動作。而Uncorporeal貌似是將圖像捕捉和視覺效果結(jié)合起來的第一人。通過捕捉真人舉動和表情，它能為虛擬現(xiàn)實影像保有親密感。通過對人物進行渲染，并引入可進行位置追蹤的虛擬空間中，它又能達到只能在CGI中才能體驗到的臨場感。
好萊塢也對這項研究時時跟進。Marino證實，Uncorporeal正低調(diào)地同數(shù)個工作室進行密切聯(lián)系?！耙驗樵诜N子投資期間，我們是自食其力的，所以我們并不需要大張旗鼓引人耳目。在聯(lián)系人方面，我們可以自由選擇”。盡管他們向來避免在虛擬現(xiàn)實活動中露面，他們將參加今天于紐約開幕的Future of Storytelling（未來敘事）大會，并使用DK2向眾人展示真正的電影敘事的未來是什么樣的。
Via wired
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
