最近光場(chǎng)相機(jī)領(lǐng)域動(dòng)態(tài)頻頻，在前幾天谷歌發(fā)布多個(gè)光場(chǎng)視頻后，國內(nèi)一家公司也拿出了他們的光流相機(jī)和支持6DoF的光場(chǎng)視頻。

這家公司是杭州西顧視頻科技有限公司（FXG-Video），成立于2017年5月，從事深度沉浸式內(nèi)容與技術(shù)研發(fā)制作，有軟硬件技術(shù)和解決方案，提供產(chǎn)品拍攝到內(nèi)容后期制作與播放一體化流程服務(wù)。目前其已有3D VR和2D VR攝影機(jī)產(chǎn)品。

為了解其支持6DoF的3DVR攝影機(jī)，雷鋒網(wǎng)特意與其CTO李文松進(jìn)行了深入訪談。

上圖這臺(tái)設(shè)備是其產(chǎn)品ET-2 3DVR攝影機(jī)，被稱為"光流VR攝影機(jī)"。據(jù)介紹，這個(gè)相機(jī)的功能有：

·         支持超近距離（≤30CM）拍攝和完美拼接

·         可以捕獲360度視頻深度信息并提供六自由度（6DoF）追蹤能力

·         八目間隔式攝像頭陣列，單目 240度千萬級(jí)像素鏡頭

·         光流技術(shù)，可以在重播時(shí)實(shí)現(xiàn)，改變位置、景深、子彈時(shí)間等特效

·         16K 3DVR電影級(jí)畫質(zhì)

·         全電子同步，一鍵開關(guān)機(jī)，一鍵拍攝

·         實(shí)時(shí)監(jiān)看（VIVE/CV1）和直播

·         無線遙控

這個(gè)相機(jī)是一個(gè)圓柱型，上面是鏡頭，下面是主機(jī)。

由于現(xiàn)場(chǎng)條件不允許，雷鋒網(wǎng)編輯沒有直接體驗(yàn)到西顧的6DoF視頻，從頭顯內(nèi)錄屏的視頻看來，用戶可以在其用相機(jī)拍攝的視頻內(nèi)移動(dòng)，這個(gè)移動(dòng)的范圍有7-10cm。

（西顧6Dof視頻體驗(yàn)Demo）

雖然沒有體驗(yàn)到6DoF視頻，但是雷鋒網(wǎng)編輯體驗(yàn)了西顧高清3DVR視頻。在數(shù)十個(gè)3DVR視頻中，雷鋒網(wǎng)體驗(yàn)了其中的大部分內(nèi)容：遠(yuǎn)程生日宴會(huì)、舞者、China Joy現(xiàn)場(chǎng)等。從體驗(yàn)來看，這些視頻很清晰，色彩飽和，3D效果好，沉浸感不錯(cuò)。據(jù)稱，西顧采用了自己研發(fā)播放器以及八面體投影格式來提高分辨率。

超近距離拍攝，縮短安全距離

令人印象深刻的是這些視頻里，體驗(yàn)者與內(nèi)容之間的距離可以靠的很近，不會(huì)發(fā)生內(nèi)容的畸變和拼接錯(cuò)誤，也就是他們強(qiáng)調(diào)的超近距離拍攝效果（≤30CM）。在遠(yuǎn)程生日宴會(huì)這個(gè)視頻中，雷鋒網(wǎng)編輯體驗(yàn)到了這種拍攝距離帶來的好處。

在戴上頭顯后，我出現(xiàn)在了美國的一個(gè)住宅中，環(huán)顧四周，有食物還有交談的人群，這顯然是一個(gè)小型私人派對(duì)現(xiàn)場(chǎng)。然后一個(gè)男人拿著雞尾酒向我走近，對(duì)我說生日快樂，然后他旁邊的人也開始靠過來，他一一介紹這些人給我認(rèn)識(shí)，這些人也七嘴八舌對(duì)我說著生日祝福。我腦子里知道這是虛擬場(chǎng)景，但是可以真切地感受到現(xiàn)場(chǎng)氛圍。我低下頭，能看到桌子上的事物，每個(gè)人在我身邊摩肩接踵。這些人最近的時(shí)候離我似乎只有一步路的距離，也就是平時(shí)親密朋友交流時(shí)最短的距離，近處只有幾十厘米甚至十幾厘米。

超近的安全距離是西顧ET-2 3DVR攝影機(jī)的一大特色，從技術(shù)實(shí)現(xiàn)來說，這有什么價(jià)值呢？

我們都知道，全景相機(jī)采用多鏡頭（大于等于2）采集，再將采集到的畫面通過算法進(jìn)行拼接。而相機(jī)鏡頭之間光學(xué)節(jié)點(diǎn)不是重合的，這個(gè)距離被稱為相機(jī)“節(jié)點(diǎn)距離”，距離越大，拍攝到的畫面越容易產(chǎn)生畸變和拼接錯(cuò)誤：遠(yuǎn)處物體會(huì)出現(xiàn)"重影"、近處的畫面會(huì)產(chǎn)生缺失。

2D全景相機(jī)的節(jié)點(diǎn)問題解決比較簡單，就是讓鏡頭結(jié)構(gòu)盡量緊湊，比如理光的雙目折返式棱鏡專利，李文松在幾年前也研發(fā)了交錯(cuò)式背靠背鏡頭，用來解決2D相機(jī)距離的問題。

八目間隔式攝像頭陣列，光流插值算法

但3DVR和6DoF相機(jī)的節(jié)點(diǎn)問題比2D要復(fù)雜許多，目前市面上的全景相機(jī)、光學(xué)相機(jī)都采用了不同的相機(jī)陣列。有Lytro Immerge這樣像一堵墻的超大相機(jī)陣列方案、也有像谷歌展示的放在旋轉(zhuǎn)臺(tái)上的16個(gè)相機(jī)陣列。不同的相機(jī)陣列會(huì)產(chǎn)生截然不同的拍攝效果。

(Lytro Immerge)

李文松介紹到，要理解西顧的八目間隔式攝像頭陣列，需要理解一個(gè)概念，他稱之為：視節(jié)比。也就是相機(jī)的立體視差距離和鏡頭節(jié)點(diǎn)距離的比例。因?yàn)槿跋鄼C(jī)是要模擬人的雙眼成像，所以都會(huì)采用多個(gè)相機(jī)的模式，兩個(gè)相機(jī)的距離被稱為視點(diǎn)差。人的雙眼是有瞳距的，視點(diǎn)差的最好距離是6-8cm，不能過小也不能過大。整體來說，相機(jī)的視差要接近人眼瞳距，同時(shí)鏡頭節(jié)點(diǎn)距離要盡可能小。

(西顧ET-2 3DVR攝影機(jī)）

他談到幾代3D VR相機(jī)在"視節(jié)比"上的發(fā)展，"第一代的3DVR相機(jī)把多組產(chǎn)生雙目視差的左右鏡頭成對(duì)放置，然后將左右鏡頭各自拼接起來，這個(gè)時(shí)候相機(jī)的節(jié)點(diǎn)距離很大，且一定大于視差，所以視節(jié)比小于1。第二代的3D全景相機(jī)的一個(gè)鏡頭可以同時(shí)當(dāng)作左右眼，然后再將不同相機(jī)的左右眼區(qū)域拼接起來，這時(shí)視點(diǎn)和節(jié)點(diǎn)是一樣大的，例如谷歌JUMP、FB的Surround 360。李文松將西顧的光流VR相機(jī)采用的方法稱之為第三代，他采用了間隔式的鏡頭拼接方法，可以選取間隔1-3個(gè)相機(jī)拍攝出的圖像進(jìn)行拼接，這樣相機(jī)之間的節(jié)距可以非常緊湊，視差距離變大很多。視節(jié)比遠(yuǎn)遠(yuǎn)大于1，目前市面上僅有三星的Beyond相機(jī)視節(jié)比大于1約為1.2，而這臺(tái)ET-2相機(jī)的視節(jié)比為 2.4。"

采用八個(gè)相機(jī)陣列和間隔式拼接法后，李文松解釋到，他可以拼接出4-5個(gè)完整的全景畫面，每個(gè)畫面分辨率都達(dá)8K，而目前其他3DVR相機(jī)只能拼接出2個(gè)完整的全景畫面，也就是說光流相機(jī)獲得了更多的信息。為了解釋這種間隔式拼接算法，李文松向雷鋒網(wǎng)編輯演示了一個(gè)圖形化小工具，在輸入相機(jī)數(shù)量、鏡頭度數(shù)后可以計(jì)算出能得到多少個(gè)全景畫面。

除此之外，拍攝過程中還用到了光流算法。李文松解釋到，在相機(jī)拍攝之后，基于上述4-5個(gè)完整物理全景視圖，可以用軟件虛擬插值出上百個(gè)鏡頭視角（依賴計(jì)算速度），還原空間內(nèi)全部光線。他們?nèi)缓蟛捎脤ｉT的MVS和Parallex插值算法獲得比普通雙目立體算法更為完整精確的多層6DoF深度信息。這樣實(shí)現(xiàn)的6DoF視頻可以完成傳統(tǒng)光流相機(jī)所有功能（6DoF運(yùn)動(dòng)、重新對(duì)焦、自定義光圈）， 但在存儲(chǔ)格式遠(yuǎn)遠(yuǎn)小于Lytro和谷歌等那種基于物理多鏡頭矩陣的數(shù)據(jù)格式，只比普通3DVR視頻增加2倍不到的數(shù)據(jù)帶寬。西顧視頻現(xiàn)在已經(jīng)基于這種6DoF視頻數(shù)據(jù)格式研發(fā)出了專用6DoF視頻播放器，并在不遠(yuǎn)的未來可以實(shí)現(xiàn)6DoF VR視頻直播。

（西顧VR8視頻格式介紹）

6DoF視頻的機(jī)遇與挑戰(zhàn)

自2015年來，全景視頻就是影視技術(shù)發(fā)展的一個(gè)重要趨勢(shì)，其可以為VR提供沉浸式內(nèi)容。全景視頻的發(fā)展經(jīng)歷了三個(gè)階段：2D全景、3D VR全景、6DoF全景。西顧視頻目前主要專注于后兩個(gè)階段。

李文松談到， 2017年多個(gè)支持6DoF的VR一體機(jī)發(fā)布并將在2018年上市，包括HTC Vive Focus、Pico Neo一體機(jī)等，而目前，6DoF的視頻內(nèi)容十分缺乏。電腦CG的方式相對(duì)昂貴，視頻拍攝的方式可以讓6DoF內(nèi)容生產(chǎn)更快更便宜。目前6DoF視頻技術(shù)現(xiàn)狀，大致有由內(nèi)向外（Lytro、谷歌、FB的方案）和由外向內(nèi)（Intel的方案）這兩類方案，西顧方案屬于前者即由內(nèi)向外，這種6DoF技術(shù)方案部署和拍攝容易，未來可以產(chǎn)生普通消費(fèi)者生產(chǎn)內(nèi)容（UGC）模式，而有外向內(nèi)技術(shù)的6DoF技術(shù)必須搭建專用影棚，只能由專業(yè)團(tuán)隊(duì)制作（PGC），但移動(dòng)自由度和精度更好，尤其適合拍攝人物角色。

當(dāng)然，6Dof視頻剛剛起步，未來也還有很多挑戰(zhàn)。例如6Dof視頻內(nèi)可移動(dòng)范圍需要進(jìn)一步擴(kuò)大，用像谷歌、西顧這樣的從里到外的拍攝方法產(chǎn)生的6Dof視頻，目前可移動(dòng)范圍都有限。如果可移動(dòng)范圍足夠大，視頻內(nèi)的運(yùn)動(dòng)不僅可以提升沉浸感，還可以在實(shí)際拍攝的場(chǎng)景里設(shè)計(jì)交互，發(fā)展為虛擬與真實(shí)融合的游戲。

相關(guān)文章：

Magic Leap、Lytro宣稱的“光場(chǎng)”到底是個(gè)什么鬼？

Lytro 公開 Immerge 2.0 光場(chǎng)相機(jī)：效率、畫質(zhì)大躍進(jìn)

詳解谷歌最新光場(chǎng)視頻，體驗(yàn)VR頭顯里的光場(chǎng)世界

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。