1
雷鋒網(wǎng)按：本文作者星佳（微信公號：星佳是個小人物），目前虛擬現(xiàn)實行業(yè)從業(yè)者，從事新媒體、虛擬現(xiàn)實、增強現(xiàn)實等研究。
如果你還沒有看過那篇“處心積慮”和團(tuán)隊小伙伴們研發(fā)的MR教程：《如何低成本的打造HTC Vive虛擬演播室直播MR視頻？》務(wù)必點進(jìn)來看看我們辛苦熬了很久做出來的成果。
附上番外篇：《終于鼓搗成功了全景視頻直播，但有些問題……》，幾個月前關(guān)于全景視頻直播的技術(shù)分享，當(dāng)然最近又有新的進(jìn)展了。
會在時機(jī)成熟后分享部分非核心技術(shù)內(nèi)容（核心都分享給你了怎么賺錢，養(yǎng)活研究團(tuán)隊呢？），我們很明顯可以看到直播巨頭也在全景直播的技術(shù)上開始花功夫了，比如斗魚已經(jīng)在內(nèi)測全景視頻直播，花椒也在努力走全民全景直播的路子，我們拭目以待巨頭能早日支持新技術(shù)，給我們帶來新的可能……
好吧，接下來進(jìn)入干貨時間，在此之前還要給大家解釋下到底什么才是真正的MR實時視頻，那些說美國大片的綠幕摳像、CG合成、AE后期處理什么的不在本文討論范圍，雖然從目前的成熟技術(shù)水平來看實現(xiàn)起來也不是太難的事情，但再看看MR成果視頻里的透視關(guān)系，看看實體手柄和虛擬世界物體的實時互動，如果你真的覺得很容易，只能說你太年輕了……
官方驚艷的宣傳片，至今都是MR視頻大作
說起來好笑，起初還找了個拍電影的朋友信誓旦旦的就要做"摳像"，too young too naive的我覺得有個綠幕+攝像機(jī)+HTC Vive就可以輕松解決，萬萬沒想到，居然搞了這么久才折騰出來拿得出手的成果……
能看懂這張圖的才能掌握MR的精髓
Mixed Reality視頻就是VR影像+人的影像合成的視頻。相比普通錄制電腦屏幕游戲畫面和游戲者錄像實拍分屏顯示的假VR視頻，Mixed Reality視頻更適合用來做游戲直播和制作虛擬現(xiàn)實應(yīng)用宣傳視頻，比如著名的Google Tilt Bursh繪畫程序（請點擊查看如下視頻，其實我正在努力的方向就是實現(xiàn)以后所有虛擬現(xiàn)實應(yīng)用讓他人看來能夠有身臨其境的感覺）。
不得不說下面這兩種經(jīng)常在直播平臺所謂的VR直播里出現(xiàn)的摳像畫面不得不讓人質(zhì)疑，隨便搞個綠屏這樣做的VR直播有什么意義呢？真的可以給消費者們普及“萬能的虛擬現(xiàn)實”嗎？只會更霧里看花……
體驗者根本沒有同步映射出現(xiàn)在游戲畫面里，而只看游戲畫面旁觀者根本不明白到底游戲者在干嘛，對不對？
再來看看Google給Tilt Bursh應(yīng)用做的MR宣傳視頻：
這才是真正的MR視頻，很酷是不是？
我和我的團(tuán)隊小伙伴們已經(jīng)實現(xiàn)了，注意看手柄的映射、真實物理空間的人物比例、虛擬應(yīng)用里場景的透視和畫面遮擋關(guān)系。
下面是我們團(tuán)隊的成果（請忽略因場地和資金造成的穿幫）：
1、實現(xiàn)方案（詳情操作過程請查閱上篇文檔）：
硬件部分：至少5*5的綠幕和均勻布光，佳能單反或者羅技攝像頭，第三只HTC手柄，USB延長線和支架。
軟件部分：首先需要開源軟件OBS做圖層合成和直播功能，配合若干Unity引擎開發(fā)的適配固定視角的虛擬現(xiàn)實內(nèi)容即可成功的開啟四分屏模式（需要調(diào)整了很久的cfg配置參數(shù)文件在內(nèi)容根目錄下的幫助）。
2、還需要完善的一些地方：
辦公室地方限制，導(dǎo)致綠幕空間達(dá)不到理想標(biāo)準(zhǔn)，而燈光也因為確實窮所以買不起貴的而打的并不均勻，由此造成了成果視頻里摳圖的不干凈和穿幫，在此只想呼吁土豪贊助足夠綠和足夠大的場地讓我們發(fā)揮才華。
我們正在探索移動機(jī)位的可能性，一方面是由于場地小，除此之外移動相機(jī)和綁在上面的第三只映射手柄不得不再采購一套巨貴的斯坦尼康，所以移動鏡頭的解決方案不得不暫時擱淺了。當(dāng)然目前能夠支持多機(jī)位和移動的虛擬攝像機(jī)的內(nèi)容也沒有幾款，歡迎推薦。
此種方法目前還只適用于Unity引擎開發(fā)的游戲，大家都在等UE4引擎給出和SteamVR底層的接口，而經(jīng)過嘗試可以在某些游戲上搞出來四分屏，換句話說，能成功弄出來四分屏也就離成功確實不遠(yuǎn)了，可惜的是，缺乏足夠技術(shù)能力的我們在底層接口這方面不得不繼續(xù)埋頭苦干，希望能找到業(yè)內(nèi)樂意合作的前輩們一起做一款集成傻瓜式的軟件，最大程度地解放MR技術(shù)在配置參數(shù)上的種種麻煩。除此之外，眼前的當(dāng)務(wù)之急是尋找一款比OBS更好用的專業(yè)軟件，在實時摳像和圖層疊加，分辨率損失上都可以做得更好。好吧，其實還缺一款支持4K分辨率的分屏顯示器……
目前很多游戲應(yīng)用內(nèi)置的虛擬攝像機(jī)并不支持移動，換句話說，我們真的很希望以后虛擬現(xiàn)實游戲應(yīng)用開發(fā)者可以直接在開發(fā)的時候就規(guī)劃好虛擬攝像機(jī)，甚至可以考慮直接內(nèi)置多機(jī)位的虛擬攝像機(jī)，方便在做MR視頻和直播的時候一鍵切換最優(yōu)質(zhì)的視野和觀看角度。
說到底還是窮，所以也就沒辦法談情懷，我們一方面希望Unity和UE4官方可以盡早開放MR底層的接口，也可以給廣大的虛擬現(xiàn)實內(nèi)容開發(fā)者給一些相關(guān)MR虛擬攝像機(jī)開發(fā)的DEMO工程文件學(xué)習(xí)，和很多行業(yè)內(nèi)第一批的吃螃蟹的從業(yè)者們一起把虛擬現(xiàn)實更早更全面完整的普及到尋常百姓家。
至于為何花這么大的精力去研究MR虛擬現(xiàn)實混合視頻的制作技術(shù)，懂的人應(yīng)該不言自明，尤其是那些已經(jīng)開了線下體驗館的老板們肯定更能明白其中的商業(yè)價值，除了可以節(jié)省每個新玩家的教學(xué)時間外，也可以給路過的旁觀者一個很好的實時演示畫面，讓他們看到后就明白這群戴著眼鏡、拿著手柄走來走去的人到底在干嗎？
除此之外幫各種豐富的行業(yè)商業(yè)應(yīng)用帶來更多新的可能，比如老師在虛擬內(nèi)容環(huán)境里的真人教學(xué)，多人身臨其境的互動展示，科普內(nèi)容等行業(yè)應(yīng)用的展現(xiàn)方式會更友好。
當(dāng)然目前最能短平快賺錢的無非還是直播領(lǐng)域和Steam、Viveport等分發(fā)平臺上的游戲介紹視頻制作業(yè)務(wù)，畢竟作為從業(yè)者我們有責(zé)任要給那些玩膩了山寨眼鏡盒子后吐槽虛擬現(xiàn)實無用的他們一個看得見的理由，通過大量優(yōu)質(zhì)的玩家自制MR視頻試圖去說服那些悲觀者去購買一款真正的虛擬現(xiàn)實設(shè)備，去體驗真正的虛擬現(xiàn)實，而不是幾百塊的山寨盒子。
最后想說，作為國內(nèi)最早從業(yè)虛擬現(xiàn)實的行業(yè)從業(yè)者，我們應(yīng)該抱團(tuán)成長，把這個市場做的足夠大，把虛擬現(xiàn)實給圈內(nèi)人帶來的驚喜讓更多行外的朋友們實實在在的了解。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
