0
| 本文作者： 李詩(shī) | 2018-08-10 17:35 |
2018年，3D視覺成為計(jì)算機(jī)視覺領(lǐng)域的一大風(fēng)口。
2017年，蘋果率先推出了具備3D視覺功能的iPhone X，其“劉海屏”成為眾多廠商的仿效對(duì)象。而在今年9月，蘋果將一口氣發(fā)布三款帶有“劉海屏”的手機(jī)。同時(shí)，據(jù)機(jī)構(gòu)預(yù)測(cè)，2020年全球智能手機(jī)端3D視覺硬件市場(chǎng)規(guī)模將到達(dá)99.25億美元，其中蘋果手機(jī)為31.48億美元，安卓手機(jī)為67.77億美元。
iPhone有自己搭建起來(lái)的軟硬件生態(tài)系統(tǒng)，以此來(lái)支持其3D視覺，那么，安卓手機(jī)怎么辦呢？3D視覺的機(jī)遇和挑戰(zhàn)還有哪些？
8月8日，曠視科技聯(lián)合3D產(chǎn)業(yè)中4家企業(yè)舉辦了以“實(shí)感世界——真3D就現(xiàn)在”為主題的研討會(huì)，對(duì)以上問題進(jìn)行了深入的探討。
3D視覺智能手機(jī)的風(fēng)，無(wú)疑是iPhone刮起來(lái)的。
2017年9月，蘋果發(fā)布iPhone X,最大的亮點(diǎn)在于Face ID，被吐槽最多的“劉海屏”（原深度攝像頭系統(tǒng)）正是用來(lái)實(shí)現(xiàn)這一功能。在“劉?！眳^(qū)域，蘋果塞進(jìn)了 8 顆傳感器，除了麥克風(fēng)、揚(yáng)聲器、前置攝像頭、環(huán)境光傳感器、距離感應(yīng)器等我們熟知的部分，還集成了紅外鏡頭、泛光感應(yīng)元件（Flood illuminator）、點(diǎn)陣投影器。感應(yīng)器會(huì)投射人眼看不見的光，并讀取用戶的臉部 3D 幾何結(jié)構(gòu)圖。蘋果甚至為此開發(fā)了一個(gè)神經(jīng)引擎（Neural Engine），用神經(jīng)網(wǎng)絡(luò)處理圖像和點(diǎn)陣模式，來(lái)建立人臉數(shù)學(xué)模型。
原深度攝像頭除了可以做Face ID,還可以實(shí)現(xiàn)臉部動(dòng)態(tài)AR貼紙，以及動(dòng)態(tài)追蹤人臉表情的Animoji等。
這個(gè)原深度攝像頭包含了從基層芯片、算法到應(yīng)用的全部革新。蘋果為了做這個(gè)原深度攝像頭曾經(jīng)花了十幾億美金買了十幾家公司，包括人臉識(shí)別、傳感器、算法等公司。在生產(chǎn)過程中也遇到了很多的難題，雷鋒網(wǎng)了解到，2016年時(shí)蘋果就做了四萬(wàn)臺(tái)iPhone X，但是實(shí)際落地的時(shí)候發(fā)生了很大的問題，所以硬生生拖到了2017年才發(fā)布。
蘋果在前置的原深度攝像頭領(lǐng)跑了所有手機(jī)廠商，ARKit也完全解鎖了后置攝像頭的潛力，甚至超過了早幾年就開始布局手機(jī)AR的谷歌。蘋果能做成ARKit的最大的優(yōu)勢(shì)自然是：自己做硬件也自己做軟件，能夠快速地進(jìn)行軟硬件的適配。
國(guó)內(nèi)廠商做3D視覺則更沒法依賴谷歌，需要自己探索。2018年6月19，OPPO發(fā)布OPPO Find X機(jī)型，搭載了由曠視提供的3D結(jié)構(gòu)光技術(shù)；2018年6月27日，vivo在MDC發(fā)布TOF 3D超感應(yīng)技術(shù)，由曠視科技提供的3D人臉建模算法支持。目前，曠視和更多廠商達(dá)成了合作。
吳文昊回想到為vivo提供解決方案的經(jīng)歷：我們最早接觸的是vivo ToF這個(gè)項(xiàng)目，當(dāng)時(shí)面臨了很多挑戰(zhàn)，首先，這其中的生態(tài)鏈和供應(yīng)鏈確實(shí)太復(fù)雜了，項(xiàng)目開會(huì)的時(shí)候有來(lái)自歐洲、資本、美國(guó)10多家廠商，涵蓋傳感器、模組、光電、芯片，做軟件的不懂硬件，做硬件的不懂軟件，如何把整個(gè)產(chǎn)業(yè)鏈串起來(lái)是最大的問題。
在這個(gè)過程中我們?cè)絹?lái)越深刻認(rèn)識(shí)到，最后真正的落地一定是應(yīng)用去驅(qū)動(dòng)。拿刷臉支付舉例，應(yīng)用場(chǎng)景決定了識(shí)別的精度、活體攻擊的能力防范等。所以算法和軟件商其實(shí)是這個(gè)價(jià)值鏈的最上端，他們可以從上往下去驅(qū)動(dòng)很多細(xì)節(jié)。
吳文昊介紹到，“手機(jī)3D視覺領(lǐng)域雖然已有多種類型的應(yīng)用案例出來(lái)，但該領(lǐng)域包含算法和模組的軟硬一體整體解決方案仍是缺位的，曠視科技正在嘗試一種從上往下的整合方案?！?/p>
由此，曠視發(fā)布了“軟硬一體移動(dòng)端智能3D產(chǎn)品解決方案”。包括從3D應(yīng)用到AI算法、解決方案、傳感器、芯片等。
3D應(yīng)用層：人臉識(shí)別解鎖、3D人像光效、3D美顏、3D整形、AR游戲、虛擬試穿等；
3D算法：MegBrain深度學(xué)習(xí)引擎、3D識(shí)別/重建算法、人臉識(shí)別、活體檢測(cè)、注意力檢測(cè)追蹤等、人像3D建模、人體3D建模。在這個(gè)領(lǐng)域與Bellus 3D、Altizure等企業(yè)聯(lián)合研發(fā)；
解決方案：根據(jù)不同應(yīng)用場(chǎng)景中對(duì)深度計(jì)算、深度修復(fù)、深度優(yōu)化、標(biāo)定、畸變校正等能力的需求，設(shè)計(jì)基于雙攝、三攝、深攝的解決方案；
硬件模組：攝像頭、傳感器、芯片等硬件模組的研發(fā)，曠視聯(lián)合艾邁斯半導(dǎo)體等3D硬件模組廠商展開合作，此外，還將聯(lián)合主要芯片廠商合作研發(fā)算法適配性更強(qiáng)的芯片。
此前，在印象中，曠視更多是一家計(jì)算機(jī)視覺的算法公司，而要做軟硬件一體的整合商，曠視如何能形成自己的壁壘呢？
吳文昊告訴雷鋒網(wǎng)，首先是公司的定位問題，你想不想從一家算法/軟件廠商成為一個(gè)軟硬一體的解決方案提供商，愿不愿意去做這個(gè)改變，其次才是有沒有決心找到合適的合作伙伴，把這四層真正垂直整合起來(lái)。
曠視要做軟硬一體的整合方案，為安卓陣營(yíng)提供iPhone的3D視覺能力。但是，我們是否就只是為了造出一個(gè)iPhone X？這個(gè)領(lǐng)域的風(fēng)口剛剛成型，有哪些機(jī)遇和挑戰(zhàn)呢？
現(xiàn)場(chǎng)參加討論的有四家3D視覺企業(yè)：Bellus3D、艾邁斯、珠科創(chuàng)新、疊境數(shù)字。Bellus3D是一家來(lái)自于美國(guó)硅谷的移動(dòng)端3D面部掃描企業(yè)，專注于為手機(jī)等移動(dòng)設(shè)備提供高解析度的3D人臉掃描、建模技術(shù)和產(chǎn)品；艾邁斯半導(dǎo)體是全球領(lǐng)先的先進(jìn)傳感器解決方案設(shè)計(jì)和制造商，有影像、光學(xué)、環(huán)境、音頻類四大傳感器，核心技術(shù)之一是VCSEL；Altizure由香港科技大學(xué)教授權(quán)龍創(chuàng)辦，致力于將二維圖片還原為三維模型的實(shí)景三維全自動(dòng)重建服務(wù)；疊境數(shù)字科技由麻省理工大學(xué)博士虞晶怡創(chuàng)立，建立了一套以光場(chǎng)采集、處理、顯示為核心解決方案。
這四家公司正涵蓋了曠視想要構(gòu)建的軟硬一體解決方案的四個(gè)層面，從硬件到軟件到應(yīng)用。
蘋果發(fā)布了iPhone X,耗資巨大，但是現(xiàn)在除了Face ID以外，還沒有別的殺手級(jí)產(chǎn)品。而吳文昊也一直強(qiáng)調(diào)，內(nèi)容和應(yīng)用會(huì)驅(qū)動(dòng)3D視覺的產(chǎn)業(yè)鏈條發(fā)展。
Bellus3D執(zhí)行總裁Eric Chen介紹了未來(lái)3D視覺可能的殺手級(jí)應(yīng)用，包括：
VR里的人臉建模，可以把真實(shí)的人臉放進(jìn)VR游戲里，提升沉浸感。
3D視覺幫助用戶選配眼鏡，根據(jù)人臉的情況做完全的定制化，以后用手機(jī)就能配眼鏡。
AR試妝、試穿。
吳文昊認(rèn)為新的殺手級(jí)應(yīng)用有三個(gè)層面：
新的硬件形態(tài)，手機(jī)已經(jīng)陪伴我們10多年，將來(lái)會(huì)有新的消費(fèi)電子產(chǎn)品出現(xiàn)，我認(rèn)為一定是以3D、AR為主要賣點(diǎn)的產(chǎn)品，這個(gè)離我們并不遙遠(yuǎn)。
3D一定要跟智能化結(jié)合起來(lái)，AI+3D一定是非常大的殺手級(jí)應(yīng)用場(chǎng)景?，F(xiàn)在已經(jīng)在做這樣的事情，像AI Camera拍張照片，我們識(shí)別理解這是藍(lán)天，這是草地。加上我們3D的物理信息，一定會(huì)做出非常好非?？岬呐恼招Ч?。
隨時(shí)隨地的產(chǎn)品，移動(dòng)互聯(lián)網(wǎng)展現(xiàn)了隨時(shí)隨地鏈接上網(wǎng)的魅力，激發(fā)了電商、O2O、共享單車，當(dāng)3D變得無(wú)處不在，我們可以隨時(shí)隨地對(duì)真實(shí)世界進(jìn)行建模，這是非?？岬囊患虑椤?/p>
在討論iPhone X時(shí)，大家提到的更多是前置攝像頭，因?yàn)槠浒l(fā)展要快一些，但是我們看到后置攝像頭也是未來(lái)的趨勢(shì)。疊境科技聯(lián)合創(chuàng)始人洪煦透露，目前有不少做后置攝像頭模組的廠商也找到疊境，我們現(xiàn)在跟曠視有合作，現(xiàn)在是秘密階段，但是很快會(huì)有應(yīng)用出來(lái)。
在后置攝像頭這塊，先驅(qū)自然是谷歌Tango，谷歌Tango配置了能繪制完整3D的硬件和軟件，可以精確描繪關(guān)于周圍環(huán)境的3D地圖，能讓移動(dòng)設(shè)備擁有和人類一樣的空間和運(yùn)動(dòng)感知能力。Tango開創(chuàng)了基于視覺的3D運(yùn)動(dòng)跟蹤和場(chǎng)景建模，谷歌為3D跟蹤和場(chǎng)景建模設(shè)計(jì)了傳感器和移動(dòng)計(jì)算平臺(tái)。
然而，想要搭載谷歌Tango這一套解決方案，每家OEM都需要進(jìn)行特定的傳感器校準(zhǔn)過程，會(huì)增加OEM廠商的成本，當(dāng)時(shí)的應(yīng)用也不成熟，使得不少?gòu)S商都拒絕了谷歌。（延伸閱讀：深度 | 手機(jī)AR，谷歌為何起了個(gè)大早，趕了個(gè)晚集）
目前，ARKit和ARCore已經(jīng)搭載于上億的智能手機(jī)上，AR應(yīng)用也越來(lái)越豐富，現(xiàn)在傳感器技術(shù)也更加成熟，大家都期待著搭載深度攝像頭的后置攝像頭出現(xiàn)，能夠更好的理解和感知環(huán)境，提供更逼真的AR效果。此前，雷鋒網(wǎng)曾獲悉華為不僅在做前置的深度攝像頭，也在致力于后置深度攝像頭。
不過，我們現(xiàn)在依然不明晰的是：什么樣的AR應(yīng)用，能夠促使大家認(rèn)為后置深度攝像頭是必不可缺的？谷歌Tango的主要應(yīng)用是解決室內(nèi)導(dǎo)航的問題，在室內(nèi)無(wú)法使用GPS的時(shí)候，不依靠任何外部設(shè)備，就能提供設(shè)備的定位。這，似乎不是剛需。
這一波的智能手機(jī)3D視覺風(fēng)口，受到了手機(jī)AR的影響，但是或許更深層次的是AI的發(fā)展。
權(quán)龍?jiān)诶卒h網(wǎng)舉辦的CCF-GAIR 2018大會(huì)上曾分享：計(jì)算機(jī)視覺下一步將走向三維重建。他談到：“當(dāng)下因?yàn)樯疃葘W(xué)習(xí)技術(shù)的發(fā)展，人工智能變得非?；馃?，計(jì)算機(jī)視覺作為人工智能的一個(gè)領(lǐng)域，也變得異?；馃帷２贿^目前計(jì)算機(jī)視覺的研究和應(yīng)用主要集中在‘識(shí)別’，‘識(shí)別’只是計(jì)算機(jī)視覺的一部分，如果要去做一些交互和感知，必須先恢復(fù)三維，所以在識(shí)別的基礎(chǔ)上，下一個(gè)層次必須走向‘三維重建’”
當(dāng)然，在3D視覺這個(gè)方面，深度學(xué)習(xí)會(huì)遭遇全新的挑戰(zhàn)，等待行業(yè)先行者迎擊。
相關(guān)文章：
蘋果iPhone X 發(fā)布，第一部人工智能意義上的手機(jī)
深度 | 手機(jī)AR，谷歌為何起了個(gè)大早卻趕了個(gè)晚集？
曠視科技首席科學(xué)家孫劍：如何打造云、端、芯上的視覺計(jì)算（含30張 PPT） | CCF-GAIR 2018
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
