0
去年十月,蘋果推出了配有LiDAR(激光雷達(dá))的iPhone 12 Pro,首次將dToF技術(shù)用到手機設(shè)備中,通過激光觸及物體后反射回來所用的時間繪制出使用者所處空間的深度圖,同時在也能讓AR效果更加逼真,打通真實與虛擬的交接,置身于室內(nèi)就能感受逼真的雨林。
這不是ToF技術(shù)與移動設(shè)備的第一次結(jié)合,蘋果在去年3月份發(fā)布的iPad Pro中就已經(jīng)用到ToF技術(shù),國內(nèi)也有不少手機廠商讓ToF上手機,為此還有著名的小米榮耀ToF之爭。
需要注意的是,雖然同為ToF,但國內(nèi)幾乎所有的旗艦手機采用的是iToF,還未用上iPhone 12 Pro所采用的dToF技術(shù)。
不過,在今年的MWC大會的最后一天,高性能傳感器解決方案供應(yīng)商艾邁斯半導(dǎo)體與ArcSoft合作,發(fā)布了針對移動設(shè)備后置3D dToF傳感的整套解決方案,有望在2021年底讓安卓手機后置也裝上dToF傳感器。
dToF帶來更加沉浸式AR體驗
一般而言, 3D成像傳感技術(shù)可以分為雙目測距、結(jié)構(gòu)光和ToF三類,三類技術(shù)因各自的特點適用于不同的場景。
雙目測距模仿人眼,將兩個2D的傳感器組合在一起,利用相似三角形原理計算出被攝物體到相機的距離,原理簡單但在實際使用中面臨著計算量大的問題,其測量精度會隨著測量距離的增加而下降,因此適用于中近距離的場景。
雙目測距計算量大的問題可以采用算法加ASIC芯片的方法解決,但會增加額外的硬件成本,因此就有了升級優(yōu)化的主動雙目視覺技術(shù)——結(jié)構(gòu)光方案。
結(jié)構(gòu)光方案是將已知的結(jié)構(gòu)化圖案投影到被觀測的物體上,再根據(jù)投影結(jié)構(gòu)化圖案的幾何形狀和拍攝距離發(fā)生形變,紅外攝像頭觀測到圖像與原始圖案的形變時,就能得到圖案像素的視差計算深度。
此前iPhone X的前置攝像頭就采用了結(jié)構(gòu)光技術(shù),通過紅外光將大約3萬個點陣投射到物體上,用數(shù)量龐大的點陣得到深度信息,精度高但同樣是有效距離有限,有時也面臨深度突變數(shù)據(jù)缺失的情況,因此更適合手機前攝的刷臉支付。
如果說雙目和結(jié)構(gòu)光適用于距離較近的場景,那么ToF方案則適用于中遠(yuǎn)距離的場景。
艾邁斯半導(dǎo)體3D產(chǎn)品線高級市場經(jīng)理Sarah Cheng表示:“dToF的精度取決于其TDC采樣的時間,相比于雙目和結(jié)構(gòu)光方案,在精度上不會隨著距離的增長而顯著降低,所以ToF技術(shù)在不同距離的誤差相對雙目技術(shù)和結(jié)構(gòu)光技術(shù)更加穩(wěn)定,在遠(yuǎn)距離也有更好的精度。”
這意味著在三種3D傳感技術(shù)中,dToF技術(shù)最適合用在手機后置。
后置3D用例
不過,ToF技術(shù)也分為iToF和dToF。其中iToF通過發(fā)射特定頻率的調(diào)制光,檢測反射調(diào)制光與發(fā)射調(diào)制光之間的相位差,進(jìn)而測量飛行距離。dToF則是直接向測量物體發(fā)射一個光脈沖,然后測量反射光脈沖與發(fā)射光脈沖之間的時間間隔,獲得飛行時間,進(jìn)而得知待測物體的深度。哪一種技術(shù)更加貼近未來智能手機的發(fā)展?
艾邁斯半導(dǎo)體高級副總裁陳平路認(rèn)為,所有人工智能的演進(jìn)都有離不開數(shù)據(jù)的采集與傳輸,都離不開傳感器,5G、AR/VR都是大方向。也就是說,作為體量最大的智能設(shè)備之一,未來的智能手機需要支持更加沉浸的AR/VR技術(shù)。
dToF與iToF特性對比
Sarah Cheng表示,支持更加沉浸手機AR體驗的3D技術(shù)需要滿足三點:
首先需要高質(zhì)量的深度圖。在有用的距離和環(huán)境光范圍內(nèi)提供高精度、低噪聲、高可信度的深度信息是沉浸式AR的基礎(chǔ)。
其次低功耗運行對手機應(yīng)用尤為重要,在保證連續(xù)操作的同時需要確保正常的電池運行時間。
再次需要穩(wěn)定的幀屏以便3D攝像頭與其他相機的圖像融合,同時減少空間重建的時間。
Sarah Cheng另外指出,為減少或避免重建過高的時間和功耗,日常所用到的分辨率并不需要特別高,而低分辨率的弱勢也可以通過幀累積的方式進(jìn)行補償。
比較iToF和dToF,iToF在實際應(yīng)用中面臨諸多挑戰(zhàn),例如復(fù)雜多變的真實環(huán)境帶來大量的干擾與噪聲、復(fù)雜環(huán)境中的漫反射甚至鏡面反射帶來的多徑干擾嚴(yán)重影響3D重建的效果、以及iToF的遠(yuǎn)距離與高精度采用泛光反射的原理下成為一對難以調(diào)和的矛盾。
反觀dToF,無論是精度距離還是功耗和抗干擾能力,都明顯優(yōu)于iToF,另外在其并不占優(yōu)勢的分辨率上,并不是實現(xiàn)更加沉浸式AR的關(guān)鍵。
因此,在目前已有的幾種3D視覺技術(shù)中,dToF更能帶來沉浸式的手機AR體驗。
艾邁斯半導(dǎo)體打響安卓陣營dToF第一槍
既然dToF是更好的選擇,為何大多數(shù)安卓手機還停留在iToF上甚至棄用ToF技術(shù)?
Sarah Cheng認(rèn)為,ToF本身的成本壓力以及原本的iToF帶給用戶有限的效益,降低了市場對ToF技術(shù)的接受度,因此才有不少手機廠商商用ToF之后又棄用。
Sarah Cheng還指出,dToF的技術(shù)成熟面臨著一系列的挑戰(zhàn),它需要在芯片設(shè)計、系統(tǒng)設(shè)計、制造工藝等方面全面突破,才能正在實現(xiàn)技術(shù)承諾的優(yōu)勢,并實現(xiàn)在消費場景的普及,也正因如此,至今仍然沒有安卓手機廠商可以在其手機平臺上搭載3D dToF技術(shù)。
艾邁斯半導(dǎo)體大中華區(qū)應(yīng)用總監(jiān)徐冰認(rèn)為,大多數(shù)安卓手機不選用dToF的另一個重要原因是dToF的門檻高,可供手機廠商選擇的方案少,因此不如不用。
不過,這一現(xiàn)狀正在悄然發(fā)生變化。
在今年MWC大會的最后一天,艾邁斯半導(dǎo)體憑借其獨有的在各個構(gòu)件模塊的差異化技術(shù),從光學(xué)器件到VCSEL再到自主封裝、人眼安全,以及其自主系統(tǒng)設(shè)計和算法,推出了自主研發(fā)的完整的3D dToF解決方案。
艾邁斯半導(dǎo)體官方表示,這套方案為手機廠商掃除其面臨的一系列技術(shù)挑戰(zhàn),可以在最短的時間內(nèi)推出最優(yōu)秀的3D技術(shù)手機,手機制造商在開發(fā)新的移動應(yīng)用的同時,也可以提供更優(yōu)化的AR用戶體驗。
艾邁斯半導(dǎo)體dToF解決方案圖案投影
根據(jù)艾邁斯半導(dǎo)體的介紹,其dToF解決方案差異化優(yōu)勢明顯,主要體現(xiàn)在三方面:
在所有光強條件下(強光,弱光,室內(nèi),室外,較復(fù)雜的環(huán)境光等),在恒定分辨率下可實現(xiàn)較大的距離檢測范圍和較高的(不變的)距離檢測精度;
高環(huán)境光抗擾性,其峰值功率高出市面上已有的3D ToF解決方案20多倍,在強光下也有能保持高精度和高性能;
針對移動設(shè)備優(yōu)化最低平均功耗。
在發(fā)布會上,艾邁斯半導(dǎo)體展示了其dToF應(yīng)用系統(tǒng)搭載虹軟中間件和軟件算法的樣品,從視頻中能夠看到,這套應(yīng)用系統(tǒng)在3D渲染時速度比iToF更快且覆蓋范圍更廣,遇到墻面時網(wǎng)格深度信息的精度更高,在細(xì)節(jié)處理方面誤差小。
ams dToF解決方案比iToF渲染范圍更廣
Sarah Cheng 表示:“艾邁斯半導(dǎo)體作為市面上現(xiàn)有的唯一的dToF全套系統(tǒng)供應(yīng)商,其完整的3D dToF技術(shù)堆??梢宰畲笙薅鹊亟档褪謾C廠商集成的復(fù)雜度和工作量,同時達(dá)到系統(tǒng)最優(yōu)化。同時跟系統(tǒng)在靈敏度、功耗、功率和分辨率上都優(yōu)于市面上同類技術(shù)?!?/strong>
艾邁斯半導(dǎo)體dToF解決方案3D渲染效果
安卓手機有望在2021年底裝上dToF
艾邁斯半導(dǎo)體在發(fā)布會上表示,在產(chǎn)品逐漸走向量產(chǎn)化的同時,艾邁斯半導(dǎo)體也正在與成熟生態(tài)系統(tǒng)廠商協(xié)作,包括與基于高通平臺的安卓開發(fā)商以及國內(nèi)知名商虹軟科技合作,提供最佳AR體驗的dToF解決方案,計劃于2021年底開始投產(chǎn),數(shù)量接近百萬級別。
而隨著dToF解決方案的投產(chǎn),VCSEL效率或者SPAD效率的提高,dToF的價格將逐漸向iToF靠近,這就意味安卓手機有望在2021年底用上dToF,從攝像頭方面追趕iPhone,提升其在遠(yuǎn)距離、精度以及低功耗方面的實力。
不過,dToF技術(shù)在安卓手機上的大規(guī)模應(yīng)用仍需一段時間的市場檢驗,也許安卓手機傳感器先追趕上iPhone,又或者是iPhone再次先一步在dToF技術(shù)上取得創(chuàng)新。
文中圖片源自艾邁斯半導(dǎo)體官方
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。