不久前，在京東“天工計(jì)劃 2.0 年度盛典”上，作為產(chǎn)業(yè)聯(lián)盟合作伙伴，uSens凌感科技帶去了他們針對(duì)移動(dòng)端設(shè)備推出的 AR 解決方案——基于單目 RGB 攝像頭，并結(jié)合 IMU 的 AR 解決方案。

今年 6 月，蘋果在 WWDC 大會(huì)上推出 ARKit 開發(fā)平臺(tái)，毫無(wú)疑問(wèn)成為 2017 年 AR/VR 圈的頭號(hào)大事件，緊跟著 8 月份，谷歌推出功能類似的 ARCore 平臺(tái)，兩家大廠出手，這也促使后半年市場(chǎng)上出現(xiàn)了不少用手機(jī)“掃一掃”的 AR 功能和應(yīng)用。

不過(guò)，ARKit 主要針對(duì) iOS 系統(tǒng)用戶，ARCore 目前還只支持 Pixel 和 Pixel XL，以及三星 Galaxy S8，能完全支持兩者的還只是高端設(shè)備。

 uSens 推出 AR 移動(dòng)端方案，正是因?yàn)榭吹搅?Android 中低端設(shè)備的需求。

ARCore 官網(wǎng)宣傳效果圖

雷鋒網(wǎng)曾發(fā)文《大神揭秘：蘋果 ARKit 為什么碾壓對(duì)手？》，大神 Matt Miesnieks 表示，蘋果 ARKit 的一大厲害之處是，只通過(guò)手機(jī)的單目攝像頭，結(jié)合 IMU，在智能手機(jī)上實(shí)現(xiàn) SLAM 技術(shù)。谷歌早先也有 Tango，采用相似的技術(shù)原理。從本質(zhì)上看，uSens 此次發(fā)布的技術(shù)方案跟上述兩家大廠是一致的。

2016 年 8 月，uSens 發(fā)布了手勢(shì)識(shí)別模組 Fingo，基于兩個(gè)紅外攝像頭，可對(duì)雙手實(shí)現(xiàn) 26 自由度追蹤，以及基于 marker 的位置追蹤。當(dāng)時(shí)一共發(fā)布了三個(gè)版本，除了基礎(chǔ)版，Color Fingo 采用兩個(gè) RGB 攝像頭，還增加了 Inside-Out 追蹤，以及 AR、VR 場(chǎng)景切換，更高版本的 Power Fingo 集成了四個(gè)攝像頭（2 紅外+ 2 RGB），并加入單獨(dú)的處理單元。

對(duì)現(xiàn)在推出的移動(dòng)端 AR 方案，uSens 早先有一定的技術(shù)積累。今年 7 月份時(shí)，他們發(fā)布了一段視頻，展示了在三星 S7 上的 SLAM 效果，但該視頻還只是在虛擬背景下的效果。另外，我們也看到，VR 頭顯的 Inside-Out 方案，配備的也是雙目攝像頭方案。

盡管對(duì)于 SLAM 技術(shù)，AR 和 VR 有相似之處，但從雙目到單目，從專門的模組到支持移動(dòng)設(shè)備，這中間還是有很多不同。尤其是 VR 和 AR 對(duì) SLAM 實(shí)現(xiàn)效果的要求不一樣，uSens 技術(shù)副總裁、中國(guó)研發(fā)中心主任馬賡宇解釋道，

“VR 應(yīng)用對(duì)精度要求很高，如果頭部不動(dòng)的話，識(shí)別結(jié)果有 1 毫米的抖動(dòng)，就會(huì)感覺(jué)三維物體的晃動(dòng)。同時(shí)，VR 設(shè)備對(duì)延遲要求很高，從圖像采集到處理完成，要控制在 20ms 以內(nèi)。所以，必須用專門的攝像頭硬件，以保證整個(gè)流程在 20ms 內(nèi)完成。

而 AR 應(yīng)用精度的要求不那么高，只要圖像和虛擬物體是一起顯示，而且圖像處估計(jì)的位置準(zhǔn)確，5 毫米的誤差也是可以接受的；對(duì)延遲的要求也不大，即使圖像傳輸有 100ms 的延遲，顯示時(shí)圖像和虛擬物體顯示一致就行。硬件上，AR 不能要求太高的硬件，手機(jī)的攝像頭采集和傳輸?shù)难舆t比較大，主要是采集的延遲大，大約要 30ms，手機(jī)的 IMU 速率和傳感器都比 VR 設(shè)備要差。”

Fingo 模組現(xiàn)在能實(shí)現(xiàn)雙手識(shí)別

從原先的 Fingo 模塊到移動(dòng)端方案，他們?cè)鰷p了一些模塊，“如原來(lái)針對(duì) VR 設(shè)備，我們?cè)O(shè)計(jì)的是雙目攝像頭，全局快門，手機(jī)只有單目，我們把雙目匹配的模塊去掉了，添加了一些針對(duì)手機(jī)卷簾快門的處理模塊”。

與 ARKit 和 ARCore 可支持的功能相比，uSens 的 AR 方案主要包括 SLAM、手勢(shì)識(shí)別和人臉跟蹤。

對(duì)移動(dòng)端使用的配置要求包括以下三點(diǎn)：

• IMU，至少具備 accelerator、gyroscope 頻率要求在 100HZ 以上。

• Android5.0 以上系統(tǒng)版本,需要支持 Camera2 的相關(guān)接口

• Camera 和 IMU 的 timestamp 需要同步 

馬賡宇用一款成本價(jià) 500 塊的手機(jī)，向雷鋒網(wǎng)演示了他們的 AR 方案。跟 ARKit 應(yīng)用類似，開啟應(yīng)用后，程序會(huì)先檢測(cè)一個(gè)平面，之后我們可將虛擬物體疊加在真實(shí)的桌面上。

成本價(jià) 500 塊手機(jī)上的 AR 效果

他透露，剛開始他們用三星 S8 測(cè)試，AR 功能會(huì)占到一半的 CPU，后來(lái)經(jīng)過(guò)優(yōu)化“S8 只占到 3%-4% 的 CPU。在成本 500 塊的手機(jī)上，大概占 15% 的 CPU”。

在《大神解讀：谷歌 ARCore 就是低配版 Tango，它比蘋果 ARKit 好在哪？》一文中，Matt 大神談到手機(jī)傳感器的標(biāo)定問(wèn)題，“智能機(jī)的 IMU 在工廠中只在單一溫度下進(jìn)行標(biāo)定。這意味著 IMU 硬件在某一指定的溫度下，誤差被調(diào)節(jié)到最低。但當(dāng)手機(jī)發(fā)熱的時(shí)候，IMU 就不會(huì)那樣準(zhǔn)確。”

為了適配中低端移動(dòng)設(shè)備，uSens 也在做對(duì)手機(jī)標(biāo)定的事情，詳細(xì)了解手機(jī) IMU 的噪聲，進(jìn)行算法定制。目前，他們正在給展訊 11 月發(fā)布的 SC9853 芯片適配，后者一直主打中低端手機(jī)市場(chǎng)，此前展訊前 CEＯ 李力游曾公開表示 2016 年的出貨量達(dá)到 6 億 7000 萬(wàn)套，大概占全球的 27%，聯(lián)發(fā)科占 28%，高通占 32%。

uSens 的工作人員向雷鋒網(wǎng)透露，他們?yōu)檎褂嵾m配包括 9853 在內(nèi)的多款芯片，明年出貨量預(yù)計(jì)上億萬(wàn)臺(tái)，而對(duì)于像華為、小米這些擁有自研芯片的手機(jī)廠商，他們也在接觸，但是否合作還未最終決定。

馬賡宇也坦言，對(duì)于中低端機(jī)，像光照這些效果會(huì)弱化，手勢(shì)識(shí)別和人臉跟蹤會(huì)做些取舍，精度上會(huì)稍遜于谷歌 ARCore，但能適配更多的中低端機(jī)型。

目前，阿里、騰訊、百度等都推出了 AR 可開放平臺(tái)，但馬賡宇表示，打造生態(tài)這些大廠比較有優(yōu)勢(shì)，而他們的優(yōu)勢(shì)是技術(shù)。他們確定了三個(gè)主要的商業(yè)模式：一是與手機(jī)廠商合作，提供算法，前裝內(nèi)置，適配硬件廠商 Camera 及系統(tǒng)；二是 APP 應(yīng)用，與不同領(lǐng)域應(yīng)用 APP根據(jù)場(chǎng)景需求進(jìn)行適配；三是定制合作，根據(jù)客戶需求靈活定制方案，聯(lián)合開發(fā)。

在即將過(guò)去的 2017 年，手勢(shì)識(shí)別方面，uSens 通過(guò)深度學(xué)習(xí)實(shí)現(xiàn)了雙手識(shí)別，尤其是當(dāng)雙手重疊在一起時(shí)，如何識(shí)別出左右手分別是哪五個(gè)手指，同時(shí)跟一些 AR/VR 頭顯廠商達(dá)成合作如臺(tái)灣 AR 頭顯廠商 LEAPSY、Pico 小鳥看看、HTC，明年有望出現(xiàn)一些內(nèi)置手勢(shì)識(shí)別功能的產(chǎn)品。移動(dòng)端 SLAM 方面，他們已經(jīng)開始跟手機(jī)廠商合作，相信明年我們會(huì)在手機(jī)上使用到更多帶有 AR 功能的應(yīng)用，更多的用戶也有望吸引更多的 AR 開發(fā)者。

對(duì)于即將到來(lái)的 2018 年，uSens 有可能在 2018 年第一季度前完成 Pre-B 輪融資，技術(shù)落地，場(chǎng)景化和商業(yè)化將是他們的重點(diǎn)。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。