4
| 本文作者： 劉芳平 | 2016-12-06 20:50 |
騰訊AR研究員劉驍
12月6日，SIGGRAPH Asia 2016正在澳門舉行，今年有相當一部分內(nèi)容都與VR/AR有關。今天，在騰訊優(yōu)圖實驗室、清華大學-騰訊聯(lián)合實驗室以及騰訊AI Lab聯(lián)合舉行的一場分享會議中，來自騰訊的劉驍首次介紹了騰訊“QAR開放平臺”，一個增強現(xiàn)實平臺。
在騰訊從事AR研究超過3年的劉驍告訴雷鋒網(wǎng)，該平臺目前還沒有對外推出，預計會在明年隨其它產(chǎn)品一并發(fā)布。
以下內(nèi)容整理自劉驍?shù)腒eynote演講。
近些年AR領域越來越火，特別是在廣告和游戲等領域。當前的AR可以分為兩種：一種是移動AR，另一種是頭戴顯示器。由于它們使用的傳感器不同，通常其追蹤技術也不同。
對于希望開發(fā)AR應用的開發(fā)者來說，目前比較流行的AR SDK有Vuforia、ARToolkit、Metaio和Wikitude。而app開發(fā)者遇到的問題是：
1、一些強大的API對入門開發(fā)者來說太難了；
2、對輕量級App來說過重；
3、模型渲染需要額外工作；
4、建立識別服務需要額外的工作；
5、一些前沿的功能沒有包括進來：SLAM，室外臉部AR等等。
QAR=Quick+AR，其目標是構(gòu)建易用、輕型、一站式、多特性并且免費的AR SDK，開發(fā)者只需要3行代碼就能為自己的App加入騰訊的AR模塊功能。
對“Quick”的定義：
易用：容易使用，代碼少；
輕型：輕量；
一站式：包含識別服務、模型存儲；
多特性：包含2D/3D Markers、SLAM、Face AR、Handy AR等功能；
免費。
現(xiàn)場視頻演示了四個Demo，分別是：The Smurfs 2和NARUTO的3D動畫Demo，The Avengers AR預告片Demo，以及和真實3D模型合影的AR相機Demo。
首先，我們建立了一個AR網(wǎng)絡服務器，用于圖像隊列和模型管理（Image Queue and Model Management）。用戶與AR數(shù)據(jù)庫的交互分兩步，首先是上傳Marker圖像到服務器，然后服務器會對其進行識別，并將AR模型調(diào)整后與之匹配，然后進行顯示。整個過程非常迅速，且支持多用戶和巨大用戶規(guī)模，每個用戶有自己的數(shù)據(jù)庫。
圖像和目標檢索方面，我們使用了CDVS（Compact Descriptors for Visual Search）算法。
探測追蹤是AR技術里的核心，在探測方面，我們使用了ORB探測器，基于一般采用詞集（bags of words）方法的搜索，針對二維圖像使用Homography，三維圖像則是PnP+RANSAC。這使得我們在移動平臺上支持低于1000個目標的檢索。
下面這張圖是我們追蹤方案的技術實現(xiàn)過程，我們使用基于SLAM的追蹤技術，因為希望同時支持目標和場景追蹤，所以我們也要做Mapping。
在模型渲染方面我們使用了基于Open GL ES的輕量級引擎，Android只需66kb，iOS為140kb。同時擁有很高的渲染速度，在低端的Android手機上小于1.5ms。
對于建筑、辦公場所等地，我們有不需要Marker點的SLAM追蹤技術。同時，我們采用了Kalman過濾器將IMU和相機的數(shù)據(jù)融合到一起，提供快速和穩(wěn)定的追蹤。
QAR還沒有對外發(fā)布，但騰訊內(nèi)部已經(jīng)有一些應用對這個平臺非常感興趣了，下面就分享一些應用場景。
QAR應用：
1、微信電影票；
2、RTX+Tencent Explorer；
3、QQ手機瀏覽器；
4、KM
5、微信公開課；
6、微信掃一掃；
7、手機管家；
8、應用寶。
以微信電影票為例，用戶可以在App里打開攝像頭對準海報，比如熱門電影《天將雄師》，之后3D的成龍就會跳出來，用戶可以和他合影交分享到朋友圈。
目前我們正與內(nèi)部許多應用一起探索AR的應用場景，正在合作的項目包括：RTX+Tencent Explorer、微信、QQ瀏覽器、手機管家和應用寶。
除了已有的目標追蹤功能，未來我們還將在QAR SDK中加入另外三項功能：Face AR、Handy AR和Scene AR。
除了針對App開發(fā)者，我們還將為網(wǎng)頁開發(fā)者推出H5開放平臺。再往后，我們希望對各種頭戴顯示器進行支持，包括HoloLens、Meta等。
開發(fā)者若想了解QAR，可以訪問www.aropen.com。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
