我們與現(xiàn)實(shí)世界進(jìn)行交互的主要方式是手，我們與VR世界的交互同樣如此。

從最初級(jí)的手勢(shì)交互，例如英梅吉和 HoloLens 僅有固定幾個(gè)手勢(shì)，到追蹤用戶手指關(guān)節(jié)運(yùn)動(dòng)在虛擬空間中模擬整只手出來(lái)的Leap Motion、uSens，再到手拿手柄在虛擬空間里進(jìn)行交互的 Vive 手柄和 Touch，還有加入更多交互維度的產(chǎn)品，比如Dexmo和微軟都有研發(fā)的力反饋。

關(guān)于用戶的手與 VR 世界交互這塊幾乎所有VR公司都要涉及，當(dāng)下的手部交互存在哪些問(wèn)題？如何讓我們與VR世界的交互更加真實(shí)、自然？

本期公開(kāi)課我們邀請(qǐng)到了VR領(lǐng)域技術(shù)專家張夢(mèng)晗為大家解讀這些問(wèn)題。

嘉賓介紹

張夢(mèng)晗，男，VR領(lǐng)域技術(shù)專家，高級(jí)工程師。2012年至今從事VR/AR領(lǐng)域技術(shù)研發(fā)，目前聚焦在VR/AR交互領(lǐng)域進(jìn)行技術(shù)探索和研究。

以下內(nèi)容整理自公開(kāi)課。

當(dāng)下主流的VR交互方式

在回答這個(gè)問(wèn)題之前，我想先解釋下交互在AR&VR里面的意義。

現(xiàn)在的VR產(chǎn)品的產(chǎn)品形態(tài)逐漸趨同，世界上能提供合格屏幕、光學(xué)、芯片等等關(guān)鍵器件和材料的公司也就那么幾家，大廠進(jìn)來(lái)以后各種參考設(shè)計(jì)也越來(lái)越多，VR頭盔未來(lái)就是一個(gè)制造顯示器的活，能產(chǎn)生差異化的點(diǎn)越來(lái)越少了。

Microsoft Kinect

而目前大家都在VR交互方面下大功夫，短期來(lái)說(shuō)是產(chǎn)品本身的差異化需求，這不僅僅關(guān)系到用戶體驗(yàn)，還有內(nèi)容生態(tài)本身的原因。以Microsoft Kinect為例，基于體感交互設(shè)計(jì)開(kāi)發(fā)的游戲成為了事實(shí)上的平臺(tái)獨(dú)占游戲，并且成為很多人購(gòu)買(mǎi)Xbox的核心理由。

長(zhǎng)期來(lái)看，VR和AR設(shè)備在交互領(lǐng)域是相通的，而且目前的階段正是一個(gè)拓荒期：操作界面正在從二維平面轉(zhuǎn)移到三維空間，但是還沒(méi)有形成一個(gè)類似PC時(shí)代下鼠標(biāo)鍵盤(pán)操作界面這樣的大家公認(rèn)的交互范式，這樣的機(jī)會(huì)應(yīng)該說(shuō)是所有做人機(jī)交互的專業(yè)人士一輩子難得遇到的機(jī)會(huì)。

在這樣的背景下，我傾向于將VR&AR交互的范疇劃的大一些：

一類是大家普遍關(guān)注的由人主動(dòng)發(fā)起的交互動(dòng)作，比如手部交互、體感交互等等，這類交互往往發(fā)出的都是確定性的指令性信息，要求準(zhǔn)確達(dá)成某些特定的目的，也會(huì)耗費(fèi)最多的精力和體力。

還有一類則是由機(jī)器主動(dòng)發(fā)起的交互動(dòng)作，比如眼球跟蹤、腦電肌電、頭部位置跟蹤、表情識(shí)別等等，這類交互是機(jī)器來(lái)感知使用者的狀態(tài)來(lái)進(jìn)行交互，很多時(shí)候使用者自身不需要牽扯太多精力。

再有一類不能忽視的是機(jī)器對(duì)環(huán)境的感知交互，比如三維重建、情景感知、物體分割識(shí)別等等，很多時(shí)候尤其在AR中，只有先做好對(duì)外在環(huán)境的感知，人與機(jī)器之間的交互才能順暢。

這是我理解的交互范疇，帽子有點(diǎn)大蓋住的東西太多，但是今天我們還是集中于一個(gè)關(guān)鍵點(diǎn)，也就是手部交互來(lái)進(jìn)行探討。

VR手部交互的重要性

手對(duì)你有多重要，手部交互就有多重要。

除了嘴之外，手應(yīng)該是人日常最經(jīng)常使用的的信息輸出器官了，傳統(tǒng)的大部分交互接口也都是圍繞人手來(lái)設(shè)計(jì)，確定性高，兼容性好。

PC時(shí)代那么多交互范式，最后落到鼠標(biāo)鍵盤(pán)都是和手部相關(guān)。

當(dāng)然我們不能因此就說(shuō)只有手部交互才是VR&AR的未來(lái)，做好交互永遠(yuǎn)是一個(gè)綜合治理的過(guò)程。

而且隨著AI的發(fā)展，由機(jī)器發(fā)起的交互逐漸也可以實(shí)現(xiàn)確定性的指令判決了，那么手部交互的重要性可能會(huì)變?nèi)酢?/p>

游戲“光暈”圖，里面的士官長(zhǎng)可以直接和寄宿在腦中芯片的AI交互，這是比較理想化的情況

但是從現(xiàn)在開(kāi)始的相當(dāng)長(zhǎng)一段時(shí)間里，手部交互依然是最成熟的控制類人機(jī)交互方式，并且體驗(yàn)也遠(yuǎn)遠(yuǎn)沒(méi)到完美，值得投入完善。

VR手部輸入方式的種類

按我的區(qū)分方式就是裸手和非裸手兩類，根據(jù)產(chǎn)品形態(tài)和技術(shù)原理的不同又可以細(xì)分。

Google Project Soil 裸手交互

裸手就是不需要任何介質(zhì)的手部交互，比如Leap Motion基于計(jì)算機(jī)視覺(jué)的，Google Soli基于毫米波雷達(dá)的，還有一些基于超聲、紅外的解決方案，總的來(lái)說(shuō)基于視覺(jué)圖像處理的發(fā)展的最成熟，效果目前來(lái)說(shuō)也最好。

Oculus Touch

非裸手就是需要某種介質(zhì)的手部交互，常見(jiàn)的就是Daydream Controller、Oculus Touch這種3DoF或者6DoF手柄，還有比較多的就是各種各樣的數(shù)據(jù)手套，基于視覺(jué)、慣性、彎曲傳感器等等，總的來(lái)說(shuō)手柄還是接受程度最高的，但是現(xiàn)在的趨勢(shì)是手柄和手套會(huì)逐漸融合成一體，形成一個(gè)新形態(tài)的人機(jī)交互媒介。

諾亦騰全身動(dòng)捕套裝

在VR里，實(shí)際上裸手還是非裸手都有比較廣泛的應(yīng)用，而且相對(duì)來(lái)說(shuō)非裸手還有一定的優(yōu)勢(shì)：在VR下人主要和虛擬物體和環(huán)境交互，通過(guò)某個(gè)媒介能提高交互的真實(shí)感。

在AR里，因?yàn)槿瞬粌H僅要與虛擬物體交互同時(shí)也能看到現(xiàn)實(shí)場(chǎng)景和物體，所以裸手情況在AR中更多。

不同手部輸入方式的優(yōu)劣勢(shì)

評(píng)價(jià)某項(xiàng)技術(shù)優(yōu)劣勢(shì)有多種維度的考量，從產(chǎn)品角度成本和功耗就能干死絕大部分的交互方案，當(dāng)然目前我們還是希望能從體驗(yàn)的角度來(lái)進(jìn)行分析。

裸手的優(yōu)劣

按我之間的分類方法，我們先談?wù)劼闶值膬?yōu)劣： 

方便，你不用每天帶一個(gè)手套在手上，或者帶上頭盔四處亂摸找手柄；

如果不是要購(gòu)買(mǎi)獨(dú)立模組（用手機(jī)上的攝像頭）或者付高昂的授權(quán)費(fèi)用，裸手也會(huì)更便宜；

至于很多人所說(shuō)的裸手交互更自然更符合人的習(xí)慣，在VR下我不贊同，但是在AR或者M(jìn)R下大部分情況是對(duì)的。

劣勢(shì)就是：準(zhǔn)確性還不達(dá)標(biāo)，在VR環(huán)境下使用缺乏很多要素，這個(gè)我后面再細(xì)講。

非裸手的優(yōu)劣

準(zhǔn)確性好，你按一下就是一下，兩下就兩下，大部分時(shí)間不用擔(dān)心輸入錯(cuò)誤；

靠媒介可以提供反饋，這個(gè)在VR下很關(guān)鍵；

劣勢(shì)：不方便，走哪你都要想著帶；有學(xué)習(xí)成本，當(dāng)然也看UX設(shè)計(jì)的好壞；在AR和MR環(huán)境下會(huì)阻礙人與現(xiàn)實(shí)的交互，這個(gè)最致命。

總體來(lái)說(shuō)，裸手和非裸手的優(yōu)缺點(diǎn)是能夠互補(bǔ)的，所以在VR環(huán)境下這兩種手部交互會(huì)同時(shí)存在，而長(zhǎng)期來(lái)看，AR/MR的時(shí)代裸手會(huì)逐漸成為主流，或者我們能找到一個(gè)融合方案，我個(gè)人覺(jué)得這個(gè)是一個(gè)值得大家一起努力的方向。

為什么祼手交互沒(méi)有成為主流？

拋開(kāi)成本和功耗不談（其實(shí)這兩個(gè)是最要命的），就體驗(yàn)來(lái)說(shuō)根據(jù)上面我說(shuō)的優(yōu)劣勢(shì)來(lái)判斷你也能知道問(wèn)題所在的癥結(jié)了。

應(yīng)用于PC上的Leap Motion

Leap Motion這類手部跟蹤方案出現(xiàn)于PC時(shí)代的末期，目標(biāo)是替代鼠標(biāo)和鍵盤(pán)，結(jié)果大家也都看到了，因?yàn)镻C下的鼠標(biāo)鍵盤(pán)實(shí)際上已經(jīng)是公認(rèn)的范式，大家在使用過(guò)程中并沒(méi)有感覺(jué)有太多不便，就算不方便也習(xí)慣了，這就導(dǎo)致絕大部分人沒(méi)有接受一種新的PC交互方式的需求，做產(chǎn)品的都知道沒(méi)有需求意味著啥。

應(yīng)用于VR交互的Leap Motion

而VR興起了之后，裸手交互總算迎來(lái)了一個(gè)機(jī)遇，因?yàn)樵赩R下鼠標(biāo)鍵盤(pán)都不好用了，這下裸手交互總算是有需求了吧？事實(shí)上還是高興的有些早，因?yàn)檫@個(gè)時(shí)候和裸手競(jìng)爭(zhēng)的還有非裸手的手柄和觸摸板（參考EPSON BT200）。

EPSON BT200

華為VR頭盔的觸摸版

而和這些交互設(shè)備相比，裸手交互的優(yōu)勢(shì)也并不明顯：裸手交互在正確輸入前提下的確認(rèn)度低這個(gè)老大難問(wèn)題實(shí)際上一直沒(méi)有解決，就算有95%的確認(rèn)率，玩游戲的時(shí)候也是20次開(kāi)槍有一次啞火，而手柄在正確輸入下的確認(rèn)率毫無(wú)疑問(wèn)是接近100%的。

僅僅這一項(xiàng)就導(dǎo)致裸手還無(wú)法取代手柄這類交互設(shè)備，這就帶來(lái)了另一個(gè)更為關(guān)鍵的問(wèn)題：裸手交互的必要充分場(chǎng)景在哪里？這也是我一直在和很多做手勢(shì)交互的朋友們探討的問(wèn)題。

一項(xiàng)還不夠成熟的、不便宜的技術(shù)，如果想被廣泛的接受就必須有一個(gè)前提，我們要為它找到一個(gè)充分必要的場(chǎng)景，在這個(gè)場(chǎng)景下，它具有不可替代性，除了裸手沒(méi)有別的交互能做的更好，而如果這個(gè)場(chǎng)景是一個(gè)剛性場(chǎng)景，那么就算再不成熟也可以忍耐。

但是在VR下裸手交互還沒(méi)有找到那個(gè)場(chǎng)景，國(guó)內(nèi)有很多廠家用裸手交互來(lái)操作進(jìn)度條、暫停播放等等，這樣的操作我用手柄或者頭盔上的觸摸板可以更容易解決；還有描述車(chē)載家庭等場(chǎng)景下的裸手交互也是有問(wèn)題，在這些場(chǎng)景下語(yǔ)音可能更有優(yōu)勢(shì)（尤其是開(kāi)車(chē)，手不能離開(kāi)方向盤(pán)的）。

所以從手機(jī)時(shí)代直到VR，我覺(jué)得裸手交互都是很痛苦的，因?yàn)闆](méi)有實(shí)實(shí)在在的剛性需求，用戶和開(kāi)發(fā)者往往會(huì)被Leap Motion的酷炫所吸引，但這種沖動(dòng)式的熱情會(huì)很快被裸手的很多問(wèn)題所磨滅，所以我個(gè)人認(rèn)為最緊急的事情是找到裸手交互存在的充分必要場(chǎng)景，這樣大家就都能活下去。

而從VR到AR/MR，裸手交互的必要性才會(huì)越來(lái)越大，（當(dāng)然也要強(qiáng)調(diào)交互設(shè)計(jì)，Hololens的那種手勢(shì)就過(guò)于生硬，明顯是硬塞進(jìn)去的），我個(gè)人覺(jué)得這種充分必要的場(chǎng)景會(huì)在這個(gè)時(shí)間段出現(xiàn)，現(xiàn)在還是有些早。

為什么很多VR里的手顯得很假？

首先假不等于差，但是當(dāng)一個(gè)人覺(jué)得某件事物假，那么一定不是說(shuō)某一點(diǎn)出了問(wèn)題。

首先要說(shuō)在VR手部交互方面借助手柄在某些場(chǎng)景下反而更真實(shí)，很多第一人稱設(shè)計(jì)類游戲角色本身是一直手中有槍的，這種場(chǎng)景下拿一個(gè)手柄會(huì)比裸手更真實(shí)，目前也有一些依靠剪切力來(lái)模擬揮動(dòng)以及開(kāi)槍后坐力的方案，通過(guò)手柄媒介能做很多事情，更容易提升體驗(yàn)。

而如果我們希望在VR交互環(huán)境中是裸手操作，那么就會(huì)遇到更多顯得假的情況。首先強(qiáng)調(diào)的就是VR中需要的不是手勢(shì)識(shí)別（Gesture Recognition），而是手部跟蹤（Hand Tracking）。手勢(shì)識(shí)別和手部跟蹤估計(jì)是兩碼事，我們?cè)谌粘Ｉ钪杏玫绞謩?shì)的唯一場(chǎng)景就是打手語(yǔ)，所以你在VR環(huán)境中也用手勢(shì)來(lái)進(jìn)行操作是假的不能再假的事情，肯定會(huì)讓人別扭，這也是最容易出現(xiàn)的誤區(qū)。

而Hand Tracking雖然更符合人日常的交互習(xí)慣，我能看到整個(gè)手部模型并且能實(shí)時(shí)跟蹤（不管是有Bone還是僅僅是Tips和Palm），依然有很多顯得假的情況：估計(jì)的不準(zhǔn)容易抖動(dòng)，雙手交疊容易丟失，如果基于視覺(jué)做的話超出視距范圍也會(huì)丟失等等。

這還僅僅是手假，你在VR環(huán)境中所有的物體和場(chǎng)景也是假的，這會(huì)導(dǎo)致很著名的“幽靈手”現(xiàn)象。你的手想抓住一個(gè)虛擬的物體，摸到一個(gè)虛擬的墻壁或桌子，你會(huì)發(fā)現(xiàn)抓不到，摸不著，而視覺(jué)方面又不好做反饋，只好將手設(shè)計(jì)成可以穿過(guò)任何物體，你在這樣的場(chǎng)景下就是一個(gè)幽靈一般的存在，當(dāng)然要多假有多假。

Jobs Simulator里手的設(shè)計(jì)

所以大家可以看到實(shí)際上導(dǎo)致“假"的原因是比較綜合的，短期內(nèi)想完全解決比較難，做好視覺(jué)的反饋包括UI的設(shè)計(jì)實(shí)際上是類似Leap Motion這樣的解決方案目前所關(guān)注的，也有了不小的成效。用戶雖然覺(jué)得假，但也不會(huì)覺(jué)得有更多的不適應(yīng)，而且有的時(shí)候如果你真的沒(méi)有辦法做的完全真實(shí)，假一點(diǎn)反而有好處，任何仿真都是有恐怖谷的問(wèn)題。

一張Leap Motion的圖，可以看到里面不僅有手部，還有前臂部分的跟蹤

另外還要強(qiáng)調(diào)下，除了Hand部分的真假，很多開(kāi)發(fā)者其實(shí)還忽視了Arm部分的重要性，如果只是懸空顯示一雙手的話，也是會(huì)顯的很假，Leap Motion考慮到了這一點(diǎn)將Arm也包括進(jìn)來(lái)，實(shí)際上不僅對(duì)算法魯棒性，對(duì)改善交互者的體驗(yàn)也是有很大幫助。

對(duì)于“虛擬的手”，方便比真實(shí)更重要

剛才說(shuō)在VR的手部交互方面借助手柄反而會(huì)更真實(shí)，因?yàn)槭种杏幸粋€(gè)實(shí)時(shí)在在的反饋。而你（主持人）所說(shuō)的虛擬用戶手的行為應(yīng)該就是指Oculus Touch，因?yàn)閯e的手柄暫時(shí)都沒(méi)有這個(gè)能力來(lái)模擬一個(gè)真實(shí)的手。我們很多人都體驗(yàn)過(guò)Oculus Touch，原理也都知道的差不多，它依靠幾個(gè)點(diǎn)的接近光傳感器，確實(shí)能夠模擬出手部的一些細(xì)微動(dòng)作變化，設(shè)計(jì)的很巧妙。

但是你所說(shuō)的自然我覺(jué)得在VR中是不存在的，這個(gè)其實(shí)也是我一直想強(qiáng)調(diào)的事情，自然不見(jiàn)得是VR場(chǎng)景下必須追求的事情，因?yàn)槲矬w是虛擬的，你的手也是仿真估計(jì)出來(lái)的，這個(gè)毫無(wú)自然可言，我們更多的是追求流暢、快速、用最小的能耗省時(shí)省力的完成交互，而這些有的時(shí)候和自然會(huì)有矛盾。

比如現(xiàn)在很多交互設(shè)計(jì)，刻意做成和現(xiàn)實(shí)場(chǎng)景完全一致，比如抓取一些細(xì)微的零件、走老遠(yuǎn)拉出一個(gè)抽屜，看上去蠻酷的，但是時(shí)間長(zhǎng)了沒(méi)人會(huì)受得了，就像是在演啞劇，明明哪里沒(méi)有東西，我們還要按有東西來(lái)操作，這種不協(xié)調(diào)感會(huì)加劇人的疲勞和不適。

所以很多時(shí)候我們既然沒(méi)有辦法在VR中把交互做的那么真實(shí)，那還不如就多思考如何讓交互更方便，比如把交互控件做的大一些、引入raycast等方式操作遠(yuǎn)距離的物體，不真實(shí)，但是簡(jiǎn)單有效省時(shí)省力，反而是目前消費(fèi)者更為需要的。

若是就是不惜一切代價(jià)的追求真實(shí)，除非是一些垂直行業(yè)的仿真場(chǎng)景，這種對(duì)成本不敏感，就完全是另外一種思路，而且我不覺(jué)得VR需要走到那一步。

如何讓裸手交互更受歡迎？

基于視覺(jué)的裸手交互的問(wèn)題歸納起來(lái)有如下幾點(diǎn)：正確輸入下的確認(rèn)率差，魯棒性也差，缺乏反饋，交互范圍相對(duì)窄（脫離視距范圍會(huì)丟失），易疲勞（更像真實(shí)交互所帶來(lái)的副作用，恐怖谷效應(yīng)）。這些問(wèn)題每一個(gè)都是挺要命的，需要綜合的治理和解決。

前面的幾條的改善就是比算法硬功夫，你模型估計(jì)的越準(zhǔn)確，實(shí)時(shí)性好，就會(huì)有所收益，但是即使做的再完美，后面的反饋問(wèn)題和交互疲勞性問(wèn)題也沒(méi)有辦法解決，所以兩部分要同時(shí)進(jìn)行。

有一些設(shè)計(jì)將人的手作為操作界面，用另一只手點(diǎn)擊虛擬出的菜單來(lái)完成交互，雖然會(huì)遇到交疊跟蹤丟失等問(wèn)題，但可以提供反饋，依然是一個(gè)很好的思路。

交互范圍窄的問(wèn)題在Inside-Out的場(chǎng)景下更為嚴(yán)重，Leap Motion使用雙魚(yú)眼鏡頭（Dual Fisheye Camera）的主要原因就是希望能盡可能的擴(kuò)大交互范圍，而結(jié)構(gòu)光和ToF的FoV與分辨率的矛盾是硬傷，這需要器件本身的規(guī)格提升。

至于如何設(shè)計(jì)能讓用戶和開(kāi)發(fā)者更受歡迎，我還是強(qiáng)調(diào)幾點(diǎn)：忘掉所謂的自然，強(qiáng)調(diào)流暢快速省時(shí)省力。最最最最重要的是：找到一個(gè)只有裸手交互才能做的最好最舒服的充分必要場(chǎng)景，這個(gè)場(chǎng)景應(yīng)該成為所有裸手交互研發(fā)人員共同最求的圣杯，找到了它大家才都能活的好。

力反饋手套解決的問(wèn)題和存在的局限

關(guān)于反饋的重要性我前面也提到，解決幽靈手的問(wèn)題，加入反饋機(jī)制是必不可少的。但是拋開(kāi)成本和造價(jià)不談，力反饋手套還是有很多的問(wèn)題。

首先所有的數(shù)據(jù)手套都沒(méi)有解決好的一點(diǎn)就是佩戴的舒適性和方便性，這個(gè)是制約其進(jìn)入消費(fèi)級(jí)別市場(chǎng)的最大因素。很多數(shù)據(jù)手套通過(guò)多IMU融合來(lái)做手部位置跟蹤捕捉，但是要想做的精確需要每個(gè)傳感器精確放置在骨節(jié)上，并且還免不了要做初始化校準(zhǔn)，這都不是一個(gè)消費(fèi)級(jí)別產(chǎn)品能夠接受的。

另外加入反饋的方式也有很多問(wèn)題，反饋分為力反饋／震動(dòng)反饋／觸覺(jué)反饋，綜合形成一個(gè)比較好的HAPICS體驗(yàn)，但是目前在力反饋領(lǐng)域還很難用一個(gè)小的機(jī)械結(jié)構(gòu)提供足夠大的阻尼力，而且機(jī)械結(jié)構(gòu)本身就有飛車(chē)的風(fēng)險(xiǎn)，容易造成人的肌肉損傷。

其他的反饋機(jī)制則也有很多硬傷，比如非侵入式的觸覺(jué)反饋，本身受環(huán)境影響很大，手一出汗沾水反饋效果就受到影響，而電極植入這種浸入式方案也明顯不會(huì)被消費(fèi)者接受。

反饋方面的話題可以展開(kāi)說(shuō)很多，對(duì)于數(shù)據(jù)手套來(lái)說(shuō)，目前大家做的都還是比較早期，也只有對(duì)精度要求較高的工業(yè)場(chǎng)景，醫(yī)療場(chǎng)景和設(shè)計(jì)場(chǎng)景中會(huì)有明確的需求，距離消費(fèi)級(jí)市場(chǎng)比較遠(yuǎn)。我們也看到很多公司在嘗試簡(jiǎn)化系統(tǒng)，用比較低廉的價(jià)格嘗試進(jìn)入消費(fèi)領(lǐng)域，不過(guò)我還是希望他們能解決好佩戴和使用便利性的問(wèn)題，另外就是要想好如何使用它。

手部交互的未來(lái)

分開(kāi)來(lái)看，手柄手套這種非裸手的交互會(huì)在相當(dāng)長(zhǎng)一段時(shí)間里一直存在下去，并且大家都在圍繞這個(gè)東西來(lái)做改良，從Oculus Touch到下一代的Vive手柄，我們都能清楚的看到這個(gè)趨勢(shì)，更多的功能被添加，更加貼合手型，可以做6DoF跟蹤，震動(dòng)和力反饋等等，這都是基于介質(zhì)來(lái)做手部交互的優(yōu)勢(shì)，毫無(wú)疑問(wèn)要想辦法發(fā)揚(yáng)光大。

而裸手交互可能在短期內(nèi)依然會(huì)比較艱難，當(dāng)然好在大家都看的比較清楚裸手交互在AR／MR時(shí)代的必要性，所以還是會(huì)不斷的向前演進(jìn)，除了提升算法本身的穩(wěn)定性，一些能夠改善體驗(yàn)的UX設(shè)計(jì)也能改善體驗(yàn)，撐著大家能夠活到AR興起的時(shí)期。另外還是要強(qiáng)調(diào)一點(diǎn)，尋找到那個(gè)圣杯：裸手交互的必要場(chǎng)景才是最主要的，別的我覺(jué)得都好說(shuō)。

Q&A 環(huán)節(jié)

1、如何評(píng)價(jià)HoloLens的手勢(shì)交互，這種程序的手勢(shì)交互是否可以用作日常使用的產(chǎn)品？

張夢(mèng)晗：首先應(yīng)該有不少朋友都體驗(yàn)過(guò)Hololens了，大家相信對(duì)它的體驗(yàn)都有感覺(jué)。

它是一種“手勢(shì)識(shí)別”，而不是一種“手部跟蹤”，視覺(jué)上并沒(méi)有一個(gè)反饋給到你，你甚至都很難判斷我當(dāng)前的狀態(tài)到底是不是處在有效的交互范圍內(nèi)。

這樣的情況下，交互的效率自然就大打折扣，并且還有一個(gè)問(wèn)題，既然我的系統(tǒng)整體是使用頭瞄來(lái)選擇交互目標(biāo)，我用一個(gè)簡(jiǎn)單的觸摸板（Touchpad）觸碰會(huì)不會(huì)比那個(gè)不靠譜的雙指掐擊更方便確認(rèn)。

至少目前來(lái)說(shuō)，我個(gè)人認(rèn)為Hololens的主要精力并沒(méi)有放在手勢(shì)上，只是捎帶塞了一個(gè)交互方式進(jìn)來(lái)。我甚至覺(jué)得這個(gè)交互方式有可能是硬件定型后才發(fā)現(xiàn)沒(méi)有交互方式，所以才利用視覺(jué)系統(tǒng)做了個(gè)手勢(shì)，其實(shí)我覺(jué)得側(cè)面加個(gè)觸摸板也許更好用。

拋開(kāi)Hololens本身的設(shè)計(jì)不談，我覺(jué)得裸手交互在AR設(shè)備上是絕對(duì)必要的。但也要有對(duì)應(yīng)的交互設(shè)計(jì)配合才行。比如AR下很多時(shí)候我的目標(biāo)交互物就是定位在某個(gè)現(xiàn)實(shí)物體之上的，甚至虛擬物體的運(yùn)動(dòng)會(huì)與現(xiàn)實(shí)物體發(fā)生交互，這個(gè)時(shí)候用裸手交互顯然是不二的選擇。

而回到Hololens，從它的交互界面來(lái)看我確實(shí)沒(méi)有看到必須要使用手勢(shì)的必要性，也就是說(shuō)他們并沒(méi)有找到我提到的圣杯。

2、三維手勢(shì)交互上面，目前技術(shù)上的問(wèn)題更多還是設(shè)計(jì)上的問(wèn)題更多？技術(shù)上解決三維交互比較好的方向是什么？離成熟還有多遠(yuǎn)？

張夢(mèng)晗：技術(shù)上和設(shè)計(jì)上的問(wèn)題都很多，而最大的問(wèn)題是那個(gè)必要充分的場(chǎng)景沒(méi)有找到，這個(gè)我強(qiáng)調(diào)無(wú)數(shù)次了。

技術(shù)上我覺(jué)得單純的提升準(zhǔn)確率和精度已經(jīng)無(wú)法完全解決深度手部跟蹤的應(yīng)用問(wèn)題了，當(dāng)然裸手交互方案提供商們還是會(huì)持續(xù)提升客觀指標(biāo)，但是我們會(huì)漸漸發(fā)現(xiàn)很多客觀指標(biāo)的提升已經(jīng)很難在體驗(yàn)上表現(xiàn)出來(lái)。

尤其是Inside-out場(chǎng)景下，再高的準(zhǔn)確率也無(wú)法解決疲勞感和交互范圍狹小的問(wèn)題，而解決后兩者就不僅僅是技術(shù)問(wèn)題，而是設(shè)計(jì)問(wèn)題，所以我之前說(shuō)過(guò)，要綜合治理。

而在沒(méi)有找到手勢(shì)交互的必要場(chǎng)景之前，想留住用戶讓用戶想用愿意用深度手勢(shì)，我覺(jué)得關(guān)鍵在于利用視覺(jué)聲學(xué)等綜合反饋，給用戶盡量提供明確的確認(rèn)信息，盡可能讓用戶像使用手柄一樣知道自己什么時(shí)候選中了。

只有這種確認(rèn)性接近達(dá)到手柄的水平，裸手手勢(shì)的方便性才能充分體現(xiàn)，如果不貴的話，也許我還愿意用一下。至于別的我覺(jué)得等這個(gè)小目標(biāo)達(dá)到了再慢慢看吧。

或者我們直接搞定圣杯，找到一個(gè)只有裸手才能搞定的業(yè)務(wù)場(chǎng)景，那么問(wèn)題再多我也愿意將就著用，慢慢等你改良。讓用戶沒(méi)有選擇，你才能立于不敗之地。

3、手勢(shì)識(shí)別或是手勢(shì)跟蹤，主要基于機(jī)器視覺(jué)，或者是一些傳感器融合，目前用的比較多，比較魯棒的技術(shù)有哪些呢？

張夢(mèng)晗：魯棒性的問(wèn)題實(shí)際上和設(shè)計(jì)也有關(guān)系，相同的精度下操作小器件和大按鈕的發(fā)生錯(cuò)誤的概率肯定不同?；诙鄠鞲衅魅诤?，可以很好的解決超視距下的交互問(wèn)題，手揣兜里也能跟蹤，這是基于視覺(jué)的手部跟蹤所沒(méi)有辦法解決的問(wèn)題。

但是這種情況也會(huì)有陀螺儀長(zhǎng)期累積漂移，需要初始化等問(wèn)題，從這個(gè)角度來(lái)說(shuō)，可以一直檢測(cè)校準(zhǔn)的視覺(jué)方案又有優(yōu)勢(shì)了。而最近有很多的解決方案強(qiáng)調(diào)自己在魯棒性上有好處，比如說(shuō)很多基于60GHz的毫米波雷達(dá)定位，主打的就是相對(duì)視覺(jué)方案來(lái)說(shuō)更能抗干擾，尤其在室外環(huán)境下。

即使是基于視覺(jué)原理，不同的器件方案也有影響，RGB Dual Camera會(huì)比結(jié)構(gòu)光在室外抗紅外干擾能力強(qiáng)，但在暗光環(huán)境下又反過(guò)來(lái)。

沒(méi)有缺點(diǎn)的方案還沒(méi)有出現(xiàn)，目前采用Dual Camera比較多也是因?yàn)镕oV可以做的比較大，交互范圍的大小要比魯棒性重要一些。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。