11月14日下午，微軟亞洲研究院在自己的18歲生日之際邀請到眾多前微軟研究院的成員，現(xiàn)清華大學教授徐迎慶分享了《針對視覺受損人群的觸覺認知研究》主題演講，講述了過去7年中他和他的團隊在觸覺研究上的感悟與成果。本文根據(jù)徐迎慶的演技整理而成，在不影響愿意的情況下略作刪減。

徐迎慶，清華大學信息藝術設計系主任、清華大學終身學習實驗室主任、清華大學無障礙發(fā)展研究院副院長，1999年至2011年期間曾就職于微軟亞洲研究院。

這個項目在微軟期間就開始了，大概做了7年。我想做的是針對視覺受損人群的觸覺研究。

從WHO（World Health Organization）的數(shù)字來看，全球有2.85億人是視覺嚴重受損，這個數(shù)字是可怕的。我們曾經(jīng)在盲人學?？吹剑瑢W們雖然視力嚴重受損，但是有的同學每天把頭貼在屏幕上，渴望著與外界的溝通。記得幾年前我們開始這個項目的時候，有一個研究生去了盲人學?；貋碇蟾袆拥脽釡I盈眶，她說這些孩子特別了不起，一定要做一點事情為他們。

從那時起，清華大學魯曉波教授、史元春教授、和我本人就共同發(fā)起了這個項目至今。我們希望通過觸覺和觸覺交互的設計，結合語音等多通道的沉浸認知讓盲人通過觸摸學習更豐富的知識，比如復雜的圖形圖像的理解。目前國際上這是一個前沿的研究熱點。針對盲人的交互研究有很多的工作已經(jīng)做了，比如可穿戴移動互聯(lián)網(wǎng)輔助設備、智能導航盲杖、盲人手表、移動PDA等等，包括各種各樣的語音識別軟件。這里順便說一下，如果你們看過盲人用語音聊天，你會感覺非常驚訝，我們現(xiàn)在的語速加速3倍、5倍以后是他們語音的聊天，他們能聽得懂，我們跟不上。觸覺圖像的大幅面、高精度研究，美國、歐洲很多實驗室都做過嘗試。在多通道方面，我們過去幾年一直在開展這個工作。

什么是觸覺圖像？

觸覺圖像就是通過實體表面的凸凹理解圖像，為用戶提供直接的觸覺體驗，可以觸覺渲染，也可以視覺渲染。另外制作出這些圖像有很多種方法，比如熱塑、微囊紙、熱敏紙、觸點打印等等，這些設備相對來說制作起來不方便，而且相對沒有那么多，還有點貴。同時帶來一個問題，打了很多紙，紙很厚，有凸凹點，不容易存放和運輸，而且只能顯示靜態(tài)的東西。

大家知道互聯(lián)網(wǎng)的發(fā)展，在互聯(lián)網(wǎng)上除了文字更多的是圖形、圖像、視頻，這樣發(fā)展的趨勢把盲人朋友放在了互聯(lián)網(wǎng)之外，他們如果沒有一個好的工具，就更沒有辦法理解這個東西，這是一個非常大的挑戰(zhàn)。盡管現(xiàn)在有盲人圖書、盲人打字機甚至盲人點顯器，但是怎么幫助他們學習圖形圖像抽象的東西，以及獲取互聯(lián)網(wǎng)的信息，這不僅是挑戰(zhàn)，而是全人類面臨的義務和責任。

觸覺圖像顯示器市場上大尺寸非常貴，而且大尺寸也不是大家想象的那么大，這個就是比較大的了。太小的尺寸，由于分辨率的問題認知效果就大打折扣。即便這樣一個小的現(xiàn)在提高價格差不多5.5萬歐元，將近40萬人民幣左右。

針對這樣的問題，我們從幾方面下手。首先是沉浸認識，要做觸覺的東西，從認知的角度，什么是他們能夠接受，他們習慣的以及他們能夠真正通過觸覺來理解的圖像。另一方面僅僅是觸覺，大家知道盲人的聽覺也非常的發(fā)達，從聽覺的角度來說，觸覺和聽覺的多通道怎么融合，開發(fā)多通道的沉浸的體驗，同時我們希望能夠開發(fā)一款相對低成本的觸覺圖像顯示器。

問題有哪些？

比如如何提高盲人圖形圖像的認知和交互體驗，如何設計觸覺圖形。如果把普通的圖像簡單地提取一個邊緣的話，從觸覺人質的角度來看是很難理解的，必須有一套相對來說經(jīng)過改進的圖像便于觸覺理解。如何設計既有高精度、大幅面又低成本的圖像顯示器，以及在更多的場景下如何融入觸聽覺沉浸式信息的獲取。

我們非常幸運有很多的合作伙伴，例如：北京盲人學校、北京聯(lián)合大學特殊教育學院，我們和這些專家們探討如何探索圖形庫的內容的框架。

中國盲校的教學材料

這是盲文，中國的盲人是基于漢語拼音的。而且還不僅僅是文字，很多盲人音樂家非常厲害，這是他們學習音樂課的基本樂符。而學習物理課的公式和一些圖形表達，物理化學課的內容，怎么通過這樣一些圖形來讓他們上課。包括化學分子式，他們用的紙都是這樣，小時候總是捐畫報紙，當時不理解，后來才知道這是盲人同學用它扎字、做記錄，我們的同學也自己去學習如何用盲文記錄，這是非常有意義的體驗過程。

用戶體驗研究

我們?yōu)闇y試做了很多的圖形準備，這些是從標準的圖形庫中拿出來的，然后進行很多篩選和用戶訪談，包括來主動、被動的使得圖形能夠更加有效的被識別。這個過程中我們發(fā)現(xiàn)了很多與我們的假設完全不一樣的事情，比如我們一直認為一個后天的盲人和先天的盲人同樣接觸識別一組圖形的時候，應該是后天的識別的更好，因為他有過經(jīng)驗。但我們的實驗表明，先天的盲人表現(xiàn)更好。后來才發(fā)現(xiàn)，這些后天盲人的先天經(jīng)驗干擾了他們對正確結果的判斷，這些是完全和我們的想象不一樣的。還有一個問題是，發(fā)生在什么時候。我們每周都在做用戶體驗的設計，包括主動和被動的。和他們一起討論，什么樣的圖形是合適的，怎么提取這里面的關鍵內容。

同樣我們也提出了一套觸聽覺多通道的交互模型，希望能夠從認知能力上，不同的通道能夠占用不同的腦力資源，能夠從交互界面上觸覺和聽覺的信息分別占據(jù)不同的傳輸空間，使得干擾最小、融合最大。這個項目本身也是多學科的融合，除了我，還有清華大學美術院系魯曉波教授、計算機系史元春教授，清華醫(yī)學院的洪波教授，還有中科院心理所的劉燁研究員、以及我們的研究生焦陽、龔江濤等等。

通過大家的努力，我們得到非常有意思的數(shù)據(jù)。我們能夠看到聽覺區(qū)域兩個方面都是差不多的，而在大腦的結構上盲人的視覺區(qū)域小于明眼人的視覺區(qū)域。盲人觸摸東西非?？?，那個速度讓我們驚呆了。但是通過腦核磁腦的成像，盲人與明眼人手部運動在腦的成像是差不多的，這個讓我們體會到其實我們閉上眼睛經(jīng)過一但時間訓練也可以達到，有些東西是由后天訓練確定的。所以當時的一些假設，比如盲人的視覺區(qū)域比正常人小，fmRI結果支持了第一個假設，但是我們覺得盲人的手的運動區(qū)域要大，但是在實驗中沒有支持這個假設。這是多學科交叉和融合的工作。    

Graille

我們對這樣的一個設備做了功能的設計，比如我們希望它有這樣的一些功能，能夠支持、學習、社交、分享。我們提出的技術指標，渲染幅面大于120×60點，現(xiàn)在有7200點，如何在這么小的空間上控制7200點，能夠真正實時的顯示出來，這并不是簡單的事情。這個工作為什么這么困難做了這么多年。這么小的結構，直徑1毫米，這樣的結構上，我們在這上面設計了幾套機械聯(lián)動裝置。    

再談一下產業(yè)化的東西，首先如為盲人朋友提供更好的服務是各國政府關心的問題。中國政府也非常關注這個事情，我們也拿到了國家的重大專項的支持，同時聯(lián)合國兒童基金會，中國殘疾人協(xié)會等也一直關心相關的研究。我們也在和百度合作，這個項目如果做出來原型，我們會和百度做盲人搜索平臺，盲人用這樣的設備來搜索、購物，做力所能及的事情。剛開始可能不能什么都做，但是萬水千山第一步總是要邁出去。

進一步的研究

除了給盲人用以外，我們在計算機視覺上也提出了一些新的挑戰(zhàn)。比如什么是圖像語義特征，什么是觸覺圖像的語義特征，如何提取這種圖像。例如，簡單的閾值計算或者提取邊緣并不能夠使得盲人能夠理解這樣的圖像，只有真的有語義的、精煉的表達出來才有可能對圖像壓縮、編碼、傳輸真正起到幫助作用。借這個機會，我也特別感謝微軟研究院曾經(jīng)給過很大的支持，現(xiàn)在一直也在關注和關心這個項目。同時，也有很多單位給了這個項目很大的支持和贊助，比如微軟亞洲研究院、Intel中國研究院、百度公司、國家自然科學基金、國家重大專項研究計劃、北京盲人學校、北京聯(lián)合大學特殊教育專業(yè)、中科院軟件所、中科院心理所、聯(lián)合國兒童基金會、清華大學美術學院、計算機系、醫(yī)學院、心理學系等等。衷心感謝團隊中的每一位成員的努力！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。