2020 年 8 月 7 日，第五屆全球人工智能與機器人峰會（CCF-GAIR 2020）在深圳正式開幕。

CCF-GAIR 2020 峰會由中國計算機學會（CCF）主辦，雷鋒網(wǎng)、香港中文大學（深圳）聯(lián)合承辦，鵬城實驗室、深圳市人工智能與機器人研究院協(xié)辦。

作為中國最具影響力和前瞻性的前沿科技活動之一，CCF-GAIR 大會已經(jīng)度過了四次精彩而又輝煌的歷程。在大會第二天的「視覺智能?城市物聯(lián)」專場上，暗物智能聯(lián)合創(chuàng)始人&CEO林倞博士，分享了暗物智能在人工智能前沿技術(shù)與產(chǎn)業(yè)化方面的思考與實踐。

林倞指出，目前很多成功的人工智能應用大部分還是依賴于大數(shù)據(jù)計算泛式，需要針對各種復雜的場景收集多樣化的數(shù)據(jù)，使得其成本一直居高不下；另一方面，這些算法對噪聲比較敏感。因此，林倞認為，即便對于被廣泛研究和應用的感知層的智能，尤其是計算機視覺，目前系統(tǒng)還有很大的局限性，一是成本問題，二是穩(wěn)定性、魯棒性并沒有達到或真正超越人的水平。

其次，林倞認為，視覺跟語言的大部分理解是依靠想象和推測的，并不是依靠大數(shù)據(jù)的感知，因而AI系統(tǒng)自下而上的感知智能和自上而下的認知智能不可分割，必須統(tǒng)一在一個計算過程中。

最后，大量實驗表明，目前AI的智力水平不足12個月大的嬰兒，無法推測他人意圖，缺乏可解釋性。這引出林倞的第三個觀點，認知人工智能必須要理解人的意圖，懂因果，可解釋。

基于這些情況，林倞介紹提出的五層認知架構(gòu)，通過統(tǒng)一的人工智能操作系統(tǒng)和具有場景定義、任務描述能力的編程語言，實現(xiàn)高自然度人機交互。進一步的，林倞介紹該架構(gòu)在教育行業(yè)的應用實踐以及在游戲、金融等相關行業(yè)的拓展。

以下是林倞現(xiàn)場演講的全部內(nèi)容，雷鋒網(wǎng)作了不改變原意的編輯與整理：

林倞：非常感謝CCF-GAIR平臺，我在2017年就作為嘉賓參加過論壇的分享，三年之后再來又見到很多老朋友。這次我主要從人工智能技術(shù)發(fā)展的角度來談談產(chǎn)業(yè)化的新機遇，特別是目前備受關注的認知推理技術(shù)；另一方面，我也著重介紹跨模態(tài)AI能力在產(chǎn)業(yè)中的實踐落地。

圖1. 人工智能發(fā)展現(xiàn)狀

首先，現(xiàn)在的人工智能發(fā)展到什么階段了呢？根據(jù)阿里巴巴達摩院2020年的科技趨勢報告，人工智能在“聽、說、看”等感知智能領域已經(jīng)達到或超越了人類水準，但在需要外部知識、邏輯推理或者領域遷移等認知智能領域還處于初級階段。對于這個趨勢的判斷我認為是對的，但是從技術(shù)及產(chǎn)業(yè)應用的角度來看，其實并沒有這么樂觀。

圖2. 大數(shù)據(jù)-小任務的研究范式

以計算機視覺為例，目前大部分成功的AI/CV應用是依賴于大數(shù)據(jù)統(tǒng)計的研究范式。前沿的自監(jiān)督/無監(jiān)督以及神經(jīng)網(wǎng)絡搜索等算法，本質(zhì)上還是依賴于大規(guī)模標注/未標注的數(shù)據(jù)，擬合數(shù)以億計的參數(shù)，學習網(wǎng)絡的結(jié)構(gòu)以及其模型參數(shù)（參考于圖2）。另外，為了使得學習得到的模型能夠泛化到不同場景，需要為每一類物體，搜集大量的例子（涵蓋各種形狀、攝像頭視角、材質(zhì)、顏色、花紋、光照條件、遮擋等）并進行人工標注，每當遇到新樣例或者新物體出現(xiàn)的時候，則一直重復這個過程，這也導致人工智能的應用成本居高不下。現(xiàn)有很多公司宣稱在一些任務上指標達到驚人的99%，或者說已經(jīng)達到甚至超過人類，基本都是通過這種方式實現(xiàn)的。

圖3.行人重識別隨機噪聲干擾系統(tǒng)

圖4.干擾前后行人再識別系統(tǒng)召回圖像示例

我們再看另一個例子，我們今年發(fā)表在CVPR上的工作，在行人再識別(Person Re-ID)問題中驗證AI模型的魯棒性 (如圖3)。我們在訓練好的行人再識別的模型中隨機地增加干擾信號并觀察其對性能的影響。我們發(fā)現(xiàn)，目前宣稱達到或者超越人類的行人再識別算法，其精度從宣稱的99%降到1.4%，降幅超過90%。如圖4所示，我們可視化部分干擾前后的檢索圖像，綠色框是在加入干擾之前目前行人再識別系統(tǒng)給出的最相似圖像，其相似度是非常高的，但是在加入干擾之后，則召回的都是在外觀特征上差異非常大的圖像。

上述例子說明，即使是對于感知層的任務，例如計算機視覺，目前的AI/CV 算法的應用依舊存在較大的局限性。其一是成本非常高，其二是算法的穩(wěn)定性和魯棒性遠沒有達到人類的水平。

我們再看一個比較有趣的例子。1944年Heider-Simmel提出了一個著名的視覺認知實驗：給定一個抽象的動圖，把三個幾何體帶入進行想象，大的三角形表示男人，小三角形表示女人，小圓點代表小孩，我們需要從動圖中思考，他們在哪里？發(fā)生了什么？根據(jù)這些幾何體簡單的運動，人類可以從中感受到豐富的人物、性格、意圖等社會屬性。這說明人類基于自身認知，可以根據(jù)簡單的視覺信息推理出背后更豐富的邏輯和因果信息。

另一方面，通過腦科學研究發(fā)現(xiàn)，人的大腦皮層感知區(qū)和認知推理區(qū)域是不可分割的，其中，大概有1%的區(qū)域處理客觀的視覺感知，而有10倍于此的區(qū)域根據(jù)視覺感知的信息進行自頂而下的推理。由此可見，人類對視覺和語言的理解，大部分是依賴于想象和推測，而不是依靠于大數(shù)據(jù)感知。因此，我認為，感知智能和認知智能不可分割，必須統(tǒng)一在一個計算過程中。人腦是這樣，未來的AI系統(tǒng)也是如此。

圖5. 基于知識圖的精細化物體識別和視覺問答推理

基于上述觀察和討論，目前產(chǎn)學各界提出一個新的研究思路：在深度表達學習的基礎上，引入知識圖譜以及基于圖的推理，就能進一步實現(xiàn)認知智能?，F(xiàn)有的很多白皮書以及產(chǎn)業(yè)報告都認同這個研究思路，我們團隊基于這個研究思路也做了非常多嘗試，例如，我們團隊把知識圖推理和深度表達學習結(jié)合在一起，實現(xiàn)精細化的物體識別和大規(guī)模物體檢測，論文分別發(fā)表于IJCAI 2018和NIPS 2018；也通過構(gòu)建常識規(guī)則庫，促進視覺問答推理任務。盡管這些方法采用了更接近人類的認知模式，也取得不錯的效果，這類系統(tǒng)還是距離我們理想中的認知AI有較大的差距。

早期神經(jīng)和心理學實驗表明，12個月大的嬰兒就能夠理解父母或者親人的意圖，也能通過手指的方式去表達意圖。而這種能力是目前的AI系統(tǒng)所欠缺的：既無法理解人類或者服務對象的意圖，也無法解釋識別或者決策背后的目的和邏輯。所以如何實現(xiàn)高自然度的人機協(xié)同與互動一直是困擾我們的難題，在產(chǎn)業(yè)應用中落地起來也很不容易。

美國國防高級研究計劃局(Defense Advanced Research Projects Agency，DARPA)發(fā)布XAI計劃(如圖6)，計劃指出，目前人工智能研究是通過大數(shù)據(jù)的學習來實現(xiàn)，當我們得到AI的結(jié)果后，對于為什么會有這樣的結(jié)果、什么時候會更好、什么時候會失敗、我們能不能信賴AI等一系列問題，用戶并不知曉。也就是說，目前的人工智能系統(tǒng)，遠沒有達到可解釋和可信賴的階段。針對這些問題，我們團隊已經(jīng)開展了較長時間的研究了，其實DARPA展示未來的“Explainable Model”(圖6下半部分)就是DMAI創(chuàng)始人朱松純教授的研究成果。該模型不僅可以預測任務的結(jié)果，還可以進一步知道得到該結(jié)果的原因、知道在什么情況下模型可以成功預測以及什么情況下會錯誤預測等,相關的工作發(fā)表在去年的《科學》子刊上。這也引出了第三個觀點，認知人工智能必須要理解人的意圖，懂因果，可解釋。

圖6. 可解釋可信賴的人工智能系統(tǒng)

圖7. 暗物智能科技公司團隊成員

這里順便介紹一下我們團隊，由朱松純教授領銜創(chuàng)立的暗物智能科技DMAI， 2017年底在美國洛杉磯成立，2018年搬遷至廣州，目前在中國廣州和美國洛杉磯都有研發(fā)中心。公司致力于推進“小數(shù)據(jù)、大任務”的研究范式，探索人工智能在認知層面的新突破，實現(xiàn)真正的高自然度的人機交互和協(xié)同。

圖8. DMAI陪伴機器人原型系統(tǒng)

圖8是我們公司研發(fā)的第一個陪伴機器人原型系統(tǒng)，這個樣機于2017年底研發(fā)出第一個版本，可以通過豐富的方式跟人交互，能看到、能聽懂、能回復、甚至能知道計算數(shù)學背后的因果邏輯，并且跟用戶進行多種方式的交互。目前這個產(chǎn)品已經(jīng)通過多種形式和渠道在中國和美國市場逐步落地應用了。

圖9. DMAI五層認知架構(gòu)

在這樣的人機交互協(xié)作的背后，就是DMAI提出的五層認知架構(gòu)，如圖9所示。最底層是IoT物聯(lián)網(wǎng)層，包括傳感器和控制部件，主要實現(xiàn)音視頻信息獲取以及交互指令輸出和執(zhí)行；往上第二層是感知層，包括基于機器學習的音視頻多模態(tài)分析，可以分析包括人臉人體屬性/行為、手勢動作、物體類別、語音轉(zhuǎn)錄信息等；第三層是進一步的推理調(diào)度層，包括場景和任務定義、任務調(diào)度和規(guī)劃、以及邏輯推理等相關算法；第四層是知識和意圖建模層，為第三層的邏輯推理和任務調(diào)度提供額外的知識支撐；第五層則是更高的人類常識和社會價值層。基于這個架構(gòu)，我們打造了相應的人工智能操作系統(tǒng)及編程語言，并且延展出在不同的應用場景中的產(chǎn)品和解決方案。

圖10. DMAI新一代人工智能操作系統(tǒng)

首先，從操作系統(tǒng)角度來說，底層的Windows、Linux、Android，他們管理的是計算機的資源，包括軟件和硬件，提供的是計算機的圖形化服務。而對于人工智能操作系統(tǒng)來說，其主要的目的是針對特定領域任務，實現(xiàn)不同類型的AI能力的自動化調(diào)度，例如集成調(diào)度視覺、語音、文字以及相關運動控制等AI能力(資源)，在特定的應用場景下實現(xiàn)多模態(tài)的人機協(xié)作與交互，比如虛擬教師、個人助理方面的應用中都有很多這類場景。

圖11. DMAI描述知識、任務、價值體系的AI編程語言

除了調(diào)度系統(tǒng)本身以外，怎么去定義一個領域的任務以及實現(xiàn)一個任務的流程，是另外一個難題。為此，我們做了另外一件事情，設計一個描述知識、任務、價值體系的AI編程語言DMPL。目前的人工智能系統(tǒng)一直在強調(diào)算法、算力、以及數(shù)據(jù)，我們認為更重要的是場景以及面向場景的任務，如果拋開場景和任務談AI算法，是不切實際的。假如我需要描述一個場景或者任務，可以通過DMPL編程語言以及我們的開發(fā)平臺，把場景和任務相關的模型、場景、價值以及流程定義且描述出來，最后部署集成到人工智能操作系統(tǒng)，通過操作系統(tǒng)的調(diào)度和智能分析算法運行。

綜上所述，為推進高自然度人機協(xié)作為導向的人工智能，實現(xiàn)小數(shù)據(jù)、大任務的研究范式，我們研發(fā)和設計了兩個基礎平臺：第一個是具有調(diào)度能力的綜合人工智能能力的平臺；第二個是能定義場景、描述任務的編程語言。我們平臺可以支持多平臺的部署方式，計算能力可以根據(jù)實際需要放在云上或者端上，實現(xiàn)云端融合的計算，以支撐不同的應用。

在平臺研發(fā)和設計過程中，我們也一直在探索怎么把認知人工智能及多模態(tài)人工交互技術(shù)應用于具體的產(chǎn)業(yè)實踐中。針對這個問題，我們公司選擇的賽道是教育，特別是自適應、個性化的陪伴型教育。通過廣泛的調(diào)研和分析，我們對教育行業(yè)有以下幾點的總結(jié)：

第一，教育對真正的強交互人工智能提出了很大的挑戰(zhàn)，教育行業(yè)的核心是能夠像老師一樣教育和輔導學生，幫助老師提高教學效率和協(xié)助提高學生的學習興趣和效能，這需要依托于高自然度強交互的AI能力。對此，我們研發(fā)學齡前兒童個性化、自適應的陪伴式學習，該產(chǎn)品已經(jīng)在美國落地了，就是陪小孩學習英語和數(shù)學的桌面機器人；

第二，教育對高度智能化認知推理智能提出了很大挑戰(zhàn)，針對中小學生的自動化講題、輔導和批改可以更大程度降低老師和家長的工作負擔，對提升學生學習積極性也有很大幫助。對此，我們研發(fā)集講題、輔導和批改為一體的學習服務平臺，通過構(gòu)建中小學知識體系，并基于該知識體系研發(fā)類腦推理系統(tǒng)，實現(xiàn)全自動、標準化、自適應地題目批改和講解；

第三，現(xiàn)在的線上教育行業(yè)發(fā)展非?？?，如何針對多模態(tài)音視頻信息，有效分析老師和學生教學情況，形成對教情學情的分析，對規(guī)范化和促進線上教學，至關重要。為此，我們研發(fā)AI互動在線教育平臺，該平臺融合多模態(tài)AI技術(shù)，打造全方位、跨平臺的AI可視化教學分析系統(tǒng)。

接下來我們詳細闡述，如何把我們的人工智能操作系統(tǒng)和編程語言應用到上述教育行業(yè)幾個垂直化的產(chǎn)業(yè)實踐：

我們第一款產(chǎn)品是諳心學伴，如圖12，這是一款家庭陪伴教育終端，這款產(chǎn)品目前在美國亞馬遜賣了數(shù)萬套，是美國排名第一的電子類教育產(chǎn)品，該產(chǎn)品用到豐富的多模態(tài)分析算法，包括人臉識別、人臉表情/屬性分析、道具/卡片識別、以及語音識別等，其中核心模塊和軟件也通過與企業(yè)合作的形式逐步在國內(nèi)市場展開銷售。我們在產(chǎn)品開發(fā)和體驗過程中看到，人工智能操作系統(tǒng)并不是針對單點AI算法非常高的識別率，例如，對道具的識別做到99.0%或99.5%實際上沒有太明顯的區(qū)別，關鍵是以任務為導向，智能化地調(diào)度各個AI算法，把用戶體驗做到極致。為了切實推進產(chǎn)品化落地，我們也投入了很多成本做非核心AI能力的產(chǎn)品，包括原創(chuàng)生產(chǎn)很多動畫內(nèi)容，以及設計很多認知啟發(fā)、思維引導的體驗。這是我們的第一個例子，通過人機交互的方式改善幼兒語言學、啟蒙學的教學。

圖12. DMAI諳心學伴，家庭陪伴教育終端

我們公司第二款產(chǎn)品是針對中小學教育市場，集解題、講題、輔導、批改為一體的學習服務平臺。為此，我們首先對中小學教育知識體系進行結(jié)構(gòu)化建模，其次，我們研究教學過程的理解和描述，并設計類腦運算的系統(tǒng)，做到在不依賴于題庫的情況下自動化推理其解題過程。圍繞教學任務，我們還研究中英文和公式的識別和結(jié)構(gòu)化解析、語音識別理解以及針對高自然度語音合成等智能算法。其次，該平臺還支持智能講題，通過動畫提示、語音/文字引導等多種方式，協(xié)助學生梳理其解析思路和邏輯。最后，該平臺在一些易錯點和難點上實現(xiàn)個性化講解和輔導，即根據(jù)學生的掌握情況，自適應選擇解題和講題過程，實現(xiàn)自適應教學?；趶娊换I的自動化解析和講題，可以降低老師和家長的工作負擔，以及彌補優(yōu)質(zhì)師資缺失的問題，是AI進入教育產(chǎn)業(yè)的核心價值。

圖13. DMAI集解題、講題、輔導、批改為一體的學習服務平臺

我們看到很多講AI的應用，雖然有很多刷臉、支付、安全類的，但并沒有解決太多的問題，幾十年來沒有這些東西也沒什么，不能刷臉可以用指紋，可以用密碼。但是AI真正能體現(xiàn)價值，能替代人部分智能的能力，或者說延展人的能力，這才是最有價值的，我們覺得關注智慧城市，應該關注它的主體，關注每一個人，所以我們公司一直希望提升人類的福祉，以智慧生活為導向。

因此，我們公司除了在教育行業(yè)落地以外，我們也基于認知AI的能力形成綜合的AI解決方案，并在金融、游戲和電競等方向做了延展。今年，我們跟一家主板上市企業(yè)吉比特做了一個案例：游戲NPC智腦平臺。該平臺以人工智能操作系統(tǒng)和編程語言為基礎，具體場景任務定義和智能算法調(diào)度的能力，使得“智腦”NPC具有更加擬人化的思考、交互、和行動能力。具體地，NPC以生存目標為驅(qū)動，會因價值觀而異，能自主思考和行動，自主選擇演化路線，能夠理解人類語言并與玩家進行自動化交互。這是我們今年做的初步嘗試，我覺得未來以認知推理和多模態(tài)分析為基礎的人工智能技術(shù)，會應用在很多領域的應用場景。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

圖14. 基于強認知AI的能力輸出和行業(yè)拓展

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。