0
| 本文作者： 我在思考中 | 2021-08-06 10:51 |
認知是人獲取和應(yīng)用知識的過程，知識圖譜是人對客觀世界認知的表示。人工智能系統(tǒng)如何實現(xiàn)知識的表示和推理？
在2021年世界人工智能大會上，由AI TIME組織的“圖神經(jīng)網(wǎng)絡(luò)與認知智能前沿技術(shù)論壇”中，清華大學計算機系教授李涓子圍繞“知識圖譜與認知推理”做了主題報告，從問答系統(tǒng)的角度解釋了AI如何實現(xiàn)認知推理。
圖1：報告題目
李涓子指出，目前人工智能雖然在很多簡單問答數(shù)據(jù)集的問答能力上已經(jīng)可以和人類相媲美，但是對復雜問答的問答能力還任重而道遠。
究其原因，李涓子認為：復雜問題的答案往往需要進行多跳的推理。為此，李涓子團隊將知識驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合，提出了可解釋認知推理框架：將提問對象表示為圖結(jié)構(gòu)，將復雜問題解析為由基本函數(shù)組合而成的程序，以表示推理過程，在圖結(jié)構(gòu)上使用注意力機制進行模塊推理，使得每個模塊的輸出可以被人類所理解。
圖 2：認知推理框架
以下是報告全文，AI科技評論做了不改變原意的整理。
認知 VS 知識
圖 3：本體
認知是人獲取并應(yīng)用知識的過程，知識圖譜是人表示客觀世界認知的一種形式。如圖 3 所示，Ogden 和 Richard 在1923 年提出了經(jīng)典的語義三角模型。該模型表明，人類可以通過符號建立起人在認知過程中形成的世界模型。在人類的知識系統(tǒng)中，人們將客觀世界事物的認識概化和抽象為概念「Concept」，建立起概念和事物、概念和概念之間的關(guān)系，能夠?qū)⒖陀^世界中的實體和腦海中的概念對應(yīng)起來，從而通過概念來認識和理解世界?！窮orm」（符號/詞）指向「Referent」（指稱物/事物）的虛線代表了人類使用符號為客觀世界中事物賦予語義的過程（即通過詞激活概念，再通過概念反映客觀事物）。
圖 4：知識圖譜與本體
在2012 年，谷歌曾用「知識圖譜」表示語義網(wǎng)絡(luò)，這種圖結(jié)構(gòu)的表示中包含概念、實體，也包含它們之間的關(guān)系。由于這種方法在知識表征簡單和具有知識的大規(guī)模性，在語義搜索中得到很好的應(yīng)用。因此人工智能研究社區(qū)針對知識圖譜開展了大量的應(yīng)用和研究工作。
圖 5：各種知識圖譜
例如，研究人員已經(jīng)構(gòu)建起了各種通用/專用知識圖譜，這些知識圖譜在語義搜索、推薦系統(tǒng)，問答系統(tǒng)等應(yīng)用場景下發(fā)揮了很大的作用。
人工智能的發(fā)展趨勢
圖 6：人工智能研究簡介
人工智能研究者們的目標是研究和設(shè)計智能系統(tǒng)，讓這些系統(tǒng)能夠像人一樣具有感知、推理、思考，并做出規(guī)劃和決策的能力。并且通過「圖靈測試」來測試系統(tǒng)是否具有智能。目前，人工智能研究已經(jīng)發(fā)展出了許多子領(lǐng)域，例如：知識表示和推理、機器學習、計算機視覺、自然語言處理、機器人等。其中，知識的表示和推理在人工智能研究中具有很重要的地位。
圖 7：人工智能與知識
目前，我們正處在第三代人工智能的浪潮。第一代人工智能的標志是“符號主義”，圖靈獎獲得者西蒙和紐威爾提出實現(xiàn)智能的充分必要條件是構(gòu)造出一個物理的符號系統(tǒng)。費根鮑姆也因為建立了以領(lǐng)域知識庫和推理構(gòu)成的專家系統(tǒng)獲得圖靈獎。這一時沿著這個思路，研究者們開發(fā)出了一系列專家系統(tǒng)。這一時期，研究者認為實現(xiàn)智能系統(tǒng)不僅需要像人一樣解決問題的能力，還應(yīng)該具有人們所具有的知識。
第二代人工智能的標志是當下流行的深度學習。深度學習作為連接主義的代表性方法，嘗試洞察以神經(jīng)元和神經(jīng)元之間的連接結(jié)構(gòu)，從而獲得研究智能的啟發(fā)。第二代人工智能的關(guān)鍵之處在于利用大數(shù)據(jù)和強大算力和機器學習算法，即「數(shù)據(jù)+算法+算力」。目前，對深度神經(jīng)網(wǎng)絡(luò)的大規(guī)模預訓練也在很多領(lǐng)域取得了很好的效果。
而第三代人工智能，需要在數(shù)據(jù)、算法、算力之外再向人工智能系統(tǒng)中引入知識。
圖 8：知識驅(qū)動的人工智能
以IBM Watson Deep QA和目前GPT—3為典型代表，說明第一代和第二代人工智能系統(tǒng)的優(yōu)勢和存在問題。
IBM Watson 的 Deep QA 是符號主義的代表性應(yīng)用之一。該問答系統(tǒng)在Jorpardy節(jié)目上戰(zhàn)勝了人類冠軍選手。系統(tǒng)有三個特點：（1）使用了大規(guī)模知識和非結(jié)構(gòu)化資源（2）提出了一種有效融合問題理解、答案檢索、論據(jù)查找的問答框架（3）通過機器學習算法對查找到的上百個答案進行推理和融合。
該框架也存在不足之處。首先知識是稀疏的，系統(tǒng)中使用了維基百科等知識圖譜的結(jié)構(gòu)化知識，然而最終的問題與知識圖譜直接匹配上答案只有約 2%。此外，該系統(tǒng)也缺少對細粒度知識的表達，導致知識圖譜和深度語義理解相互分裂開來。而我們認為，知識圖譜和深度語義理解應(yīng)該被結(jié)合起來。
圖 9：數(shù)據(jù)驅(qū)動的人工智能（自然語言處理）
第二代深度學習的人工智能發(fā)展的代表當屬基于深度學習的大規(guī)模預訓練模型（例如，GPT-3），其在下游任務(wù)中無需經(jīng)過特殊的訓練，就可以獲得很好地性能。例如，北京智源人工智能研究院發(fā)布了萬億參數(shù)的大規(guī)模預訓練模型——「悟道」，它在文本生成、寫詩等十余項任務(wù)上的性能已經(jīng)超過了現(xiàn)在的 SOTA 模型。
當然，這種大規(guī)模預訓練模型仍然不夠智能。如圖 9 右下角所示，GPT-3的 在問答任務(wù)中，有時答非所問，有時會給出存在很明顯違背常識的答案。這說明，盡管大規(guī)模訓練模型建立了數(shù)據(jù)之間復雜的結(jié)構(gòu)關(guān)系，但并不一定具有了認知能力。
圖 10：人工智能的未來
近年來，許多著名的學者都提出了對人工智能未來發(fā)展趨勢的構(gòu)想。例如，有「深度學習」三駕馬車之稱的Hinton、Bengio 和 LeCun 提出，人工智能將會結(jié)合表征學習和復雜的推理。我國人工智能泰斗、清華大學張鈸院士指出，建立可解釋、魯棒的人工智能論和方法是十分必要的。
圖 11：三空間融合法
張鈸院士在《信息科學》期刊中給出了實現(xiàn)第三代人工智能的一種可能的理論框架——三空間法。其中，連續(xù)特征空間代表人的感知系統(tǒng)，離散語義符號空間代表認知系統(tǒng)，二者之間還存在一種連續(xù)的準語義空間。我們可以通過上升（raising）操作將連續(xù)空間中的特征表征遷移到準語義空間中，進而通過抽象操作將準語義空間中的表征遷移到離散語義符號空間中。反過來，我們可以通過嵌入、投影，將離散語義符號空間中的表征遷移到連續(xù)特征空間。這樣一來，我們就構(gòu)建了一種感知、認知相結(jié)合的通道。
圖 12：系統(tǒng) 2 深度學習—認知
Bengio 等學者在今年6月的智源大會上提出，深度學習的發(fā)展正在經(jīng)歷從系統(tǒng)1的深度學習到系統(tǒng)2的深度學習，要想實現(xiàn)認知計算，我們就要實現(xiàn)系統(tǒng) 2 的深度學習。諾貝爾經(jīng)濟學獎獲得者丹尼爾卡尼曼提出，在人的認知系統(tǒng)中存在系統(tǒng) 1 和系統(tǒng) 2，其中系統(tǒng) 2 進行較慢的邏輯化、序列化的推理。Bengio 介紹了他們基于該思想在因果理解、分布外數(shù)據(jù)（OOD）泛化等方面開展的一系列工作。
圖 12：千腦理論
在美國工程院院士 Jeff Hawkins在北京智源大會上也介紹了他受腦皮層結(jié)構(gòu)和工作機制的啟發(fā)提出的「千腦理論」，該理論可以將數(shù)字與符號相結(jié)合。該理論指出，人類大腦皮層的底層參數(shù)非常多，非常不穩(wěn)定，存在稀疏性。人類的樹突結(jié)構(gòu)具有連續(xù)的自監(jiān)督學習能力，可以自動地不斷進行各種預測，并在預測任務(wù)中去學習各種模式。
Jeff Hawkins 還提到：如今的深度學習系統(tǒng)中并沒有恒定的知識表征，而人類的大腦中存在「參考系」的恒定表征（參考系處于大腦皮層的上層）。另外，由于人類大腦皮層中存在皮質(zhì)柱結(jié)構(gòu)，上千個皮質(zhì)柱為對象構(gòu)建出相互關(guān)聯(lián)的模型，才能建立起世界模型。
可解釋的認知推理
圖 13：問答系統(tǒng)
我們團隊從圖靈測試出發(fā)，嘗試在問答任務(wù)中探索可解釋的認知推理技術(shù)。換句話說，問答系統(tǒng)用戶提問的對象可能是圖片、文本，也可能是知識圖譜，可解釋的問答系統(tǒng)都能給出準確的答案。
目前，雖然現(xiàn)有的問答系統(tǒng)在簡單問答任務(wù)中，在很多數(shù)據(jù)集上達到了與人類相當?shù)乃剑窃趶碗s問答任務(wù)中，和人類還相差甚遠。
圖 14：復雜問答和可解釋推理
原因是：復雜問題的答案，不僅需要多跳的推理，可能還需要需要進行計數(shù)、比較，甚至是邏輯運算的操作。如圖14 所示，當我們問到「兩個樂隊是否具有相同的人數(shù)」時。我們首先需要識別出兩個樂隊，明確每個樂隊有哪些成員，然后分別對兩個樂隊的成員進行計數(shù)。最后對計數(shù)結(jié)果進行比較。上述步驟其實也是一個可解釋的推理過程。
圖 15：相關(guān)工作
目前，針對復雜問答任務(wù)，研究者已經(jīng)嘗試用語義解析、圖神經(jīng)網(wǎng)絡(luò)、多跳查詢等方法應(yīng)對。然而，這些方法處理的知識的類型非常有限。例如，多步查詢方法大多處理的查詢是「鍵值對」的知識形式，圖神經(jīng)網(wǎng)絡(luò)主要面向?qū)嶓w和實體關(guān)系類型的知識，對于其它類型的知識（例如，計數(shù)、屬性值）往往束手無策。更重要的是，上述方法缺乏可解釋性，無法解釋得到推理結(jié)果的過程。
圖 16：主要思路
為此，我們提出了基于圖的可解釋認知推理框架。框架以圖結(jié)構(gòu)數(shù)據(jù)為基礎(chǔ)，將邏輯表達用作對復雜問題的分析過程，從而表示成顯式的推理路徑。注意“圖結(jié)構(gòu)既可以是文本中的實體或?qū)嶓w之間的關(guān)系的表示的圖結(jié)構(gòu)，可以是圖片的場景圖的圖結(jié)構(gòu)，也可以是知識圖譜的圖結(jié)構(gòu)。
在認知推理框架中，我們可以將提問的對象描述為圖的結(jié)構(gòu)化數(shù)據(jù)，然后，在理解問題的過程中，將問題轉(zhuǎn)化為模塊化的描述。其中模塊化過程是一個可編程的函數(shù)組合，可以把它分解為圖上的最小粒度的操作函數(shù)序列；推理過程可以通過神經(jīng)網(wǎng)絡(luò)實現(xiàn)，我們?yōu)槊恳粋€元函數(shù)構(gòu)建了對應(yīng)的神經(jīng)模塊網(wǎng)絡(luò)。上述每一個過程都可以展示出來，這意味著能夠解釋推理過程，從而輸出相應(yīng)的答案。
針對場景圖的可解釋顯式視覺推理
圖 18：視覺問答
基于上述框架，我們研究了視覺問答，即在圖片的場景圖上進行推理問答。視覺問答模型的輸入為圖片；問題為前文所述的復雜形式的自然語言問題；目標是要求問答系統(tǒng)直接給出準確的答案。
圖 19：可解釋的顯式神經(jīng)模塊網(wǎng)絡(luò)
如圖 19 所示，我們可以通過場景圖表征一張圖片。可以利用現(xiàn)有的已生成的場景圖，也可以首先感知物體，進而構(gòu)建場景圖；對于用戶提出的問題而言，通過對問題進行予以解析得到函數(shù)序列的表征；然后，在推理過程中將各個神經(jīng)模塊網(wǎng)絡(luò)應(yīng)用于場景圖。
圖 20：場景圖
這一視覺問答模型既可以用已有的場景圖作為輸入，也可以動態(tài)地通過目標檢測補全場景圖。
圖 21：元模塊
在此基礎(chǔ)之上，我們設(shè)計了四種元函數(shù)，從而實現(xiàn)神經(jīng)模塊網(wǎng)絡(luò)來進行推理，每一個元函數(shù)都對應(yīng)一個神經(jīng)模塊網(wǎng)絡(luò)。整個程序可以由神經(jīng)模塊網(wǎng)絡(luò)組合而來。
圖 22：CLEVR 數(shù)據(jù)集實驗結(jié)果
模型效果如何？在 CLEVR 數(shù)據(jù)集上，模型在相較于現(xiàn)有方法大大降低參數(shù)量的前提條件下，達到了 100% 的精度。如圖 22 右側(cè)所示，亮點代表了每一步執(zhí)行的結(jié)果，我們的方法可以有效地得出推理過程的可解釋可視化結(jié)果。
圖 23：VQA 數(shù)據(jù)集
不僅是CLEVR 數(shù)據(jù)集，我們的模型在真實的 VQA 數(shù)據(jù)集上比現(xiàn)有的最好模型，在準確率上也高出了三個百分點。
面向復雜的基于知識的問答的可解釋編程
圖 24：基于知識的問答
我們也將該框架應(yīng)用到了基于知識的問答（KBQA）任務(wù)中。目的是通過可編程、可解釋的程序來表示推理過程。該程序的輸入為知識圖譜和復雜問題，輸出為所需要的答案。例如，我們問「姚明和Vanessa Laine Bryant的配偶誰更高？」。對于這一個復雜問題，我們希望根據(jù)知識圖譜得到答案：「姚明」。
圖 25：現(xiàn)有的 KBQA 數(shù)據(jù)集
目前現(xiàn)有的大多數(shù) KBQA 數(shù)據(jù)集的規(guī)模有限，而且問題中多是僅僅考慮關(guān)系信息，忽略了屬性信息等其他類型的知識，缺少需要復雜邏輯推理的問答。為此，我們提出了 KQA Pro 數(shù)據(jù)集，該數(shù)據(jù)集包含近 12 萬個經(jīng)過篩選的高質(zhì)量問題。
圖 26：主要思路
目前大多數(shù)與 KBQA 相關(guān)的研究都會把問題表示 SPARQL查詢。我們在認知推理框架的基礎(chǔ)上將其與對應(yīng)的 SPARQL 建立聯(lián)系，并表示為函數(shù)的編程問題，通過組合元函數(shù)的操作建立推理過程。如圖 26 所示，如果我們要回答兩個人誰更高的問題，我們實際上會執(zhí)行一個 SELECT 語句，首先查找到兩人的高度，然后對高度的數(shù)值進行比較。
在我們建立的數(shù)據(jù)集中，我們考慮了 9 種問題類型，并為知識庫的各種操作定義了 27 個基本函數(shù)，可以回答包含邏輯操作、比較等類型的問題，也可以回答「Yes orNo」的選擇問題。
圖 27：KQA Pro 數(shù)據(jù)集的構(gòu)建
在構(gòu)建 KQA Pro 數(shù)據(jù)集的過程中，最終核心的部分是定義組合性的基本函數(shù)，以及通過組合這些基本函數(shù)構(gòu)建推理的程序。我們把該過程稱為可編程的函數(shù)組合。在構(gòu)造過程中，我們首先基于知識庫的模板生成大規(guī)模的問題，然后通過眾包重寫問題，再請其他人對重寫的問題進行驗證。
圖 28：知識抽取
在數(shù)據(jù)集的構(gòu)造過程中，不失通用性，我們使用了常用的 FB15K 數(shù)據(jù)集中的對象關(guān)系屬性。在FB15K的基礎(chǔ)之上擴展了各種更加詳細的屬性，將其與 WikiData 進行關(guān)聯(lián)，并加入一些有歧義的實體。最終，得到的KQA Pro數(shù)據(jù)集包含了 700 多種概念，1 萬多個實體，實體具有 300 多種關(guān)系型的屬性，800 多種數(shù)值型、字符串型屬性，以及上百萬個三元組。
圖 29：問題生成
在生成問題的過程中，我們需要解決兩個問題：（1）保證問題的復雜性和多樣性（2）明確提出的問題，定位到對應(yīng)的答案。具體而言，在生成問題時，通過在知識圖譜上進行采樣的方式，先確定準確答案所在位置，然后用遞歸組合的方式擴展問題，讓它成為一個復雜問題。
圖 30：問題生成——定位階段
我們的實體定位策略如圖 30 所示，先定位到實體對應(yīng)的概念，然后用概念和屬性值進一步深度的擴展。例如，要定位某人口大于一定閾值的城市，可以通過關(guān)系擴展該問題，然后給出建立對應(yīng)的嵌入式擴展問題的模式。
圖 31：提問階段
綜上，可以支持 9 種復雜問題的提問方式，包括了計數(shù)、比較、驗證和邏輯操作等豐富多樣的問題。
圖 31：重寫和評價
我們在亞馬遜AMT眾包平臺上讓標注者重寫機器生成的問題。針對每一個重寫出來的問題，還有另外 5 個標注者評價該問題是否與原問題的意思相同，并且評價該問題是否符合自然語言的表達。
圖 32：數(shù)據(jù)集簡介
KQA Pro 數(shù)據(jù)集的程序中函數(shù)的組成、問題類型的分布、問題的長度如圖 32 所示。
圖 33：采樣
我們還為每一個問答對設(shè)計了對應(yīng)的 SPARQL 程序。在此基礎(chǔ)之上能夠構(gòu)造有 10 種選項的選擇題，同時讓問答系統(tǒng)給出最終的標準答案。
圖 34：在 KQA Pro 數(shù)據(jù)集上測試現(xiàn)有模型的結(jié)果
構(gòu)建好數(shù)據(jù)集后，我們在端到端的環(huán)境下只利用問題和答案訓練問答模型，測試現(xiàn)有的最好模型在我們的數(shù)據(jù)集上的性能。實驗結(jié)果表明，現(xiàn)有的方法在 KQA Pro 上性能比在其它數(shù)據(jù)集上差很多。這說明，KQA Pro 上的問答任務(wù)較為困難。
圖 35：多階段訓練實驗結(jié)果
我們觀察到，如果我們將這個端到端的過程分解為根據(jù)問題得到對問題的語義解析，再在此基礎(chǔ)之上生成答案，使用BART 模型對問題的解析正確率能達到 80% 以上。這說明，對問題的理解實際上是一個認知過程。這種多階段的方式比端到端訓練模型的方式效果要好很多，說明中間的語義解析十分重要。
圖 36：實驗結(jié)果
我們可以更加透明地將推理過程顯示出來。相較于 SPARQL，我們可以更清楚地知道推理出現(xiàn)了哪些錯誤。SPARQL 中涉及很多的變量，而我們可以很容易地在序列化執(zhí)行過程中定位到問題，并對該問題進行修正。
圖 37：KQA Pro+
目前，我們將該框架應(yīng)用于完整的 Wikidata 數(shù)據(jù)上，該數(shù)據(jù)集涉及到 2000 多個屬性。我們試圖利用屬性生成復雜問題，目前已經(jīng)生成了上百萬問題。我們希望可以用自然語言問答 Wikidata 上生成的問題，對于任何存在于 Wikidata 上的知識，我們都可以得到正確的對問題的理解，生成用戶想要的答案。
結(jié)語：邁向認知推理
圖 38：結(jié)語
總結(jié)一下，知識驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合的表征和推理是機器智能研究的重要基礎(chǔ)，我們提出了基于圖的可解釋認知推理框架。未來我們希望構(gòu)建可擴展的通用推理函數(shù)庫，找到構(gòu)建推理過程所需的基本函數(shù)，并構(gòu)建這些函數(shù)的模塊神經(jīng)網(wǎng)絡(luò)。今后，我們希望能夠考慮多模態(tài)的認知推理，并且實現(xiàn)增量性學習的推理過程。
雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)特約稿件，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
