0
| 本文作者： 我在思考中 | 2022-05-05 11:55 |
作者 | 丁效
整理 | 維克多
在過去十年的人工智能浪潮中，以深度學(xué)習(xí)為代表的人工智能技術(shù)已基本實現(xiàn)了視覺、聽覺等感知智能，但依然無法很好地做到思考、推理等認(rèn)知智能。
4月9日，哈爾濱工業(yè)大學(xué)計算學(xué)部副研究員丁效，在AI TIME青年科學(xué)家——AI 2000學(xué)者專場論壇上，做了《基于神經(jīng)符號的認(rèn)知推理方法》的報告，分享了神經(jīng)網(wǎng)絡(luò)方法執(zhí)行符號推理任務(wù)的最新進展，同時也給出了將符號知識注入神經(jīng)網(wǎng)絡(luò)的思路以及如何將神經(jīng)網(wǎng)絡(luò)與符號系統(tǒng)相融合。
以下是演講原文，AI科技評論做了不改變原意的整理。
今天和大家分享神經(jīng)符號認(rèn)知推理方面的研究工作。人工智能（AI）已經(jīng)歷了第一代符號智能，第二代感知智能以及當(dāng)前的認(rèn)知智能。認(rèn)知智能是一種融合的狀態(tài)，強調(diào)表示學(xué)習(xí)與復(fù)雜知識推理的有機結(jié)合是人工智能進步的階梯。
實際上，在自然語言處理（NLP）領(lǐng)域，預(yù)訓(xùn)練模型規(guī)模以每年約10倍的速度增長， 模型的通用智能水平顯著增強。如上圖，無論是計算的復(fù)雜度、參數(shù)以及訓(xùn)練時間，隨著時間的推移，都有跨越性的發(fā)展，也促使模型性能大幅度提升。
同時，預(yù)訓(xùn)練語言模型還有很大的發(fā)展空間。例如詢問GPT-3：烤箱和鉛筆哪個更重？腳有幾只眼睛？等問題，它的回答的結(jié)果差強人意。根本原因是缺少對知識的推理的能力，以及對推理結(jié)果的可解釋性。
如何解決？我認(rèn)為需要開發(fā)新的計算范式，即將基于感知的深度學(xué)習(xí)和基于認(rèn)知的符號計算，進行融合。
傳統(tǒng)基于符號的表示，例如在NLP領(lǐng)域，對于句子的處理是分詞，文本中有1萬個詞就對應(yīng)1萬維。
現(xiàn)在分布式的表示方法是基于神經(jīng)網(wǎng)絡(luò)，需要學(xué)習(xí)出每個詞的向量，此向量維度不高，也不會那么稀疏，它是低維稠密的實數(shù)值向量，很容易捕獲文本的語義信息。
利用符號系統(tǒng)和利用上下文表示的系統(tǒng)有什么區(qū)別？首先對于詞匯的理解，一定離不開上下文的語義的理解。例如：小明離開星巴克和喬布斯離開蘋果公司，同樣是離開一詞，前者可能表示消費完了，離開某個商店，后者可能表示辭職。因此，兩種語義是截然不同的。
傳統(tǒng)的NLP任務(wù)從語料中提取特征，利用統(tǒng)計關(guān)系學(xué)習(xí)建模語義結(jié)構(gòu)，屬于符號系統(tǒng)處理方法。給定若干個任務(wù)，例如共旨消解、語義角色標(biāo)注、依存分析或者NER等等任務(wù)，傳統(tǒng)方法是手工提取一些特征，然后把特征輸入到一些統(tǒng)計模型當(dāng)中，然后得出分類結(jié)果、預(yù)測結(jié)果。
傳統(tǒng)的 NLP的處理方式，提取特征可以認(rèn)為是符號系統(tǒng)，即手工提取的特征本身就可以用來解釋最后的預(yù)測結(jié)果，這是典型的可解釋的方式。
基于神經(jīng)網(wǎng)絡(luò)的分布式的語義表示，在處理各種NLP任務(wù)時，“省略”了特征提取步驟，有幾個特點：1. 單詞用稠密的低維向量表示；2.上下文語義表示是單詞語義表示的組合；3.表示向量與組合方式需要在大量的數(shù)據(jù)上進行訓(xùn)練；4.能夠得到詞的任務(wù)特異表示。
雖然運用神經(jīng)網(wǎng)絡(luò)能夠得到遠(yuǎn)超以前的性能，但也有“需要大量訓(xùn)練數(shù)據(jù)”、“可解釋性差”、“推理基于表面特征”等缺點。
神經(jīng)方法和符號方法各有哪些優(yōu)缺點？符號AI對于規(guī)則、知識，能夠可程序化，可以用編程的方式直接把規(guī)則編寫到程序當(dāng)中，然后可以進行精確、嚴(yán)格的匹配、推理，得到的結(jié)果也是符合規(guī)則的，因此解釋性強。缺點是構(gòu)造成本太高，覆蓋率低，穩(wěn)定性也不太夠。
神經(jīng)方法的優(yōu)點是表示能力非常強，任務(wù)的適應(yīng)性很強，無論生成任務(wù)，還是分類任務(wù)，亦或回歸任務(wù)都能“拿下”。缺點是學(xué)習(xí)最簡單的模式，距離人的智慧還有很大的距離，以及一直被詬病的黑盒、不可解釋性等等。
顯然，如果有方法將神經(jīng)與符號相融合就能優(yōu)勢互補。目前，有三種方法可供參考：
1.神經(jīng)網(wǎng)絡(luò)方法執(zhí)行符號推理任務(wù)，神經(jīng)網(wǎng)絡(luò)在此過程當(dāng)中可能幫助我們把詞進行泛化。
2. 符號知識注入神經(jīng)網(wǎng)絡(luò)。進行損失函數(shù)設(shè)計，或者進行一些正則化的約束，或者進行數(shù)據(jù)增廣等操作。
3. 神經(jīng)網(wǎng)絡(luò)與符號系統(tǒng)相融合。即不以符號為主，也不以神經(jīng)為主，而是進行有機融合。
在NLP處理領(lǐng)域，如果想獲得以“類人”方式學(xué)習(xí)和思考的機器，需要在語義合成、推理、常識學(xué)習(xí)，學(xué)會學(xué)習(xí)等四個方面努力。NLP中的推理是指文本推理能夠推動另外三個任務(wù)不斷的進步。
文本推理是指給定文本形式的前提(Premise)與前提相關(guān)的某一假設(shè)(Hypothesis)，建模文本語義與文本結(jié)構(gòu)，以判斷前提與假設(shè)之間的關(guān)系。具體的例子如下圖所示：
文本推理有三個典型的任務(wù)，文本蘊含、因果推理以及故事結(jié)尾預(yù)測。結(jié)合認(rèn)知的文本推理，其實來源于認(rèn)知科學(xué)當(dāng)中的雙過程的理論。
雙過程理論是指人的思考和學(xué)習(xí)是有兩個系統(tǒng)：直覺系統(tǒng)和邏輯系統(tǒng)。直覺系統(tǒng)幫助我們進行一些直覺的無思決策，快速回答問題；邏輯系統(tǒng)要調(diào)用大腦當(dāng)中存儲的知識進行邏輯的推理。
下面介紹實現(xiàn)剛才提到的三種不同認(rèn)知推理任務(wù)的方法。
符號推理的任務(wù)有很多，自動定理證明、多項選擇問答、邏輯規(guī)則歸納。由于時間有限，主要介紹多項選擇問答任務(wù)。
在去年的EMNLP 2021一篇論文中，我們采用自然邏輯，幫助完成多項式選擇的問答任務(wù)。
自然邏輯是一種語義單調(diào)性的邏輯系統(tǒng)，它主要是定義了7種單詞之間的語義關(guān)系，包括等價、前向蘊含、反向蘊含、前向蘊含、反義、并列、覆蓋、獨立等等。然后我們要在遵循自然邏輯的前提下，在文本上進行推理，例如把句子進行增刪改操作，然后保持語義的不變性，進行替換。
例如：
給定句子：所有的動物需要水
自然邏輯：動物 ? (反向蘊含) 狗
替換操作后：所有的動物需要水 ? 所有的狗需要水
推理中的換詞對NLP中的多項選擇問答任務(wù)非常有必要。例如上圖中的任務(wù)形式：給定問題：嚙齒動物吃植物？知識庫當(dāng)中有一條知識是：松鼠吃松子。
第一步需要進行單詞的替換，將嚙齒動物替換成倉鼠，然后把植物替換成果實，或者把植物可以替換成莊稼。
接下來不斷替換，把植物替換成谷物，把果實替換成堅果，把嚙齒動物替換成田鼠，經(jīng)過一步一步的的替換，最終替換到了知識庫當(dāng)中的某一條知識。因此，基于自然邏輯進行多項選擇問答這條路徑就是可解釋的。其實，不僅是可以替換，也可以增加詞、刪除詞、修改詞。
問題在于是基于語義詞典進行詞的替換，而語義詞典是非常有限的。再者沒有考慮上下文的語義關(guān)系。
引入神經(jīng)網(wǎng)絡(luò)的方法，可以將詞的替換直接進行神經(jīng)化。具體過程可以分為4步：
1. 利用預(yù)訓(xùn)練語言模型生成候選單詞
2. 判斷原單詞和候選單詞之間的語義關(guān)系
3. 根據(jù)上下文的單調(diào)性將詞級別的語義關(guān)系映射到句子級別
4. 保留滿足恒等和反向蘊含關(guān)系的候選句
符號知識注入神經(jīng)網(wǎng)絡(luò)的方式有很多，可以利用邏輯規(guī)則約束神經(jīng)網(wǎng)絡(luò)的模型；可以利用基于邏輯規(guī)則進行數(shù)據(jù)增強的任務(wù)。
例如數(shù)據(jù)增強，給定三元組 B的首都是A（A,首都,B），可以擴展出A位于B。具體一些，知識庫總已經(jīng)有: （北京，首都，中國），則基于該規(guī)則可以補充額外的三元組（北京，位于，中國）。
如何利用邏輯規(guī)則，約束神經(jīng)模型？上圖是事件時間常識知識預(yù)測任務(wù)，其中預(yù)測為對應(yīng)的時間單元：給定事件起床，推測頻率、持續(xù)時間以及典型發(fā)生時間。
這些事件的常識知識有什么用？可以把事件的常識知識注入到預(yù)訓(xùn)練語言模型當(dāng)中，讓模型對事件時間的常識知識能夠掌握，會讓模型在進行時間相關(guān)的推理的工作中更加高效。
存在的問題在于，從文本中無監(jiān)督抽取的時間常識可能存在報告偏差（Reporting Bias）。例如常見的情況的在文本中并未顯式提及：自然文本中幾乎不會有“睡醒之后，我一般要花幾分鐘的時間起床”等類似的表達(dá)！ 在文本表達(dá)中會對非尋?，F(xiàn)象加以強調(diào)：我每天都得花一個小時才能起床！。
如何解決？利用不同維度間的時間常識知識之間的約束關(guān)系，減緩報告誤差。對于“我是在媽媽準(zhǔn)備早餐期間起床的”，利用事件間時序關(guān)系可以得出：起床的持續(xù)時間短于準(zhǔn)備早餐 ；“自己在家準(zhǔn)備早餐，十分鐘就可以搞定” 可以得出：準(zhǔn)備早餐的持續(xù)時間大概約為10分鐘。
下表詳細(xì)總結(jié)了類似于上述所有的可能的互補關(guān)系：
此規(guī)則怎樣利用？我們設(shè)計了基于軟邏輯規(guī)則的時間的常識預(yù)測。給定輸入：我是在媽媽<e2>準(zhǔn)備早餐</e2>期間<e1>起床</e1>的，得到原子式：<HRCHY((e1,e2),during>，然后將原子式概括成概率軟邏輯規(guī)則，如下圖。
將概率軟邏輯規(guī)則放到神經(jīng)網(wǎng)絡(luò)模型當(dāng)中，將其制作成損失函數(shù)。這一步是在交叉熵?fù)p失函數(shù)的基礎(chǔ)上，添加了概率軟邏輯的約束損失，使得模型在做的時間推理的過程當(dāng)中，既考慮概率軟邏輯的規(guī)則，同時考慮對于語義理解之后的的推理結(jié)果。
融合神經(jīng)和符號的推理系統(tǒng)，在進行數(shù)值運算，因果邏輯推理，一階謂詞邏輯規(guī)則等方面具有優(yōu)勢。它可以利用神經(jīng)網(wǎng)絡(luò)模塊，顯式建模符號規(guī)則。
傳統(tǒng)的因果推理模型多數(shù)以黑盒方式，直接從標(biāo)注的因果事件對中學(xué)習(xí)因果知識。因此可能利用部分與標(biāo)簽存在相關(guān)關(guān)系的統(tǒng)計特征做出判斷，致推理結(jié)果的不穩(wěn)定，不可靠，不可解釋。
如何還原背后的因果決策機制？我們提出引入中間證據(jù)事件，還原背后的因果邏輯鏈條。這種因果邏輯鏈條提供了更強的可解釋性。在ACL 2021上，我們的工作ExCAR: 事理圖譜知識增強的因果推理框架，能夠從預(yù)先構(gòu)建的事理圖譜中獲取中間證據(jù)事件。
具體而言是使用條件馬爾可夫神經(jīng)邏輯網(wǎng)絡(luò)(CMNLN)，其中邏輯網(wǎng)絡(luò)具有較強的可解釋性與可靠性。神經(jīng)邏輯網(wǎng)絡(luò)是指利用神經(jīng)網(wǎng)絡(luò)表示規(guī)則，并賦予每個因果規(guī)則以權(quán)重(因果強度)，以應(yīng)對規(guī)則集合中可能存在的噪音與統(tǒng)計關(guān)系的復(fù)雜性。條件馬爾可夫還能支持因果疊加效應(yīng)，即對于同一規(guī)則，不同的前件可能對因果強度帶來不同的影響?；具壿嬍牵鹤C據(jù)事件→邏輯規(guī)則→因果邏輯圖。
下面從人機交互的角度，思考機器學(xué)習(xí)。當(dāng)前的機器學(xué)習(xí)過程：極度依賴靜態(tài)的標(biāo)注數(shù)據(jù)集。例如標(biāo)簽蘊含的信息有限，這導(dǎo)致學(xué)習(xí)效率低下、對于復(fù)雜任務(wù)，標(biāo)注尤為昂貴、數(shù)據(jù)過時導(dǎo)致模型無法使用。
機器向人的學(xué)習(xí)遠(yuǎn)遠(yuǎn)不只是說去學(xué)標(biāo)注的數(shù)據(jù)，可以學(xué)習(xí)的種類非常多樣，例如點擊用戶的行為數(shù)據(jù)，以及用戶的解釋信息。實際上用戶的解釋的信息對于機器學(xué)習(xí)而言是非常重要的。
如上圖的例子，小明根據(jù)ab/b=a，推導(dǎo)出SinX/n=six。老師則認(rèn)為這是不對的，因為Sin是整體，是三角函數(shù)。
因此，基于上述觀察，我們在ACL 2022會議論文中提出，不僅進行因果推理的任務(wù)，還需要給出相應(yīng)的解釋。不只是針對某因果對解釋，可以是概念性的解釋。
例如將鐵塊加入鹽酸中，導(dǎo)致鐵塊被溶解。需要生成概念性的解釋酸具有腐蝕性，顯然這不只是因果對的解釋。
當(dāng)前的因果推理系統(tǒng)仍缺乏此類常識。例如，現(xiàn)有的因果推理數(shù)據(jù)集只提供因果對及其標(biāo)簽，缺少對因果關(guān)系原理層面的解釋。而人類能夠同時運用具體的因果知識，以及對于因果機制的深入理解以高效、可靠地推理出因果關(guān)系。因此，未來認(rèn)知推理，它一定需要和腦科學(xué)進行結(jié)合。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
