雷鋒網(wǎng) AI 科技評論按：本文作者李航，首發(fā)于《中國計算機(jī)學(xué)會通信》2018 年第 3 期，AI 科技評論獲其授權(quán)轉(zhuǎn)載。該文未經(jīng)許可，禁止進(jìn)行轉(zhuǎn)載、摘編、復(fù)制及建立鏡像等任何使用。如需轉(zhuǎn)載，請通過向 CCFvoice 公眾號后臺申請并獲得授權(quán)。

從一個悲劇故事談起

黛博拉(Deborah)輕輕地推開房門，探頭往里看?？巳R夫(Clive)發(fā)現(xiàn)進(jìn)來的是妻子，臉上露出無限的喜悅。他直奔門前，高喊「太好了」，并張開雙臂緊緊地抱住黛博拉?？巳R夫一邊和黛博拉親吻，一邊說「你來了，真讓我吃驚」。接著兩人又開始擁抱，好像分別已久。坐下來后，黛博拉用溫柔的眼光看著克萊夫說「其實我今天早上也來過」，克萊夫搖搖頭反駁道「不可能，這是我今天第一次見到你?！惯@樣的場景每天都在黛博拉和克萊夫之間重復(fù)上演。

克萊夫·韋爾林(Clive Wearing)是英國的一位音樂家1 。他四十多歲的時候突然患上了病毒性腦炎，這是一種死亡率很高的疾病。幸運(yùn)的是他活了下來，不幸的是疾病給他留下了失憶癥(amnesia)。過去發(fā)生的很多事情已不能記起，但他還認(rèn)識妻子，卻不認(rèn)識女兒。更嚴(yán)重的是他對當(dāng)前發(fā)生的事情不能記憶到腦子里，幾分鐘后就會完全忘記。他的行動沒有任何問題，語言和思維似乎也正常，可以飲食、行走、說話、寫字，甚至彈琴、唱歌，看上去和正常人一樣。但他就是長期記憶(long term memory)出了問題。他感受到的世界和大家是一樣的，但轉(zhuǎn)過頭去，剛發(fā)生的一切就會從腦海中消失，他所擁有的只是「瞬間到瞬間的意識」，沒有過去可以聯(lián)系，也沒有未來可以展望。

克萊夫·韋爾林用自己不幸的經(jīng)歷為我們揭示了長期記憶對我們的智能，乃至我們的人生的重要意義。

記憶與智能

人腦的記憶模型如圖 1 所示，由中央處理器、寄存器、短期記憶和長期記憶組成。視覺、聽覺等傳感器從外界得到輸入，存放到寄存器中，在寄存器停留 1~5 秒。如果人的注意力關(guān)注這些內(nèi)容，就會將它們轉(zhuǎn)移到短期記憶，在短期記憶停留 30 秒左右。如果人有意將這些內(nèi)容記住，就會將它們轉(zhuǎn)移到長期記憶，半永久地留存在長期記憶里。人們需要這些內(nèi)容的時候，就從長期記憶中進(jìn)行檢索，并將它們轉(zhuǎn)移到短期記憶，進(jìn)行處理[1]。

圖 1 人腦記憶模型

長期記憶的內(nèi)容既有信息，也有知識。簡單地說，信息表示的是世界的事實，知識表示的是人們對世界的理解，兩者之間并不一定有明確的界線。人在長期記憶里存儲信息和知識時，新的內(nèi)容和已有的內(nèi)容聯(lián)系到一起，規(guī)模不斷增大，這就是長期記憶的特點(diǎn)。

大腦中，負(fù)責(zé)向長期記憶讀寫的是邊緣系統(tǒng)中的海馬體(hippocampus)。克萊夫·韋爾林患失憶癥，是因為海馬體受到了損傷。長期記憶實際上存在于大腦皮層(cerebral cortex)。在大腦皮層，記憶意味著改變腦細(xì)胞之間的鏈接，構(gòu)建新的鏈路，形成新的網(wǎng)絡(luò)模式。

我們可以認(rèn)為，現(xiàn)在的人工智能系統(tǒng)是沒有長期記憶的。無論是阿爾法狗，還是自動駕駛汽車，都是重復(fù)使用已經(jīng)學(xué)習(xí)好的模型或者已經(jīng)被人工定義好的模型，不具備不斷獲取信息和知識，并把新的信息與知識加入到系統(tǒng)中的機(jī)制。假設(shè)人工智能系統(tǒng)也有意識的話，那么其所感受到的世界和克萊夫·韋爾林是一樣的，那就是，只有瞬間到瞬間的意識。

那么，意識是什么？這是當(dāng)今科學(xué)的最大疑團(tuán)之一，眾說紛紜，莫衷一是。日裔美國物理學(xué)家加萊道雄 (Michio Kaku)給出了他的定義。如果一個系統(tǒng)與外部環(huán)境（包括生物、非生物、空間、時間）互動過程中，其內(nèi)部狀態(tài)隨著環(huán)境的變化而變化，那么這個系統(tǒng)就擁有「意識」[2]。按照這個定義，溫度計、花兒是有意識的系統(tǒng)，人工智能系統(tǒng)也是有意識的。擁有意識的當(dāng)前的人工系智能系統(tǒng)缺少的是長期記憶。

具有長期記憶將使人工智能系統(tǒng)演進(jìn)到一個更高的階段。這應(yīng)該是人工智能今后發(fā)展的方向。

智能問答系統(tǒng)

未來人工智能技術(shù)不斷發(fā)展，預(yù)計將會出現(xiàn)智能性的問答系統(tǒng)，系統(tǒng)包括語言處理模塊、短期記憶、長期記憶、中央處理模塊（如圖 2 所示）。有大量的結(jié)構(gòu)化的、非結(jié)構(gòu)化的信息和知識作為輸入，也有大量的問答語對作為訓(xùn)練數(shù)據(jù)。系統(tǒng)能夠自動獲取信息與知識，掌握語言理解與生成能力，將信息和知識處理存儲到長期記憶，理解用戶用自然語言提的問題，利用記憶的信息與知識給出正確的答案。

圖 2 智能問答系統(tǒng)

在某種意義上，現(xiàn)在已經(jīng)存在這種系統(tǒng)的原型，例如，互聯(lián)網(wǎng)搜索引擎就可以看作是其簡化版。但是要真正構(gòu)建人類的智能信息助手，還有許多難關(guān)要攻克，有許多課題要解決。

知識問答的本質(zhì)問題是：(1)語義分析，即將輸入的自然語言的表示映射到內(nèi)部的語義表示；(2)知識表示，即將輸入的信息知識轉(zhuǎn)換為內(nèi)部的語義表示。最大的挑戰(zhàn)來自語言的多義性和多樣性，以及知識的模糊性。

語言具有多義性(ambiguity)，也就是說一個表達(dá)可以表示不同的意思。下面是語言學(xué)家查爾斯·菲爾默(Charles Fillmore)給出的例子。英語單詞 climb，其基本語義是四肢用力沿著一條軌跡向上移動，表示「向上爬」的意思。所以如果用 climb 造句，大家一般會給出這樣的句子「The boy climbed the tree」（男孩爬上了樹）。但是 climb 一詞的語義會向不同方向擴(kuò)展，可以說「Prices are climbing day by day」（物價每日飆升），這里 climb 就沒有了四肢用力移動的意思。也可以說「He climbed out of a sleeping bag」（他從睡袋中爬出），這里 climb 就沒有了向上移動的意思。語言的詞匯都具有如下性質(zhì)：有一個核心的語義，對應(yīng)一些典型說法，可以由一些特征表示。但部分特征可以缺失，形成新的語義，產(chǎn)生新的說法。語言中，除了詞匯的多義性，還有句法的多義性。

同時語言也具有多樣性(variability)，也就是說多個表達(dá)可以表示同一個意思。比如，「地球和太陽的距離」，「地球離太陽有多遠(yuǎn)？」，「太陽和地球相隔有多少公里？」等，都是同義表達(dá)。

人們的知識，特別是常識，具有模糊性(fuzziness)。下面是人工智能研究的先驅(qū)者特里·維諾格拉特(Terry Winograd)給出的例子。英文中，bachelor 是指未婚成年男性，即單身的意思?？此剖且粋€明確的概念，但是當(dāng)我們判斷現(xiàn)實中的具體情況時，就會發(fā)現(xiàn)我們對這個概念的認(rèn)識是模糊的，比如，未婚父親是否是 bachelor？假結(jié)婚的男子是否是 bachelor？過著花花公子生活的高中生是否是 bachelor？大家并沒有一致的意見。

神經(jīng)符號處理

近年，深度學(xué)習(xí)給自然語言處理帶來了巨大變化，使機(jī)器翻譯、對話等任務(wù)的性能有了大幅度的提升，成為領(lǐng)域的核心技術(shù)。但是另一方面，深度學(xué)習(xí)用于自然語言處理的局限也顯現(xiàn)出來。面向未來，深度學(xué)習(xí)（神經(jīng)處理）與傳統(tǒng)符號處理的結(jié)合應(yīng)該成為一個重要發(fā)展方向，神經(jīng)符號處理(neural symbolic processing)的新范式被越來越多的人所接受，其研究也取得初步進(jìn)展。

圖 3 基于神經(jīng)符號處理的智能問答系統(tǒng)

深度學(xué)習(xí)用實數(shù)向量來表示語言，包括單詞、句子、文章，向量表示又稱為神經(jīng)表示(neural representation)。神經(jīng)表示的優(yōu)點(diǎn)在于其穩(wěn)健性，可以更好地應(yīng)對語言的多義性和多樣性，以及語言數(shù)據(jù)中的噪音。另一方面，傳統(tǒng)的符號表示(symbolic representation)的優(yōu)點(diǎn)在于其可讀性和可操作性。語言是基于符號的，計算機(jī)擅長的是符號處理，用符號表示語言處理的結(jié)果是自然的選擇。神經(jīng)符號處理旨在同時使用神經(jīng)表示與符號表示來描述語言的語義，發(fā)揮兩者的優(yōu)勢，更好地進(jìn)行自然語言處理。

基于神經(jīng)符號處理的智能問答系統(tǒng)也是由語言處理模塊、短期記憶、長期記憶、中央處理模塊組成，如圖 3 所示。語言處理模塊又由編碼器和解碼器組成。編碼器將自然語言問題轉(zhuǎn)換為內(nèi)部的語義表示，存放在短期記憶中，包括符號表示和神經(jīng)表示。中央處理模塊通過問題的語義表示，從長期記憶中找出相關(guān)的信息和知識。長期記憶中的信息和知識也是基于符號表示和神經(jīng)表示的。找到相關(guān)的答案后，解碼器把答案的語義表示轉(zhuǎn)換為自然語言答案。

最新進(jìn)展

實現(xiàn)問答系統(tǒng)有三種方法，分別是基于分析的、檢索的、生成的方法。通常是單輪對話，也可以是多輪對話。這里考慮單輪的基于分析的問答系統(tǒng)。

傳統(tǒng)的技術(shù)是語義分析(semantic parsing) [3]?；谌斯ざx的語法規(guī)則，對問句進(jìn)行句法分析以及語義分析，得到內(nèi)部語義表示——邏輯表達(dá)式。語義分析需要人工定義句法，開發(fā)成本較高，可擴(kuò)展性不好。

近年，基于神經(jīng)符號處理的問答系統(tǒng)的研究有了很大突破?？梢詮臄?shù)據(jù)出發(fā)，完全端到端地構(gòu)建問答系統(tǒng)。不需要人工干預(yù)，只需要提供足夠量的訓(xùn)練數(shù)據(jù)。問答的準(zhǔn)確率也有了一定的提升。傳統(tǒng)的語義分析技術(shù)被顛覆。下面介紹幾個有代表性的工作。

臉書(Facebook)的韋斯頓(Weston)等人提出了記憶網(wǎng)絡(luò)(memory networks)框架[4]，可以用于如下場景的問答：

John is in the playground.

Bob is in the office.

John picked up the football.

Bob went to the kitchen.

Q: where is the football?

A: playground.

記憶網(wǎng)絡(luò)由神經(jīng)網(wǎng)絡(luò)和長期記憶組成。長期記憶是一個矩陣，矩陣的每一個行向量是一個句子的語義表示。閱讀時，記憶網(wǎng)絡(luò)可以把給定的句子轉(zhuǎn)換成內(nèi)部表示，存儲到長期記憶中。問答時，把問句也轉(zhuǎn)換成內(nèi)部表示，與長期記憶中每行的句子語義表示進(jìn)行匹配，找到答案，并做回答。

谷歌 DeepMind 的格拉夫(Graves)等發(fā)明了可微分神經(jīng)計算機(jī)(differentiable neural computer)模型[5]。該模型由神經(jīng)網(wǎng)絡(luò)和外部記憶組成。外部記憶是一個矩陣，可以表示復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)對外部記憶進(jìn)行讀寫，它有三種類型，擁有不同的注意力機(jī)制，表示三種不同的讀寫控制，對應(yīng)哺乳動物中海馬體的三種功能。神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)中進(jìn)行端到端的學(xué)習(xí)，學(xué)習(xí)的目標(biāo)函數(shù)是可微分的函數(shù)。可微分神經(jīng)計算機(jī)模型被成功應(yīng)用到了包括智能問答的多個任務(wù)中。

谷歌的尼拉康藤(Neelakantan)等開發(fā)了神經(jīng)編程器(neural programmer)模型[6]，可以從關(guān)系數(shù)據(jù)庫中尋找答案，自動回答自然語言問題。模型整體是一個循環(huán)神經(jīng)網(wǎng)絡(luò)。每一步都是基于問句的表示（神經(jīng)表示）以及前一步的狀態(tài)表示（神經(jīng)表示），還包括計算操作的概率分布和列的概率分布，以及選擇對數(shù)據(jù)庫表的一個列來執(zhí)行一個操作（符號表示）。順序執(zhí)行這些操作，并找到答案。操作表示對數(shù)據(jù)庫列的邏輯或算數(shù)計算，如求和、大小比較。學(xué)習(xí)時，整體目標(biāo)函數(shù)是可微分的，用梯度下降法訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)。

谷歌的 Liang 等開發(fā)了神經(jīng)符號機(jī)(neural symbolic machines)模型[7]。神經(jīng)符號機(jī)可以從知識圖譜三元組中找到答案，回答像「美國最大的城市是哪個？」這樣的問題。模型是序列對序列(sequence-to-sequence)模型，將問題的單詞序列轉(zhuǎn)換成命令的序列。命令的序列是 LISP 語言2的程序，執(zhí)行程序就可以找到答案。神經(jīng)符號機(jī)的最大特點(diǎn)是序列對序列模型表示和使用程序執(zhí)行的變量，用附加的鍵-變量記憶(key-variable memory)記錄變量的值，其中鍵是神經(jīng)表示，變量是符號表示。模型的訓(xùn)練是基于強(qiáng)化學(xué)習(xí)（策略梯度法）的端到端的學(xué)習(xí)。

圖 4 包含查詢器的智能問答系統(tǒng)

華為公司的呂正東等開發(fā)了神經(jīng)查詢器(neural enquirer)、符號查詢器(symbolic enquirer)和連接查詢器(coupled enquirer)三個模型[8,9]，用于自然語言的關(guān)系數(shù)據(jù)庫查詢。例如，可以從奧林匹克運(yùn)動會的數(shù)據(jù)庫中尋找答案，回答「觀眾人數(shù)最多的奧運(yùn)會的舉辦城市的面積有多大？」這樣的問題。問答系統(tǒng)包括語言處理模塊、短期記憶、長期記憶和查詢器，語言處理模塊又包括編碼器和解碼器。圖 4 即是這種架構(gòu)的具體實現(xiàn)。查詢器基于短期記憶的問題表示（神經(jīng)表示）從長期記憶的數(shù)據(jù)庫中（符號表示與神經(jīng)表示）尋找答案。符號查詢器是一個循環(huán)神經(jīng)網(wǎng)絡(luò)，將問句的表示（神經(jīng)表示）轉(zhuǎn)換為查詢操作（符號表示）的序列，執(zhí)行操作序列就可以找到答案。利用強(qiáng)化學(xué)習(xí)，具體的策略梯度法，可以端到端地學(xué)習(xí)此循環(huán)神經(jīng)網(wǎng)絡(luò)。神經(jīng)查詢器是一組深度神經(jīng)網(wǎng)絡(luò)，將問句的表示（神經(jīng)表示）多次映射到數(shù)據(jù)庫的一個元素（符號表示），也就是答案，其中一個神經(jīng)網(wǎng)絡(luò)表示一次映射的模式。利用深度學(xué)習(xí)，具體的梯度下降法，可以端到端地學(xué)習(xí)這些深度神經(jīng)網(wǎng)絡(luò)。符號查詢器執(zhí)行效率高，學(xué)習(xí)效率不高；神經(jīng)查詢器學(xué)習(xí)效率高，執(zhí)行效率不高。連接查詢器結(jié)合了兩者的優(yōu)點(diǎn)。學(xué)習(xí)時首先訓(xùn)練神經(jīng)查詢器，然后以其結(jié)果訓(xùn)練符號查詢器，問答時只使用符號查詢器。

未來展望

計算機(jī)最擅長的是計算和存儲，其強(qiáng)大的計算能力已經(jīng)在現(xiàn)實中展現(xiàn)出巨大的威力，但是其強(qiáng)大的存儲能力并沒有得到充分的發(fā)揮，通常存儲的是數(shù)據(jù)，而不是信息和知識。計算機(jī)還不能自動地對數(shù)據(jù)進(jìn)行篩選和提煉，抽取信息和知識，并把它們關(guān)聯(lián)起來，存儲在長期記憶里，為人類服務(wù)。

可以預(yù)見，未來會有這樣的智能信息和知識管理系統(tǒng)出現(xiàn)，它能夠自動獲取信息和知識，如對之進(jìn)行有效的管理，能準(zhǔn)確地回答各種問題，成為每一個人的智能助手。人工智能技術(shù)，特別是神經(jīng)符號處理技術(shù)，有望幫助我們實現(xiàn)這樣的夢想。期盼這一天的到來！

致謝

感謝呂正東、蔣欣、尚利峰、牟力立、殷鵬程等，本文中的很多想法是在與他們合作的工作中產(chǎn)生的。

作者簡介 

李航

• CCF高級會員，CCCF特邀專欄作家

• 今日頭條人工智能實驗室主任

• 研究方向:自然語言處理、信息檢索、機(jī)器學(xué)習(xí)等

 腳注 

1互聯(lián)網(wǎng)上有文章和視頻介紹克萊夫·韋爾林的生平。

2LISP是 List Processing 的縮寫，是一種早期開發(fā)的、具有重大意義的表處理語言。它適用于符號處理、自動推理、硬件描述和超大規(guī)模集成電路設(shè)計等。

 參考文獻(xiàn) 

[1] Frank L. Learning and Memory: How It Works and When It Fails. Stanford Lecture, 2010.

[2] Michio K. Consciousness Can be Quantified. Big Think, Youtube, 2014.

[3] Percy L. Learning Executable Semantic Parsers for Natural Language Understanding [J]. Communications of the ACM, 2016.

[4] Weston J, Chopra S, Bordes A. Memory Networks[C]// Proceedings of the International Conference on Learning Representations (ICLR), 2015.

[5] Graves A, Wayne G, Reynolds M, et al. Hybrid computing using a neural network with dynamic external memory [J]. Nature, 2016, 538(7626):471.

[6] Neelakantan A, Le Q V, Sutskever I. Programmer: Inducing Latent Programs with Gradient Descent[C]// Proceedings of the International Conference on Learning Representations (ICLR), 2016.

[7] Liang C, Berant J, Le Q, et al. Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision[C]// Proceedings of the 55th Annual Meeting of Association for Computational Linguistics (ACL’17), 2017.

[8] Yin P, Lu Z, Li H, Kao B. Neural Enquirer: Learning to Query Tables with Natural Language[C]// Proceedings of the 25th International Joint Conference on Artificial Intelligence (IJCAI’16), 2016:2308-2314.

[9] Mou L, Lu Z, Li H, Jin Z, Coupling Distributed and Symbolic Execution for Natural Language Queries[C]// Proceedings of the 34th International Conference on Machine Learning (ICML’17), 2017:2518-2526.

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。