雷鋒網(wǎng) AI 科技評(píng)論按：以微軟小冰為代表的聊天機(jī)器人已經(jīng)滲透到我們的日常生活中，雖然小冰會(huì)賣萌懂幽默，但距離真正的共情、理解人類的情緒還是有一定的距離。清華大學(xué)計(jì)算機(jī)系朱小燕、黃民烈老師團(tuán)隊(duì)今年的一項(xiàng)研究工作希望讓聊天機(jī)器人具備這樣的能力。

在這個(gè)名為 ECM（Emotional Chatting Machine：情緒化聊天機(jī)器人）、基于深度學(xué)習(xí)的情感對(duì)話模型中，團(tuán)隊(duì)首次將情感因素引入了基于深度學(xué)習(xí)的生成模型中。

相關(guān)論文可查看《Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory》，作者周昊、黃民烈、張?zhí)鞊P(yáng)、朱小燕、劉兵。

9 月份，黃民烈博士也帶領(lǐng)清華的兩位學(xué)生，聯(lián)合搜狗搜索團(tuán)隊(duì)一舉獲得了全球唯一開放域?qū)υ捲u(píng)測(cè)比賽 NTCIR-STC2 的冠軍。雷鋒網(wǎng) AI 科技評(píng)論與黃民烈博士取得聯(lián)系，與他交流了近期的一些研究工作，并探討了聊天機(jī)器人的情緒機(jī)制設(shè)計(jì)。

黃民烈，清華大學(xué)計(jì)算機(jī)系副教授。研究興趣主要集中在深度學(xué)習(xí)、機(jī)器學(xué)習(xí)方法與應(yīng)用，自然語言處理如自動(dòng)問答、人機(jī)對(duì)話系統(tǒng)、情感分析等。已超過 40 篇 CCF A/B 類論文發(fā)表在 ACL、IJCAI、AAAI、EMNLP、KDD 等國(guó)際主流會(huì)議及 ACM TOIS、Bioinformatics 等期刊上，SCI 他引超過 300 次。曾擔(dān)任多個(gè)國(guó)際會(huì)議的領(lǐng)域主席或高級(jí)程序委員，如 IJCAI 2017高級(jí)程序委員， ACL 2016、EMNLP 2014/2011、IJCNLP 2017 等國(guó)際會(huì)議領(lǐng)域主席，擔(dān)任多個(gè)國(guó)際頂級(jí)期刊的審稿人。

目前對(duì)話系統(tǒng)有兩種主要模式，一種基于信息檢索，即在數(shù)據(jù)庫(kù)或語料庫(kù)中找尋相近內(nèi)容的答復(fù)作為返回答復(fù)，現(xiàn)在有很多工作及實(shí)際應(yīng)用也采用的是這種方法。而隨著深度學(xué)習(xí)的發(fā)展，另一種方法——基于深度學(xué)習(xí)的生成式對(duì)話系統(tǒng)也受到了越來越多的關(guān)注。從去年開始，NTCIR-STC2 在基于檢索的任務(wù)上又新增了一項(xiàng)基于生成的任務(wù)評(píng)測(cè)，其重要程度可見一斑。

黃民烈博士告訴雷鋒網(wǎng) AI 科技評(píng)論，有不少生成式對(duì)話系統(tǒng)的工作都將關(guān)注點(diǎn)集中于提升生成語句的語言質(zhì)量，但往往忽略了對(duì)人類情感的理解。因此，團(tuán)隊(duì)著手研究如何讓計(jì)算機(jī)通過文字方式表達(dá)情緒，也是希望能在人機(jī)對(duì)話系統(tǒng)中加入感知情緒的成分，能從語言和情感兩個(gè)維度上生成恰當(dāng)?shù)幕貜?fù)。

根據(jù)論文的介紹，ECM 在傳統(tǒng)的 Sequence to Sequence 模型的基礎(chǔ)上，采用靜態(tài)的情感向量嵌入表示，動(dòng)態(tài)的情感狀態(tài)記憶網(wǎng)絡(luò)和情感詞外部記憶的機(jī)制，讓 ECM 得以根據(jù)用戶的輸入，并基于指定的情感分類（包括快樂、傷感、憤怒、厭煩、好感等五種情緒）輸出相應(yīng)的回復(fù)。

在這項(xiàng)研究中，ECM 首次將情感因素與深度學(xué)習(xí)方法相融合。盡管自然語言處理領(lǐng)域本身早在深度學(xué)習(xí)快速發(fā)展前就已經(jīng)能順利做出商業(yè)化的產(chǎn)品，但在 ACL 2017 上，雷鋒網(wǎng) AI 科技評(píng)論也非常明顯地感受到深度學(xué)習(xí)的滲透。不可否認(rèn)的是，深度學(xué)習(xí)對(duì)自然語言處理的影響力不可小覷。在黃民烈老師的理解中，語言本身的復(fù)雜性有很多方面，比如情緒、風(fēng)格、結(jié)構(gòu)等等，而且語言經(jīng)過高度抽象后往往只字之差意義去相去甚遠(yuǎn)，這種符號(hào)上表達(dá)的含義很難用模型進(jìn)行表述和定義。而深度學(xué)習(xí)更擅長(zhǎng)的是做概率性的一些推理?！笇?duì)于語言來說，深度學(xué)習(xí)目前還是比較難以解決包括符號(hào)、知識(shí)及推理層面的問題的?！?/p>

ECM 的主要數(shù)據(jù)來源是新浪微博。但微博作為一個(gè)非?；钴S的社交媒體，也有非常多涉及網(wǎng)絡(luò)用語、反語、雙關(guān)的帖子或評(píng)論，目前有不少學(xué)者在做相關(guān)的研究，包括網(wǎng)絡(luò)新詞、反語檢測(cè)、雙關(guān)檢測(cè)等，黃民烈博士自己也有相關(guān)的研究工作。比如在自然語言處理領(lǐng)域頂級(jí)會(huì)議 ACL 2014 上，黃民烈博士有一篇第一作者的收錄論文《情感分析中的新詞發(fā)現(xiàn)》（New Word Finding for Sentiment Analysis），基于微博數(shù)據(jù)提出了一種數(shù)據(jù)驅(qū)動(dòng)、不依賴知識(shí)、非監(jiān)督的新詞發(fā)現(xiàn)算法。那么在 ECM 中，是否也會(huì)對(duì)新詞進(jìn)行發(fā)現(xiàn)并做情感分析，輔助進(jìn)行生成式的回復(fù)呢？

對(duì)此，黃民烈博士告訴雷鋒網(wǎng) AI 科技評(píng)論，在 ECM 的研究中，這類數(shù)據(jù)并沒有很多，也不影響研究者們基于數(shù)據(jù)獲取生成內(nèi)容。他認(rèn)為，這類工作在判斷輿情或是大眾觀點(diǎn)上會(huì)更受關(guān)注些，但其中最重要的是對(duì)背景知識(shí)的了解?！副热缒阒S刺一個(gè)什么事情，其實(shí)人類是知道關(guān)于這個(gè)內(nèi)容或這個(gè)事件的背景信息的，因此你很容易理解這是一個(gè)反諷，但現(xiàn)在計(jì)算機(jī)系統(tǒng)還不太能做到這一點(diǎn)。如果模型不能很好地利用這種背景知識(shí)和信息的話，確實(shí)會(huì)得到一個(gè)相反的結(jié)論?！?/p>

「ECM 的研究只是非常初步的一個(gè)嘗試，聊天機(jī)器人的回復(fù)目前是建立在給定情感分類的基礎(chǔ)上做出的，還沒有涉及到如何評(píng)判用戶情緒的研究?！裹S民烈博士表示，后續(xù)可以通過設(shè)計(jì)共情機(jī)制，或是通過上下文、情境等信息判斷合適的回復(fù)，不過這非常復(fù)雜和具有挑戰(zhàn)性。

機(jī)器要擁有「情緒」，能夠更加智能，在黃民烈博士看來需要有兩個(gè)方面的內(nèi)容。首先是語義理解，另一個(gè)則是身份設(shè)定。語義理解不難懂，現(xiàn)在有很多公司及研究機(jī)構(gòu)都在做類似的工作。但身份設(shè)定，則是要在聊天進(jìn)行的過程中嵌入機(jī)器人的身份和屬性。

「比如現(xiàn)在我們可以和小冰聊天，但很快你會(huì)意識(shí)到它不是一個(gè)『人』，除了語義理解的問題外，更多的是因?yàn)樗鄙僖粋€(gè)固定的人格和屬性。比如當(dāng)你問小冰，它的性別是什么時(shí)，這個(gè)回答是前后不一致的?！裹S民烈博士表示，如何讓機(jī)器人具有特定的說話風(fēng)格，實(shí)際上也是一個(gè)非常重要的問題，在未來，當(dāng)我們?cè)O(shè)定機(jī)器人是一個(gè)三歲的小男孩，會(huì)彈鋼琴時(shí)，那么結(jié)合這樣的屬性再去和它對(duì)話，它應(yīng)該生成跟它自己身份、個(gè)性相符合的答復(fù)。在這方面，黃民烈博士也進(jìn)行了初步探索，詳見論文《Assigning personality/identity to a chatting machine for coherent conversation generation》。

黃民烈博士表示，一個(gè)符合情境的交談或?qū)υ捫枰隙鄠€(gè)因素。首先是交談的話題；其次，交談的對(duì)象是什么，是在和誰說話；再者，雙方的情緒甚至心理活動(dòng)狀態(tài)是怎樣的。除此之外，還需要考慮用戶的背景和對(duì)話中扮演的角色，甚至多方面綜合的感知信息如語音、語調(diào)、姿態(tài)和表情等。「目前我們所做的研究還只是從文字上來判斷。有時(shí)候我們?cè)谠O(shè)計(jì)模型時(shí)并沒有辦法完全地考慮到這些變量，因此只能在研究的基礎(chǔ)上做大幅的簡(jiǎn)化?！?/p>

除了身份設(shè)定的研究外，黃民烈博士也正在進(jìn)行更多的關(guān)于「解決任務(wù)導(dǎo)向?qū)υ捪到y(tǒng)、聊天機(jī)器人、自動(dòng)問答中最具挑戰(zhàn)性」的研究工作。現(xiàn)在的人機(jī)對(duì)話要實(shí)現(xiàn)像人一樣的自主交談依然具有很大難度，而其中涉及的最根本的便是理解的問題?！钙綍r(shí)做一個(gè)相對(duì)容易的分類問題，（準(zhǔn)確率）可能做到百分之七八十，而且這些結(jié)果也能夠用在實(shí)際的系統(tǒng)里面。但人機(jī)對(duì)話實(shí)際上需要的是深層次的理解，所以現(xiàn)在的系統(tǒng)還存在很多邏輯上的問題?！裹S民烈博士及其團(tuán)隊(duì)雖然在近年也做出了不少嘗試，也取得了一定的進(jìn)步，但他認(rèn)為，實(shí)際上在開放領(lǐng)域及開放話題上的聊天依然有很多問題亟待解決，比如如何利用客觀世界的知識(shí)，或是背景信息，并結(jié)合記憶、聯(lián)想和推理，才能實(shí)現(xiàn)符合情境的交談與對(duì)話。

在黃民烈博士看來，在特定任務(wù)場(chǎng)景的生成式對(duì)話才更具有商業(yè)應(yīng)用的前景。目前，黃民烈博士及團(tuán)隊(duì)在商業(yè)化應(yīng)用上也做了不少嘗試，比如和一家機(jī)器人公司合作研發(fā)了一款點(diǎn)餐機(jī)器人。從 Demo 上看，這款機(jī)器人能夠清楚地理解各種上下文的指代，如「這道菜」、「剛剛那個(gè)魚」等語句，且不會(huì)被臨時(shí)的其它提問所打斷。

「家用聊天機(jī)器人的語境要寬泛得多，因?yàn)槲覀儾⒉恢缹?duì)方會(huì)和你聊些什么，因此目前開放式的聊天系統(tǒng)距離真正的實(shí)用還有一定距離?！贡M管如此，黃民烈博士表示，語音交互作為一個(gè)新的入口，作為人機(jī)交流的一種范式，開放式聊天對(duì)于情感陪護(hù)而言依然是非常重要的互動(dòng)環(huán)節(jié)?！笍漠a(chǎn)品的角度來講，一方面它確實(shí)可以提供更好的用戶體驗(yàn)，另一方面如果積累大量的實(shí)際對(duì)話數(shù)據(jù)，也可以進(jìn)一步促進(jìn)技術(shù)的發(fā)展。」

有著深厚研究成果的黃民烈博士，實(shí)際上在自然語言處理的研究經(jīng)歷了跨專業(yè)、跨學(xué)科的歷程，「半路出家」的他原本就讀的是清華大學(xué)工程物理專業(yè)，關(guān)于數(shù)學(xué)、計(jì)算機(jī)的課程給他轉(zhuǎn)向自然語言處理研究打下了扎實(shí)的基礎(chǔ)，并憑借出色的研究成果獲得了 2006 年清華大學(xué)優(yōu)秀博士論文，被授予「清華大學(xué)優(yōu)秀博士畢業(yè)生」，隨即留校任教。

回顧就學(xué)經(jīng)歷，黃民烈博士告訴雷鋒網(wǎng) AI 科技評(píng)論，他非常看重學(xué)生的基礎(chǔ)課程和知識(shí)是否扎實(shí)，也強(qiáng)調(diào)了打好基礎(chǔ)知識(shí)的重要性。他認(rèn)為，「語言理解的難點(diǎn)在于，首先它經(jīng)過了高度的抽象，其次需要綜合利用的信息非常多，要理解一句話需要充足的背景知識(shí)才能明白真正的含義?！苟谒?，自然語言處理最大的魅力就在于所具備的挑戰(zhàn)性，作為人類日常使用的交流方式，語言理解的很多問題依然非常困難。而目前，黃民烈博士及其團(tuán)隊(duì)也正試圖從理解的角度出發(fā)，進(jìn)行更多復(fù)雜問題回答、人機(jī)對(duì)話、情感理解方面的相關(guān)研究。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。