0
| 本文作者： 叢末 | 2019-01-08 18:24 |
雷鋒網(wǎng) AI 科技評(píng)論按：2018 年度 EMNLP 大會(huì)上，微軟小冰首席科學(xué)家武威和北京大學(xué)助理教授嚴(yán)睿就聊天機(jī)器人近年來的研究成果作了全面總結(jié)，并對(duì)未來聊天機(jī)器人的研究趨勢(shì)進(jìn)行了展望。
近日，在雷鋒網(wǎng) AI 研習(xí)社公開課上，微軟小冰首席科學(xué)家武威就為大家?guī)砹似湓?EMNLP 大會(huì)上分享的精華部分。公開課回放視頻網(wǎng)址：
分享嘉賓：
武威，微軟小冰首席科學(xué)家，主要研究方向?yàn)樽匀蝗藱C(jī)對(duì)話、自然語言處理、機(jī)器學(xué)習(xí)以及信息檢索；為微軟小冰第二代到第六代對(duì)話引擎貢獻(xiàn)了核心算法，并帶領(lǐng)團(tuán)隊(duì)研發(fā)了第五代小冰的生成模型以及第六代小冰的共感模型。
分享主題：聊天機(jī)器人的深度學(xué)習(xí)模型
分享提綱：
1. 引言
2. 深度學(xué)習(xí)基本概念
3. 基于檢索的聊天機(jī)器人
4. 基于生成式的聊天機(jī)器人
5. 未來趨勢(shì)和結(jié)論
雷鋒網(wǎng) AI 研習(xí)社將其分享內(nèi)容整理如下：
本次公開課主要分享我和北京大學(xué)的嚴(yán)睿老師在 2018 年度 EMNLP 大會(huì)上做 tutorial 分享的精華內(nèi)容。
最近聊天機(jī)器人很火。我進(jìn)行了一個(gè)小實(shí)驗(yàn)，在 google scholar 的 advanced search 以「聊天機(jī)器人」為關(guān)鍵詞搜索文章——要求文章的題目必須包含「chatbot」這個(gè)單詞，經(jīng)過統(tǒng)計(jì)，發(fā)現(xiàn)從 2015-2017 年，標(biāo)題包含「chatbot」這個(gè)單詞的文章數(shù)量呈指數(shù)型增長(zhǎng)。當(dāng)然，這個(gè)實(shí)驗(yàn)是不全面的，一些標(biāo)題包含「conversation model」的文章雖然標(biāo)題中沒有「chatbot」，但是也是關(guān)于「chatbot」的文章。因此，我們可以想象得到它在學(xué)術(shù)界的火熱程度。
另外在工業(yè)界，亞馬遜和 Facebook 都舉辦了一些比賽，例如亞馬遜就舉辦了兩屆 The Alexa Prize，而 Facebook 也在 NIPS 上舉辦了兩次關(guān)于 chatbot 的比賽，這些比賽都受到了很多人的關(guān)注。同時(shí)，大公司基本上都有自己的聊天機(jī)器人產(chǎn)品，例如微軟有小冰，蘋果有 Siri 等等。
我們認(rèn)為構(gòu)建聊天機(jī)器人引擎有三層：
最底層的是 General Chat；
再上一層是 Informational Chat，涉及到人和機(jī)器人進(jìn)行信息交換、機(jī)器人為人提供一些信息，比如問答；
最上面一層是 Task，即機(jī)器人通過對(duì)話的方式幫助人完成一些任務(wù)。
這里我舉一個(gè)例子：
（關(guān)于該案例的具體講解，請(qǐng)回看視頻 00： 03：20 處）
今天我們主要講 General Chat，這就要提到微軟小冰在整個(gè)業(yè)界所產(chǎn)生的影響力。小冰 2014 年在中國(guó)發(fā)布，之后便以一年落地一個(gè)國(guó)家的節(jié)奏，先后在日本、美國(guó)、印度以及印度尼西亞發(fā)布。現(xiàn)在，它在全球擁有 6 億+用戶，產(chǎn)生的對(duì)話數(shù)量超過 3 百億。
小冰背后最核心的部分就是對(duì)話引擎。傳統(tǒng)的對(duì)話引擎是基于任務(wù)導(dǎo)向的，它分為以下幾個(gè)模塊：
第一個(gè)是人與機(jī)器產(chǎn)生對(duì)話后的語音識(shí)別模塊；
第二個(gè)是語言理解模塊，該模塊對(duì)談話的意圖、話題等進(jìn)行分析；
第三個(gè)是對(duì)話管理模塊，語言理解模塊產(chǎn)生的分析輸入到對(duì)話管理模塊后，該模塊根據(jù)語言理解模塊的理解產(chǎn)生一個(gè)決策，決定機(jī)器人下一步采取怎樣的行為；
第四個(gè)是語言生成模塊，該模塊根據(jù)所有的信息合成出一個(gè)回復(fù)，并將回復(fù)傳送到 TTS 這個(gè)模塊中，最終變成語言返還給用戶。
當(dāng)然整個(gè)過程中也需要跟 Knowledge base 進(jìn)行互動(dòng)：如果用戶提供的信息充分，對(duì)話引擎則需要從 Knowledge base 中為用戶找出答案；如果不充分，則需要向用戶再次發(fā)問獲得更多信息。
隨著大數(shù)據(jù)時(shí)代的到來和深度學(xué)習(xí)技術(shù)的發(fā)展，對(duì)話引擎也發(fā)生了改變：語言理解、對(duì)話管理以及語言生成模塊簡(jiǎn)化成統(tǒng)計(jì)模型，可支持端到端的訓(xùn)練。這個(gè)統(tǒng)計(jì)模型就是我們今天重點(diǎn)介紹的內(nèi)容。
構(gòu)建非任務(wù)導(dǎo)向或者說 General Chat 的對(duì)話引擎，現(xiàn)在學(xué)術(shù)界或業(yè)界一般有兩種基本的方法：
第一種是基于檢索的方法：用戶進(jìn)行輸入后，系統(tǒng)通過查詢 index，找到所有可能的回復(fù)并從中選出最合適的回復(fù)返回給用戶；
第二種是基于生成式的方法：用戶進(jìn)行輸入后，系統(tǒng)通過機(jī)器學(xué)習(xí)的辦法合成出一個(gè)回復(fù)并返回給用戶。
不管哪種方法，神經(jīng)網(wǎng)絡(luò)都在其中起到了非常重要的作用。
在介紹這兩種方法之前，我先給大家簡(jiǎn)單介紹一下深度學(xué)習(xí)在 NLP 中的一些基本知識(shí)。
Word Embedding：深度學(xué)習(xí)在 NLP 中應(yīng)用的基石。
Word Embedding 最經(jīng)典的方法就是 Word2vec，它有兩個(gè)模型：
第一個(gè)是 Continuous Bag-of-Words（CBOW）
第二個(gè)是 Skip-gram
Word Embedding 另一個(gè)比較經(jīng)典的方法是 GloVe：
但是 Word2vec 和 GloVe 都無法處理好詞的變形問題，例如英文中的 study、studies 以及 studied 都表示一個(gè)意思，但是這兩種方法都將這些相同意思不同形態(tài)的詞當(dāng)成不同的詞，這就會(huì)帶來信息的冗余或者丟失。對(duì)此，F(xiàn)acebook 研究院提出了 FastText 的模型，目的就是對(duì)詞的變形進(jìn)行建模：
下面我們對(duì) Word2vec、GloVe 以及 FastText 進(jìn)行一個(gè)對(duì)比：
在 NLP 具體任務(wù)中應(yīng)用的效果來看：效果最差的是 CBOW；其次是 Skip-gram（GloVe 跟 Skip-gram 差不多）；效果最好的是 FastText。其中，F(xiàn)astText 能很好地處理 OOV 問題，并能很好地對(duì)詞的變形進(jìn)行建模，對(duì)詞變形非常豐富的德語、西班牙語等語言都非常有效；
從效率（訓(xùn)練時(shí)間）上來看：CBOW 的效率是最高的，其次是 GloVe；之后是 Skip-gram；而最低的是 FastText。
自然語言處理中的句子可以視為一個(gè)字符串，句子的表示可以通詞表示來實(shí)現(xiàn)，一般來說有兩種方法：
一種是基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法；
另一種方法是基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的方法。
（關(guān)于深度學(xué)習(xí)在 NLP 中這幾個(gè)基本概念的具體講解，請(qǐng)回看視頻 00：09:：00-00：25:：05 處）
快速講了一下這些基礎(chǔ)知識(shí)后，我們進(jìn)入基于檢索的聊天機(jī)器人的構(gòu)建部分的講解。
下圖給出了基于檢索的聊天機(jī)器人的架構(gòu)，該架構(gòu)分為離線和在線兩部分：
離線部分：首先需要準(zhǔn)備存儲(chǔ)了大量人機(jī)交互數(shù)據(jù)的 Index；之后 Matching Model 能夠評(píng)估輸入與輸出的相似度，并給出一個(gè)相似度的評(píng)分——Matching Model 越多，相似度得分個(gè)數(shù)也越多，其可以評(píng)估輸出對(duì)于輸入來說是否是一個(gè)比較合適的輸出；然后這些得分通過分類器（設(shè)置一個(gè)預(yù)值，大于預(yù)值的都認(rèn)為是可作為選擇的輸出），合成一個(gè)最終得分列表，并由排序模型對(duì)得分進(jìn)行排序，選擇排在最前面的輸出作為對(duì)當(dāng)前輸入的回復(fù)。
在線部分：有了這些離線準(zhǔn)備，我們可以將當(dāng)前的上下文輸入到存儲(chǔ)了大量人機(jī)交互數(shù)據(jù)的 Index 中進(jìn)行檢索，并檢索出一些候選回復(fù)；接著，回復(fù)候選和當(dāng)前上下文一起通過 Matching Model 來進(jìn)行打分，每一個(gè)得分都作為一個(gè) Feature，每一個(gè)候選回復(fù)和上下文因而就產(chǎn)生了 Feature Vector；之后，這些 Feature Vector 通過排序模型或者分類器變成最后的得分；最終，排序模型對(duì)得分進(jìn)行排序，并從排序列表中選出合適的回復(fù)。
其中，基于檢索的聊天機(jī)器人很大程度上借鑒了搜索引擎的成果，比如 learning to rank，其新的地方主要在于——當(dāng)給定上下文和候選回復(fù)時(shí)，通過建立一個(gè) Matching Model 來度量候選回復(fù)是否能夠作為上下文的回復(fù)。目前，檢索是聊天機(jī)器人領(lǐng)域的一個(gè)研究重點(diǎn)，而怎樣通過神經(jīng)網(wǎng)絡(luò)的方法來構(gòu)建 Matching Model，則是檢索中的重點(diǎn)。
構(gòu)建 Matching Model 一般面臨兩個(gè)問題：
一個(gè)問題是如何設(shè)計(jì) Matching Model 的結(jié)構(gòu)，要求該結(jié)構(gòu)能很好地對(duì)上下文的語法、語義進(jìn)行建模，并很好地抓住上下文和候選回復(fù)之間的語義關(guān)系；
第二個(gè)問題是有了這個(gè)結(jié)構(gòu)后，怎樣在沒有標(biāo)注數(shù)據(jù)、上下文和候選回復(fù)有很多種表示的情況下，從數(shù)據(jù)中學(xué)習(xí)這個(gè)結(jié)構(gòu)。
后面我將就這兩個(gè)問題，講一下目前的研究狀況。
目前的 Matching Model 大致可以歸類為兩個(gè)框架：
第一個(gè)是Ⅰ 型框架，基于句子的表示來構(gòu)建上下文和候選回復(fù)之間的相似度得分；
Ⅰ 型框架有其優(yōu)勢(shì)，比如簡(jiǎn)單、容易實(shí)現(xiàn)，在線上系統(tǒng)中也比較高效；不過該框架也存在信息丟失、不那么容易解釋等問題，而正是這些問題促使提出了第二個(gè) Matching Model 框架——Ⅱ 型框架。
Ⅱ 型框架的想法是：既然信息丟失源于上下文在碰到候選回復(fù)前就已經(jīng)被壓縮成了一個(gè)小向量，不如就讓上下文中的每一句話一開始就與候選回復(fù)進(jìn)行充分交互，之后將交互信息提取出來變成匹配向量，然后用 RNN 在匹配向量這個(gè)級(jí)別上對(duì)句子關(guān)系進(jìn)行建模，最終產(chǎn)生一個(gè)匹配得分。
Ⅱ 型框架的優(yōu)勢(shì)在于可以將上下文信息充分保存在匹配模型中，同時(shí)有很好的可解釋性；不過該框架也存在計(jì)算復(fù)雜度較高等缺點(diǎn)。
（關(guān)于這兩個(gè)框架及其應(yīng)用案例的具體講解，請(qǐng)回看視頻 00：29：50—00：45：10 處）
下面要講的是我們即將要在 WSDM 2019 上發(fā)表的新工作。這項(xiàng)工作的想法是：既然我們對(duì) Ⅰ 型和 Ⅱ 型已經(jīng)進(jìn)行了很好的研究，而深度學(xué)習(xí)實(shí)質(zhì)上是表示學(xué)習(xí)，因此是否能優(yōu)化匹配模型的表示來進(jìn)一步提升模型的表現(xiàn)呢？對(duì)此，我們的基本想法是：當(dāng)擁有非常多的表示時(shí)，怎樣利用這么多的表示來產(chǎn)生一個(gè)表現(xiàn)更好的模型。結(jié)果證明，將這些表示進(jìn)行合并（fuse）是有用的，但是在實(shí)現(xiàn)方式上是有講究的：
（對(duì)于這項(xiàng)新工作的具體講解，請(qǐng)回看視頻 00：46:：40 處）
簡(jiǎn)單總結(jié)一下基于檢索的聊天機(jī)器人：
基于檢索的聊天機(jī)器人本質(zhì)上是重用已有的人的回復(fù)，來對(duì)人的新的輸入進(jìn)行回復(fù)；
匹配模型實(shí)際上在基于檢索的方法中起到了至關(guān)重要的作用，深度學(xué)習(xí)時(shí)代大家偏向于關(guān)注怎樣設(shè)計(jì)出一個(gè)好的模型，但我們認(rèn)為學(xué)習(xí)方法至少是與模型設(shè)計(jì)同等重要的；
基于檢索的方法是當(dāng)前構(gòu)建聊天機(jī)器人的主流方法。
最后簡(jiǎn)單介紹一下生成式的方法。
用戶輸入后，系統(tǒng)通過自然語言生成的方法合成一個(gè)回復(fù)，即機(jī)器人自己生成一個(gè)回復(fù)作為輸出。生成式方法的一個(gè)基本的模型就是 Encoder-Attention-Decoder 的結(jié)構(gòu)，該結(jié)構(gòu)實(shí)際上是借用了機(jī)器翻譯的思想。
不過，當(dāng)我們將機(jī)器翻譯的基本架構(gòu)借入到對(duì)話系統(tǒng)中，我們發(fā)現(xiàn)了一些問題：
第一，這個(gè)方法非常傾向于記住數(shù)據(jù)中的「高頻回復(fù)」，例如「我知道了」「我也是」，然而這些「萬能回復(fù)」實(shí)際上是沒什么意義的，會(huì)導(dǎo)致整個(gè)對(duì)話無法進(jìn)行下去；
第二，機(jī)器翻譯中一般翻譯單句，但對(duì)話上下文是有一些結(jié)構(gòu)的，比如層次結(jié)構(gòu)——詞到句子到上下文；與此同時(shí)，詞和句子在上下文中有很多冗余信息，只有一小部分是有用的；
第三，這是在實(shí)踐中發(fā)現(xiàn)的一個(gè)問題：生成式模型在對(duì)回復(fù)一個(gè)一個(gè)進(jìn)行解碼時(shí)，速度非常慢。怎樣提高其效率就成為了我們重點(diǎn)關(guān)注的一個(gè)問題。
生成式對(duì)話也是當(dāng)前非常受關(guān)注的主題，現(xiàn)在也有很多相關(guān)工作，不過今天由于時(shí)間有限，我只介紹這三個(gè)問題。
那么，為什么會(huì)產(chǎn)生「萬能回復(fù)」？實(shí)際上，對(duì)話是一個(gè)「一對(duì)多」的問題，即一個(gè)輸入可能有非常多的回復(fù)，整個(gè)對(duì)話過程也不像機(jī)器翻譯那樣直來直去，機(jī)器人會(huì)根據(jù)對(duì)話產(chǎn)生聯(lián)想，再根據(jù)這些聯(lián)想合成回復(fù)。
基于這個(gè)想法，我們使用神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，在 Encoder、Decode 的架構(gòu)上，加入了一個(gè) Topic Attention。
（關(guān)于這一模型的具體講解，請(qǐng)回看視頻 00：56：25 處）
在 AAAI 2018 的一項(xiàng)工作中，我們對(duì)上下文進(jìn)行建模。想法是：既然上下文具有層次結(jié)構(gòu)，那我們就分別用一個(gè)句子級(jí)別的 GRU 和一個(gè)詞級(jí)別的 GRU 對(duì)詞和句子間的序列關(guān)系進(jìn)行建模；同時(shí)在生成過程中，還有一個(gè)句子級(jí)別的 Attention 和一個(gè)詞級(jí)別的 Attention，分別考慮哪些句子中的哪些詞、整個(gè)上下文中哪些句子是比較重要的。除了效果非常好，這個(gè)模型還有非常強(qiáng)的可解釋性。
（關(guān)于 AAAI 2018 這項(xiàng)對(duì)上下文進(jìn)行建模的工作的具體講解，請(qǐng)回看視頻 00：58:：00 處）
最后我們談?wù)勗趯?duì)話中怎么解決解碼效率的問題。我們觀察到系統(tǒng)解碼效率低的原因在于，其每預(yù)測(cè)一個(gè)詞都需要掃一遍整個(gè)詞表，但實(shí)際可以用來對(duì)輸入進(jìn)行回復(fù)的只有一小部分。
對(duì)此，我們的想法是，先用過濾器將大部分可能無關(guān)的詞過濾掉，在生成回復(fù)中只考慮剩下的一小部分詞，從而將一個(gè)靜態(tài)詞表變成了一個(gè)動(dòng)態(tài)詞表，針對(duì)每一個(gè)輸入，詞表都不一樣。
我們?cè)?CPU 和 GPU 上都測(cè)試了這個(gè)模型，發(fā)現(xiàn)效率都有 40% 左右的提升。
在這里介紹一下生成模型在小冰（印度尼西亞）中的實(shí)際應(yīng)用：
（關(guān)于解決解碼效率問題以及生成模型在小冰（印度尼西亞）中的實(shí)際應(yīng)用的具體講解，請(qǐng)回看視頻 1：00：00 處）
最后對(duì)基于檢索和基于生成式的方法進(jìn)行一個(gè)對(duì)比：
基于檢索的方法的優(yōu)點(diǎn)包括能找出很有趣、多樣性很高的回復(fù)；大量借鑒了搜索引擎上的方法，可以直接采用搜索引擎上的方法（learning to rank）來進(jìn)行評(píng)估。其缺點(diǎn)在于對(duì)話的質(zhì)量完全取決與 index 的質(zhì)量。
基于生成式的方法的優(yōu)點(diǎn)包括支持端到端的學(xué)習(xí)；由于不受到 Index 的束縛，生成模型可以進(jìn)行更多的變形，比如將風(fēng)格、情感引入到生成式對(duì)話中，對(duì)生成式對(duì)話進(jìn)行控制等。不過其缺陷也很明顯：一是該方法不太好評(píng)估，現(xiàn)在的評(píng)估方法依賴于大量標(biāo)注，但各自的標(biāo)注不一，針對(duì)目前的生成式文章也無法判斷誰提出的方法更好一些；二是相對(duì)于檢索模型，它的多樣性還是要差一些。
在聊天機(jī)器人時(shí)代，對(duì)話引擎扮演著非常重要的角色，目前其兩個(gè)主流的方法就是基于檢索和基于生成式的方法，現(xiàn)在針對(duì)二者的研究也非常多。然而實(shí)現(xiàn)真正的人機(jī)對(duì)話，我們還有很長(zhǎng)的路要走。
分享結(jié)束后，嘉賓還對(duì)聽眾的提問進(jìn)行了解答，大家可回看視頻 1：04：35。
以上就是本期嘉賓的全部分享內(nèi)容。更多公開課視頻請(qǐng)到雷鋒網(wǎng) AI 研習(xí)社社區(qū)（http://ai.yanxishe.com/）觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開課直播時(shí)間預(yù)告。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
