雷鋒網(wǎng)「新智造」按：幾年之間，蘋果、微軟、Google、百度、阿里等巨頭都推出了以聊天為形式的機器人，應(yīng)用在情感陪護、虛擬助理、客服、售后等場景中，同時也有諸多初創(chuàng)公司、投資機構(gòu)殺入這一行業(yè)。但在實際使用中，用戶經(jīng)常發(fā)現(xiàn)，機器人并沒有想象中那么智能，它能識別文字和語音，但卻“不懂你”。這其中的關(guān)鍵便涉及到自然語言處理中的”深度語義技術(shù)“。

針對這個問題，本期雷鋒網(wǎng)硬創(chuàng)公開課邀請到小i機器人創(chuàng)新中心的研究院陳培華為大家具體講解，在客服機器人領(lǐng)域的深度語義技術(shù)和應(yīng)用探索。

嘉賓介紹：

陳培華，畢業(yè)于上海交通大學(xué)，工學(xué)博士，目前主要負責(zé)基于機器學(xué)習(xí)、深度學(xué)習(xí)的自然語言處理技術(shù)及其應(yīng)用，參與“小i中文語義開放平臺”以及貴陽人工智能大數(shù)據(jù)云服務(wù)平臺建設(shè)，已申請相關(guān)發(fā)明專利2項。

公開課完整視頻：

以下內(nèi)容整理自陳培華在雷鋒網(wǎng)硬創(chuàng)公開課的分享，文中略有刪減，完整內(nèi)容可觀看上方視頻。關(guān)注雷鋒網(wǎng)旗下公眾號「新智造」，回復(fù)「PPT」可獲取嘉賓完整PPT。

語義技術(shù)在人工智能中的應(yīng)用

這個圖片展示的是一個典型的人工智能對話引擎，輸入的是用戶的問題，引擎內(nèi)部通過長期積累的知識，首先經(jīng)過自然語言分析，在通過語義理解、上下文分析進行知識推理，從而生成個性化的答案，輸出給用戶。

這里展示的就是對話引擎中的知識庫和語義庫。在客服機器人的知識庫中，分為專業(yè)知識庫和語言知識庫，下面的部分是語義庫中的三個模塊，包括詞類識別、語義表達和語言模型。我們在發(fā)展的過程中，積累了一個龐大的語言知識庫，比如在“余額查詢”這個查詢中，就有250種表達方式。

此外，在上述基礎(chǔ)上，小i搭建了一些輔助系統(tǒng)，比如上圖的人機協(xié)作學(xué)習(xí)體系。首先通過大數(shù)據(jù)平臺，挖掘知識中的語義、實體、事實和場景信息；其次通過運營人員維護內(nèi)容、審核機器挖掘的結(jié)果；最后由特定領(lǐng)域?qū)＜叶x知識結(jié)構(gòu)和運營規(guī)則。通過輔助系統(tǒng)，就能讓對話引擎在服務(wù)中提升自身的能力。

深度語義技術(shù)平臺

上圖顯示的是小i中文語義開放平臺，分為三層：

• 基礎(chǔ)層：為系統(tǒng)提供分布式儲存和計算環(huán)境

• 功能層：提供核心的自然語言處理算法和模塊

• 接口層：提供外部調(diào)用接

下面主要介紹功能層所包含的模塊：

• 中文分詞與詞性標(biāo)注

中文分詞是中文自然語言處理的一個基礎(chǔ)環(huán)節(jié)，分詞的結(jié)果可以被廣泛的應(yīng)用于文本處理、信息提取、搜索引擎、機器翻譯等方面。通過采用基于統(tǒng)計+規(guī)則的方法對標(biāo)注語料進行訓(xùn)練學(xué)習(xí)，將所得到的模型應(yīng)用于中文分詞和詞性標(biāo)注中，能夠支持歧義切分處理、中文詞性自動標(biāo)注、未登錄詞識別、多編碼支持能力以及豐富的知識詞典。

• 命名實體的識別

命名實體識別指的是識別文本中具有特定意義的實體，主要包括人名、地名、機構(gòu)名等專有名詞。命名實體識別是信息抽取技術(shù)中的重要組成部分，可以應(yīng)用在自動問答、機器翻譯、信息檢索等自然語言處理領(lǐng)域，有助于提高相關(guān)的性能。

• 語義聯(lián)想

語義聯(lián)系用于對詞語進行同義詞查詢檢索，通過全網(wǎng)數(shù)據(jù)挖掘出海量同義詞，并持續(xù)對數(shù)據(jù)、模型等進行迭代更新，保證同義詞的效果始終與時俱進。

• 詞語糾錯

日常生活中，用戶在使用搜索引擎、智能問答時，可能會出現(xiàn)輸入錯誤的情況，比如說同音別字、近音別字、形近別字、拼音等，這樣搜索引擎和智能問答可能就無法正確識別，導(dǎo)致用戶無法獲取需要的信息。

• 自動摘要和關(guān)鍵詞提取

關(guān)鍵詞提取的主要功能是，從文本中提煉關(guān)鍵詞，形成主題分析，方便用戶快速了解文章主題。自動文摘技術(shù)可以分為摘要、摘錄兩類，摘要是基于對文本的理解，使用簡短的自然語言，對文中的主要內(nèi)容進行描述；摘錄的方法則是，從原始文檔中抽取重要的句子，再連接到一起。

• 依存句法分析

該模塊主要分析句子的構(gòu)成方法，描述句子中的語法功能。

• 文本聚類

針對用戶出現(xiàn)的多文本、無需組織的情況，需要進行聚類分析。聚類分析是按照一定的規(guī)律和要求對文本進行簇劃分的過程，是一種無監(jiān)督分類，沒有預(yù)定義的先驗知識。聚類的算法有很多種，應(yīng)用最多的是K-means算法。

• 文本分類

如有現(xiàn)有較多帶標(biāo)注的文本語料的話，就可以利用文本分類來訓(xùn)練分類模型，按照預(yù)先定義的主題類別進行分類。

• 情感分析
  

文本情感分析又稱為意見挖掘，是對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程。在本質(zhì)上，情感分析也是一種分類問題，不過它針對的是短文本。情感分析的任務(wù)主要有：正負面評價、按分數(shù)打分、分析目標(biāo)和來源的情感類型。主要應(yīng)用于影評、產(chǎn)品評價、用戶情感等方面。

此外還有詞云及基于多層RNN神經(jīng)網(wǎng)絡(luò)實現(xiàn)的機器閑聊等模塊。

深度語義技術(shù)的應(yīng)用探索

以小i為例，基于深度語義技術(shù)，能夠應(yīng)用在客服機器人、智能知識庫、智能IVR、實體機器人、企業(yè)內(nèi)部智能應(yīng)用等方面，同時可將客服機器人部署在Web、WeChat、SMS、QQ、App等平臺。

Q&A環(huán)節(jié)

新智造：聊天機器人目前主要有哪幾類？各細分類別中，代表性的應(yīng)用都有哪些？

陳培華：從大的分類而言，主要有兩類，一類是面向垂直領(lǐng)域的客服機器人，另一類是通用類機器人，比如小冰、小娜、Siri等聊天機器人。

新智造：目前的客服機器人，主要是被動的接受用戶需求，有沒有主動去推薦的？

陳培華：準(zhǔn)確來說目前客服機器人確實是被動接受用戶需求，再做出回應(yīng)。分享中提到的意圖推薦模塊，就能夠根據(jù)用戶信息進行推薦。這個問題在業(yè)界也是眾說紛紜，比如機器人什么時候推薦，推薦哪些信息，很難自動去完成。

新智造：聊天機器人技術(shù)的關(guān)鍵困難在哪兒？

陳培華：在客服機器人方面，關(guān)鍵困難在于如何獲取知識，以及理解用戶問題，需要利用自然語言處理方法，來對用戶的問題進行理解，識別他的意圖。還有一個難點在于答案的生成，很多用戶的提問中包含多個知識點，如何就此回答比較困難。在通用聊天機器人方面，關(guān)鍵困難在于常識性的知識，我們很難從網(wǎng)上的一些數(shù)據(jù)獲取到。

新智造：人工智能最容易落地的是不是語音類的應(yīng)用？

陳培華：就人機交互的發(fā)展歷程來看，目前確實是最容易落地的應(yīng)用。但是隨著技術(shù)的發(fā)展，后面可能會有更多復(fù)合的人機交互的應(yīng)用落地，比如語音、圖像處理相結(jié)合的技術(shù)。

新智造：距離一個真的懂得人類的聊天機器人還需要多久？

陳培華：我覺得它面臨很多問題，它必須自主學(xué)習(xí)、自我進化，現(xiàn)在學(xué)界和工業(yè)界都在往這個方向努力，比如提出了對抗網(wǎng)絡(luò)、遷移學(xué)習(xí)等。至于實現(xiàn)需要多久，我很難給出答案，拭目以待。

新智造：深度語義技術(shù)需要多長的時間才能成熟？距離產(chǎn)業(yè)又有多遠呢？

陳培華：我們不斷去研究深度語義技術(shù)，將技術(shù)落地，進行產(chǎn)業(yè)化應(yīng)用。深度語義技術(shù)，可以從各個方面去研究，應(yīng)用下去。距離產(chǎn)業(yè)不算遠，而且它其中包含了很多技術(shù)模塊，我們的思路是各點擊破。

新智造：剛剛畢業(yè)想學(xué)人工智能，覺得語義理解這個很有前途，不知道有什么好的建議么？

陳培華：我覺得剛剛畢業(yè)，最好不要做人云亦云的事情，要有自己的判斷。如果確實對語義理解感興趣，可以找一個相關(guān)行業(yè)，沉下心去做研究和探索。當(dāng)然，我們的目標(biāo)，還是通過研究和探索，并能夠應(yīng)用，來提升人類的生活水平。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。