微軟研究院在IJCAI2016的Tutorial上講述了自己將深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于不同場(chǎng)景的情況，之前第二部分提到了深度學(xué)習(xí)在統(tǒng)計(jì)機(jī)器翻譯和會(huì)話(huà)中的應(yīng)用，第三部分是選中自然語(yǔ)言處理任務(wù)的連續(xù)表達(dá)。第四部分是自然語(yǔ)言的理解和連續(xù)語(yǔ)言詞語(yǔ)的表達(dá)。

聯(lián)合編輯：李尊，章敏，陳?ài)?/strong>

自然語(yǔ)言理解，重點(diǎn)在于 建立能與使用自然語(yǔ)言的人類(lèi)進(jìn)行交互的智能系統(tǒng)。其研究挑戰(zhàn)：1）文本意義表達(dá) 2）支持有用推理任務(wù)。

連續(xù)詞語(yǔ)表達(dá)，重點(diǎn)在于知識(shí)基礎(chǔ)嵌入和基于知識(shí)基礎(chǔ)的問(wèn)題回答&機(jī)器理解。

連續(xù)詞語(yǔ)表達(dá)包括：

l  多種創(chuàng)建詞語(yǔ)矢量的流行辦法

l  編碼條件共存信息

l  測(cè)量語(yǔ)義相似井

語(yǔ)義嵌入將原始文本轉(zhuǎn)換成連續(xù)語(yǔ)義空間

嵌入有效的原因在于：

l  詞匯語(yǔ)義詞相似度

l  文本簡(jiǎn)單的語(yǔ)義表達(dá)

對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)先訓(xùn)練

詞語(yǔ)嵌入模型樣本、評(píng)估、相關(guān)工作

潛在語(yǔ)義分析包括：SVD概括原始數(shù)據(jù)、同義詞典中不存在明確關(guān)系、術(shù)語(yǔ)矢量投射K維潛在空間、詞語(yǔ)相似度等

RNN-LM詞語(yǔ)嵌入

SENNA詞語(yǔ)嵌入

CBOW/Skip-gram詞語(yǔ)嵌入

DSSM：學(xué)習(xí)詞語(yǔ)含義

GloVe：詞語(yǔ)表達(dá)的全局矢量

語(yǔ)義相關(guān)度能夠從詞語(yǔ)同現(xiàn)次數(shù)個(gè)概念來(lái)觀察

評(píng)估：語(yǔ)義詞相似度

l  數(shù)據(jù)：人類(lèi)判斷詞組

l  詞語(yǔ)相似度排名與人類(lèi)判斷之間的關(guān)系

l  獨(dú)立語(yǔ)義嵌入模型通常不能實(shí)現(xiàn)最好的結(jié)果

評(píng)估：關(guān)系相似度

判斷兩組詞是否有同樣的關(guān)系以及為什么它會(huì)有效？

意外發(fā)現(xiàn)：從遞歸神經(jīng)網(wǎng)絡(luò)語(yǔ)義模型提取的詞語(yǔ)嵌入，關(guān)系相似度由余弦值得來(lái)。

實(shí)驗(yàn)結(jié)果

在其他數(shù)據(jù)集上的相似結(jié)果

詞匯類(lèi)比評(píng)估。

討論。1.方向相似性無(wú)法處理語(yǔ)義關(guān)系；2.矢量計(jì)算=相似性計(jì)算3.通過(guò)計(jì)算找到最接近的x。

一些相關(guān)工作——模擬不同的詞匯關(guān)系如：判斷是同義詞還是近義詞。

相關(guān)工作——詞匯嵌入模型如：其它的詞匯嵌入模型；Word2Vec的分析和方向相似性；理論論證與統(tǒng)一；評(píng)估NLP的矢量空間表示。

神經(jīng)語(yǔ)言的理解。

知識(shí)庫(kù)：通過(guò)儲(chǔ)存上百萬(wàn)實(shí)體的性能和它們之間的關(guān)系捕獲世界的知識(shí)。

現(xiàn)在的KB在NLP&IR中的一些應(yīng)用——回答問(wèn)題，信息提取，網(wǎng)絡(luò)搜索。

知識(shí)庫(kù)推理-知識(shí)庫(kù)永遠(yuǎn)不會(huì)完整，模擬多關(guān)系數(shù)據(jù)，知識(shí)庫(kù)嵌入效率和精準(zhǔn)度都更高。

知識(shí)庫(kù)嵌入：KB中每一個(gè)實(shí)體都由一個(gè)Rd矢量表示，通過(guò)fr（Ve1，Ve2）預(yù)測(cè)（e1，r，e2）是否是正確的。最在KB嵌入方面的工作：張量分解，神經(jīng)網(wǎng)絡(luò)。

張量分解-知識(shí)庫(kù)表示（1/2）：收集-主-謂-賓-（e1，r，e2）

張量分解-知識(shí)庫(kù)表示（2/2）：0輸入意味著不正確或者不知道

張量分解對(duì)象

測(cè)量關(guān)系的程度

鍵入張量分解：關(guān)系的主要知識(shí)有鍵入信息，約束和損耗中唯一合法的實(shí)體。利用鍵入信息的好處有三點(diǎn)：模型訓(xùn)練時(shí)間短，大KB可高度擴(kuò)展，預(yù)測(cè)精度更高。

鍵入張量分解對(duì)象重建誤差

加入張量分解對(duì)象重建誤差

訓(xùn)練過(guò)程-交替最小二乘法

實(shí)驗(yàn)—KB完成

實(shí)體檢索

相關(guān)性進(jìn)行檢索及其平均精度

知識(shí)庫(kù)的嵌入模式

相關(guān)操作的評(píng)價(jià)函數(shù)及其參數(shù)

基于神經(jīng)網(wǎng)絡(luò)的KB嵌入式方法的經(jīng)驗(yàn)比較：參數(shù)少表現(xiàn)更佳；雙線(xiàn)性操作符十分關(guān)鍵；建模時(shí)，乘法要優(yōu)于加法；pre-trained 短語(yǔ)和嵌入式向量對(duì)于表現(xiàn)十分關(guān)鍵。

霍恩子句的最小化規(guī)則

相關(guān)路徑中進(jìn)行學(xué)習(xí)

自然語(yǔ)言理解

連續(xù)的詞表達(dá)和詞匯語(yǔ)義學(xué)

知識(shí)庫(kù)嵌入

KB為基礎(chǔ)的問(wèn)題回答和機(jī)器理解

語(yǔ)義分析

極具挑戰(zhàn)性的語(yǔ)言任務(wù)可能會(huì)導(dǎo)致重大失誤

極具挑戰(zhàn)性的語(yǔ)言任務(wù)可能會(huì)導(dǎo)致重大失誤

極具挑戰(zhàn)性的語(yǔ)言任務(wù)可能會(huì)導(dǎo)致重大失誤

問(wèn)題配對(duì)有三種方法：通過(guò)釋義進(jìn)行語(yǔ)義分析；使用源于單詞校對(duì)結(jié)果的單詞表創(chuàng)造短語(yǔ)配對(duì)特征；把問(wèn)題用向量表示。

鑲嵌子圖模式

使用DSSM確定推理鏈

深度學(xué)習(xí)的回答和問(wèn)題數(shù)據(jù)集。

把原始版本和匿名版本進(jìn)行了比較。

神經(jīng)網(wǎng)絡(luò)模式中Attentive Reader的具體運(yùn)行結(jié)構(gòu)圖。

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中Impatient Reader的運(yùn)行結(jié)構(gòu)圖。

各模式運(yùn)行結(jié)果精準(zhǔn)度的比較，其中以NN為基礎(chǔ)的模式表現(xiàn)最好。

對(duì)所有的問(wèn)題進(jìn)行了全面的檢查，發(fā)現(xiàn)問(wèn)題在于需用智能的方法創(chuàng)建大規(guī)模的受監(jiān)督數(shù)據(jù)以及弄清楚理解程度問(wèn)題。此外好的消息是實(shí)體能平等地進(jìn)行工作且Attentive Reader模式表現(xiàn)最好。壞消息是任務(wù)難度較大，需達(dá)到最優(yōu)化（25%的問(wèn)題還是無(wú)法回答）。

連續(xù)空間表現(xiàn)對(duì)于一些神經(jīng)網(wǎng)絡(luò)語(yǔ)義理解任務(wù)還是很有幫助的；例如，連續(xù)詞語(yǔ)表達(dá)和詞匯任務(wù)，知識(shí)庫(kù)鑲嵌，以KB為基礎(chǔ)的問(wèn)題回答和機(jī)器理解。

在NN和連續(xù)表達(dá)方面實(shí)現(xiàn)了較大進(jìn)步，例如，文本處理和知識(shí)推理。

對(duì)于未來(lái)展望提出了以下幾個(gè)方面：

建立一個(gè)通用的智能空間

文本，知識(shí)和推理等等

從部件模式到端至端解決方法。

總結(jié)：

自然語(yǔ)言理解，重點(diǎn)在于 建立能與使用自然語(yǔ)言的人類(lèi)進(jìn)行交互的智能系統(tǒng)。此外需要連續(xù)詞語(yǔ)表達(dá)和詞匯語(yǔ)義學(xué)。

連續(xù)詞語(yǔ)表達(dá)，重點(diǎn)在于知識(shí)基礎(chǔ)嵌入和基于知識(shí)基礎(chǔ)的問(wèn)題回答&機(jī)器理解。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。