微軟研究院在IJCAI2016的Tutorial上講述了自己將深度學(xué)習(xí)、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于不同場(chǎng)景的情況，之前第一部分提到了其應(yīng)用于語(yǔ)義理解上的一些經(jīng)驗(yàn)和收獲，本文為第二部分。

聯(lián)合編譯：Blake、章敏、陳?ài)?/p>

統(tǒng)計(jì)機(jī)器翻譯（SMT）包括：

l  統(tǒng)計(jì)結(jié)果

l  來(lái)源渠道模型

l  翻譯模型

l  語(yǔ)言模型

l  對(duì)數(shù)線(xiàn)性模型

l  評(píng)價(jià)指標(biāo)：BLEU分?jǐn)?shù)（越高越好）

基于短語(yǔ)的統(tǒng)計(jì)機(jī)器翻譯（SMT）將中文翻譯成英文

核心問(wèn)題：針對(duì)什么建模？

l  針對(duì)詞匯可能性

   語(yǔ)言模型

   LM/w 來(lái)源

l  基于短語(yǔ)的機(jī)器翻譯  翻譯/錄制可能性

   翻譯

   錄制

l  基于二元的機(jī)器翻譯

l  ITG模型

神經(jīng)網(wǎng)絡(luò)在基于短語(yǔ)的SMT中的示例

l  神經(jīng)網(wǎng)絡(luò)作為線(xiàn)性模型中的組成部分

   翻譯模型

   預(yù)壓模型 卷曲神經(jīng)網(wǎng)絡(luò)的使用

   聯(lián)合模型 FFLM與原始詞匯

l  神經(jīng)機(jī)器翻譯（NMT）

   建立一個(gè)單一、大型的神經(jīng)網(wǎng)絡(luò)用來(lái)讀取句子并輸出翻譯

   RNN 編碼-解碼

   長(zhǎng)短時(shí)期記憶

   聯(lián)合學(xué)習(xí)順序、翻譯

   NMT在WMT任務(wù)上超過(guò)了最好的結(jié)果

短語(yǔ)翻譯模型雖然簡(jiǎn)單，但是解決了數(shù)據(jù)稀少的問(wèn)題。

深度語(yǔ)義相似模型（DSSM）

l  計(jì)算語(yǔ)義相似性btw文本

l  針對(duì)自然語(yǔ)義處理任務(wù)的DSSM

DSSM 針對(duì)短語(yǔ)翻譯模型

l  兩個(gè)神經(jīng)網(wǎng)絡(luò)（一個(gè)是來(lái)源方向，一個(gè)是導(dǎo)向方向）

   輸入

   輸出

l  短語(yǔ)翻譯分?jǐn)?shù)=矢量點(diǎn)積

   分?jǐn)?shù)

   為了緩解數(shù)據(jù)稀疏性，允許復(fù)雜的分?jǐn)?shù)函數(shù)

N-gram語(yǔ)言模型

l  詞語(yǔ)n-gram模型（如n=3）

l  使用長(zhǎng)歷史的問(wèn)題

    稀少的事件：不可靠的可能性預(yù)估

RNN LMs需要返回到句子剛開(kāi)始的時(shí)段，這也使得動(dòng)態(tài)規(guī)劃更加困難。為了給新詞匯評(píng)分每一個(gè)解碼器的狀態(tài)都需要維持在h，通過(guò)傳統(tǒng)的n-gram語(yǔ)境和最好的h來(lái)合并假設(shè)，進(jìn)行重新組合。

模擬S需要3個(gè)條件：1.整個(gè)源句子或者均衡的源詞匯 2.S作為詞匯序列，詞匯包，或者矢量代表 3.如何學(xué)習(xí)S的矢量代表？神經(jīng)網(wǎng)絡(luò)聯(lián)合模型基于遞歸神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型和前饋神經(jīng)語(yǔ)言模型。

前饋神經(jīng)語(yǔ)言模型

擴(kuò)展前饋LM，使它包含周?chē)芯庠丛~匯的窗口。如果要對(duì)齊多個(gè)源詞匯，選擇正中間的位置；如果無(wú)需對(duì)齊，則繼承最近目標(biāo)詞匯的隊(duì)列。同時(shí)用隊(duì)列在文本中進(jìn)行訓(xùn)練；優(yōu)化目標(biāo)的可能性。

神經(jīng)機(jī)器翻譯，建立一個(gè)單獨(dú)的，大型的NN，閱讀句子并輸入翻譯。不像基于短語(yǔ)的系統(tǒng)需要很多零件模型組成。編碼器-解碼器基礎(chǔ)方法是：一個(gè)編碼器RNN進(jìn)行閱讀和將一個(gè)源句子編碼到固定長(zhǎng)度的矢量中，一個(gè)解碼器RNN從編碼器矢量中輸出可變長(zhǎng)度的翻譯，最后編碼器-解碼器RNNs聯(lián)合學(xué)習(xí)文本，優(yōu)化目標(biāo)可能性。

[Sutskever+2014]編碼器-解碼器模型

將MT當(dāng)成普遍的序列到序列的翻譯，閱讀源頭；累積隱狀態(tài)；生成目標(biāo)。其中<EOS>是停止遞歸進(jìn)程的符號(hào)。在練習(xí)中，反向閱讀源句子會(huì)導(dǎo)致更好的MT結(jié)果。在文本中進(jìn)行訓(xùn)練，并使用SGD優(yōu)化目標(biāo)可能性。

潛能和困難

在理論上，RNN可以將所有過(guò)去輸入的信息“儲(chǔ)存”在h中，但在現(xiàn)實(shí)中標(biāo)準(zhǔn)的RNN無(wú)法捕獲長(zhǎng)距離的依賴(lài)。解決反向傳播中梯度消失和爆炸和不穩(wěn)定噪音問(wèn)題的方法是：長(zhǎng)的短期記憶。

長(zhǎng)短期記憶細(xì)胞

RNN中一個(gè)LSTM單元的信息流的圖解和數(shù)學(xué)公式。W`s是權(quán)重矩陣，雖然沒(méi)有顯示但可以從圖中輕松的推理出來(lái)。

兩個(gè)門(mén)的記憶細(xì)胞

圖2：提出的隱激活函數(shù)。更新門(mén)z決定隱藏狀態(tài)是否更新了新的隱藏狀態(tài)h。復(fù)位門(mén)r決定先前的隱藏狀態(tài)是否被忽略。

排列和翻譯的聯(lián)合學(xué)習(xí)

SMT編碼器-譯碼器模型存在一個(gè)問(wèn)題問(wèn)題：壓縮源信息到一個(gè)固定長(zhǎng)度矢量中，使得RNN很難復(fù)雜長(zhǎng)句子。注意力模型就是：編碼輸入句子到矢量隊(duì)列，并在解碼時(shí)選擇矢量的子集

它類(lèi)似的想法于[Devlin+14]。

 [ Bahdanan+15]的注意力模型

編碼器：雙向RNN編碼每一個(gè)單詞和文本

解碼器：尋找一系列與預(yù)測(cè)的目標(biāo)詞匯最相關(guān)的源詞匯，并基于源詞匯和所有先前生成詞匯相關(guān)的文本矢量預(yù)測(cè)目標(biāo)詞匯。這樣翻譯長(zhǎng)句子的表現(xiàn)接近最佳性能。

 MSR`s神經(jīng)對(duì)話(huà)引擎

總結(jié)：

這一部分主要介紹了深度神經(jīng)網(wǎng)絡(luò)對(duì)于問(wèn)題進(jìn)行分類(lèi)的實(shí)例，以及在統(tǒng)計(jì)機(jī)器翻譯和對(duì)話(huà)中深度學(xué)習(xí)的應(yīng)用，對(duì)于語(yǔ)義表達(dá)學(xué)習(xí)和自然語(yǔ)言的理解也有所提及。

PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。