雷鋒網(wǎng)按：本文原作者為深度好奇研究組，原發(fā)表于公眾號“深度好奇AI”（deeplycurious）。雷鋒網(wǎng)已獲授權(quán)轉(zhuǎn)載。

論文題目：Neural Entity Reasoner for Global Consistency in NER

論文地址：（請戳此處）

命名實體識別（Named Entity Recognition）被認為是文本理解的基礎(chǔ)和底層任務(wù)，因為它的職能就是發(fā)現(xiàn)和標(biāo)識文本中的人名、地名等。傳統(tǒng)的NER方法依賴局部和底層的語言特征，近年來神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對局部語言特征的掌握取得令人矚目的效果，以至于NER很多時候被當(dāng)成“已解決”的任務(wù)。但現(xiàn)有的方法與研究往往局限于底層的分析和計算，忽視實體本身對文本理解過程的影響，引入CRF進行解碼的成功也正是因為如此。

當(dāng)出現(xiàn)有歧義的說法或者少見的人名時，現(xiàn)有方法往往會遇到困難。而人在這種情況下，往往可以通過縱覽全文，打通和融合局部的知識，來擺脫這種困境。所以，NER任務(wù)本質(zhì)是模型對抽取實體進行理解的任務(wù)。本文正是受到人的思維模型的啟發(fā)，為NER這個看似低級的任務(wù)引入了高級的“推理”機制，將符號化的命名實體信息“取之于網(wǎng)絡(luò)，用之于網(wǎng)絡(luò)”，從而可以在深度學(xué)習(xí)的框架內(nèi)融合同一文本中的命名實體的決策。

命名實體神經(jīng)推理機（NE-Reasoner）從實體對象這一更高層次的角度出發(fā)，分析實體識別的運算過程，引入可人工設(shè)計的推理框架，通過以下三點完成實體的理解和推理：1）在現(xiàn)有方法的基礎(chǔ)上，得到對于實體的完整表示；2）引入符號化緩存記憶，對實體信息進行存儲；3）通過符號化的操作和推理模型，避免復(fù)雜化的處理，以端到端的形式輕松完成訓(xùn)練。

概述

NE-Reasoner整體上是一個多層的架構(gòu)，每一層都由三部分組成，編碼器對輸入文本進行編碼以捕捉語義等信息，推理單元通過編碼信息和緩存記憶，得到實體間的推理信息，解碼器綜合這兩部分信息得出最后的結(jié)果。在編碼器與解碼器保持不變的情況下，緩存記憶在層之間根據(jù)識別出的實體動態(tài)的變化，通過推理單元達到逐步推理的效果。

圖1 NE-Reasoner整體多層架構(gòu)

具體來講，每一層都獨立完成一次NER；每層的NER結(jié)果，會通過一個符號化的“緩存”存儲起來，作為下一層NER的參考；這種參考是通過一個交互式的池化神經(jīng)網(wǎng)絡(luò)來實現(xiàn)，它其實是一個基于多個事實的推理模型。通過這樣的設(shè)計，在做每個局部的決策時，模型都可以“看見”目前識別出的所有實體信息并參考別處相關(guān)決策，從而做出更加明智的決定。

實體的表示

探究實體的預(yù)測過程，首先要清楚實體出現(xiàn)的語言模式。每一個實體的確定，都存在決定性的標(biāo)識，這種標(biāo)識來自兩方面，一個是字詞本身的信息，比如“張某某”這種詞匯，沒有任何上下文的情況下，會優(yōu)先將它作為人名處理；另外一方面是前后文的模式，比如“我和XX是好朋友”，我們可以推斷XX處為人名。從這兩方面信息，我們可以對實體模式進行如下的解構(gòu)：

前文信息-實體-后文信息

這樣一種結(jié)構(gòu)可以完整地描述一個實體。在神經(jīng)網(wǎng)絡(luò)中，現(xiàn)有的方法也是通過這些局部的語言特征進行識別，所以可以輕易地從編碼信息中找到實體的表示。

對于本文使用的Bi-LSTM編碼器，分別從前后兩個方向?qū)σ粋€字進行上下文的編碼，而解碼器通過這些信息得到對于實體的決定性信息。所以，在實體的第一個字，前向的LSTM的編碼信息一定包含實體的前文信息，最后一個字的后向LSTM編碼信息一定包含實體的后向信息，而另外兩部分都包含完整的實體字符信息。對于每一個實體，我們都可以將它的編碼信息做這樣的分解，以得到這樣四個不同維度對實體的表示：

前文信息-前向?qū)嶓w信息-后向?qū)嶓w信息-后文信息

這也剛好符合前面對實體模式的分析。通過每一層最終的預(yù)測結(jié)果，可以利用這樣的符號化信息定位到實體位置，將每一個實體都從這四個方面進行完整的表示，然后存入緩存記憶中。

圖2 利用上下文和前后向信息表示實體

推理單元

通過上面的操作，每一層都可以得到上一層識別出的實體的表示，除此之外，層與層之間沒有其他必然的聯(lián)系。將每一層單獨來看，我們相當(dāng)于得到了該文本中都有哪些是實體以及它們?yōu)槭裁词菍嶓w這類非常重要的先驗知識。

不同于以往方法對記憶模塊的使用，這里的緩存記憶實際上是由符號化信息指導(dǎo)產(chǎn)生的堆放實體信息的列表，作為外部信息，不需要進行梯度的傳導(dǎo)。由于每個實體也都是獨立的，所以緩存記憶在這里可以看作由多個事實組成，而推理單元的作用就是從這些事實中得到全局的推理信息。

解碼時，字符的編碼信息與每一個實體的表示進行運算以獲得與每一個實體的關(guān)系，再通過池化操作從中挑選出最具有代表性的關(guān)系作為最終的參考。具體到本文的任務(wù)來講，我們通過語義之間的相似性來進行推斷，如果存在實體模式與當(dāng)前所讀到的字段相似，那么相似字段在文本中所扮演的角色也應(yīng)該是相似的，所以可以使用向量距離（如余弦距離）等運算來代表字符編碼信息與實體之間的關(guān)系，本文使用的是向量內(nèi)積。

圖3 利用記憶模塊進行實體推理

之后，每一個實體的四個維度都可以得到一個運算結(jié)果，表示在這四個方面的相似度。在實體的推理中，最重要的是是否存在一個實體信息與當(dāng)前字段信息很相似，而具體哪一個或者有幾個這樣的信息是不重要的；所以，在四個維度上進行max-pooling可以得到四個值，作為最終的參考信息。將這部分信息與編碼信息一起輸入到解碼器，從而得到這一層的輸出。

訓(xùn)練

由于每一層都相對獨立且具有單獨的輸出結(jié)果，層與層之間不需要梯度的傳導(dǎo)但卻通過預(yù)測結(jié)果進行影響，所以可以有多種訓(xùn)練方式，比如預(yù)訓(xùn)練第一層、每一層聯(lián)合訓(xùn)練或僅利用最后一層輸出結(jié)果進行訓(xùn)練。本文中所使用的模型的每一層都共享參數(shù)，實際上層間的區(qū)別只有緩存記憶的實體信息的不同，因此直接對最后一層進行訓(xùn)練就可以在整體上得到好的結(jié)果。

實驗

本文在英文和中文兩個數(shù)據(jù)集上進行了實驗，均取得了明顯的提升。由于本方法是一個通用的框架，理論上可以疊加到任意編碼-解碼形式的網(wǎng)絡(luò)模型中；并且由于是逐層的輸出，可以從不同層之間輸出結(jié)果的變化看到真實的推理效果，不僅提升了效果，而且符合對推理的預(yù)期，有極強的可解釋性。

圖4 NE-Reasoner修正前后典型結(jié)果對比

總結(jié)

通過在神經(jīng)網(wǎng)絡(luò)的推理過程中引入符號化的緩存記憶，以及在緩存基礎(chǔ)上的多事實全局推理，可以顯著提高命名實體識別的準(zhǔn)確率，尤其是在傳統(tǒng)方法容易犯錯的歧義和少見人名上有更好的表現(xiàn)。命名實體神經(jīng)推理機作為神經(jīng)符號推理機在NER任務(wù)上應(yīng)用的一個實例，不僅打開了之前神經(jīng)網(wǎng)絡(luò)推理決策的黑箱，使得推理過程中的關(guān)鍵步驟對人類可見和可理解，還給予了人工進一步干預(yù)推理過程的可能性以及可用的接口。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。