雷鋒網(wǎng)按：本文原作者為深度好奇研究組，原發(fā)表于公眾號(hào)“深度好奇AI”（deeplycurious）。雷鋒網(wǎng)已獲授權(quán)轉(zhuǎn)載。

論文題目：Neural Entity Reasoner for Global Consistency in NER

論文地址：（請(qǐng)戳此處）

命名實(shí)體識(shí)別（Named Entity Recognition）被認(rèn)為是文本理解的基礎(chǔ)和底層任務(wù)，因?yàn)樗穆毮芫褪前l(fā)現(xiàn)和標(biāo)識(shí)文本中的人名、地名等。傳統(tǒng)的NER方法依賴局部和底層的語言特征，近年來神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)局部語言特征的掌握取得令人矚目的效果，以至于NER很多時(shí)候被當(dāng)成“已解決”的任務(wù)。但現(xiàn)有的方法與研究往往局限于底層的分析和計(jì)算，忽視實(shí)體本身對(duì)文本理解過程的影響，引入CRF進(jìn)行解碼的成功也正是因?yàn)槿绱恕?br/>

當(dāng)出現(xiàn)有歧義的說法或者少見的人名時(shí)，現(xiàn)有方法往往會(huì)遇到困難。而人在這種情況下，往往可以通過縱覽全文，打通和融合局部的知識(shí)，來擺脫這種困境。所以，NER任務(wù)本質(zhì)是模型對(duì)抽取實(shí)體進(jìn)行理解的任務(wù)。本文正是受到人的思維模型的啟發(fā)，為NER這個(gè)看似低級(jí)的任務(wù)引入了高級(jí)的“推理”機(jī)制，將符號(hào)化的命名實(shí)體信息“取之于網(wǎng)絡(luò)，用之于網(wǎng)絡(luò)”，從而可以在深度學(xué)習(xí)的框架內(nèi)融合同一文本中的命名實(shí)體的決策。

命名實(shí)體神經(jīng)推理機(jī)（NE-Reasoner）從實(shí)體對(duì)象這一更高層次的角度出發(fā)，分析實(shí)體識(shí)別的運(yùn)算過程，引入可人工設(shè)計(jì)的推理框架，通過以下三點(diǎn)完成實(shí)體的理解和推理：1）在現(xiàn)有方法的基礎(chǔ)上，得到對(duì)于實(shí)體的完整表示；2）引入符號(hào)化緩存記憶，對(duì)實(shí)體信息進(jìn)行存儲(chǔ)；3）通過符號(hào)化的操作和推理模型，避免復(fù)雜化的處理，以端到端的形式輕松完成訓(xùn)練。

概述

NE-Reasoner整體上是一個(gè)多層的架構(gòu)，每一層都由三部分組成，編碼器對(duì)輸入文本進(jìn)行編碼以捕捉語義等信息，推理單元通過編碼信息和緩存記憶，得到實(shí)體間的推理信息，解碼器綜合這兩部分信息得出最后的結(jié)果。在編碼器與解碼器保持不變的情況下，緩存記憶在層之間根據(jù)識(shí)別出的實(shí)體動(dòng)態(tài)的變化，通過推理單元達(dá)到逐步推理的效果。

圖1 NE-Reasoner整體多層架構(gòu)

具體來講，每一層都獨(dú)立完成一次NER；每層的NER結(jié)果，會(huì)通過一個(gè)符號(hào)化的“緩存”存儲(chǔ)起來，作為下一層NER的參考；這種參考是通過一個(gè)交互式的池化神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，它其實(shí)是一個(gè)基于多個(gè)事實(shí)的推理模型。通過這樣的設(shè)計(jì)，在做每個(gè)局部的決策時(shí)，模型都可以“看見”目前識(shí)別出的所有實(shí)體信息并參考別處相關(guān)決策，從而做出更加明智的決定。

實(shí)體的表示

探究實(shí)體的預(yù)測(cè)過程，首先要清楚實(shí)體出現(xiàn)的語言模式。每一個(gè)實(shí)體的確定，都存在決定性的標(biāo)識(shí)，這種標(biāo)識(shí)來自兩方面，一個(gè)是字詞本身的信息，比如“張某某”這種詞匯，沒有任何上下文的情況下，會(huì)優(yōu)先將它作為人名處理；另外一方面是前后文的模式，比如“我和XX是好朋友”，我們可以推斷XX處為人名。從這兩方面信息，我們可以對(duì)實(shí)體模式進(jìn)行如下的解構(gòu)：

前文信息-實(shí)體-后文信息

這樣一種結(jié)構(gòu)可以完整地描述一個(gè)實(shí)體。在神經(jīng)網(wǎng)絡(luò)中，現(xiàn)有的方法也是通過這些局部的語言特征進(jìn)行識(shí)別，所以可以輕易地從編碼信息中找到實(shí)體的表示。

對(duì)于本文使用的Bi-LSTM編碼器，分別從前后兩個(gè)方向?qū)σ粋€(gè)字進(jìn)行上下文的編碼，而解碼器通過這些信息得到對(duì)于實(shí)體的決定性信息。所以，在實(shí)體的第一個(gè)字，前向的LSTM的編碼信息一定包含實(shí)體的前文信息，最后一個(gè)字的后向LSTM編碼信息一定包含實(shí)體的后向信息，而另外兩部分都包含完整的實(shí)體字符信息。對(duì)于每一個(gè)實(shí)體，我們都可以將它的編碼信息做這樣的分解，以得到這樣四個(gè)不同維度對(duì)實(shí)體的表示：

前文信息-前向?qū)嶓w信息-后向?qū)嶓w信息-后文信息

這也剛好符合前面對(duì)實(shí)體模式的分析。通過每一層最終的預(yù)測(cè)結(jié)果，可以利用這樣的符號(hào)化信息定位到實(shí)體位置，將每一個(gè)實(shí)體都從這四個(gè)方面進(jìn)行完整的表示，然后存入緩存記憶中。

圖2 利用上下文和前后向信息表示實(shí)體

推理單元

通過上面的操作，每一層都可以得到上一層識(shí)別出的實(shí)體的表示，除此之外，層與層之間沒有其他必然的聯(lián)系。將每一層單獨(dú)來看，我們相當(dāng)于得到了該文本中都有哪些是實(shí)體以及它們?yōu)槭裁词菍?shí)體這類非常重要的先驗(yàn)知識(shí)。

不同于以往方法對(duì)記憶模塊的使用，這里的緩存記憶實(shí)際上是由符號(hào)化信息指導(dǎo)產(chǎn)生的堆放實(shí)體信息的列表，作為外部信息，不需要進(jìn)行梯度的傳導(dǎo)。由于每個(gè)實(shí)體也都是獨(dú)立的，所以緩存記憶在這里可以看作由多個(gè)事實(shí)組成，而推理單元的作用就是從這些事實(shí)中得到全局的推理信息。

解碼時(shí)，字符的編碼信息與每一個(gè)實(shí)體的表示進(jìn)行運(yùn)算以獲得與每一個(gè)實(shí)體的關(guān)系，再通過池化操作從中挑選出最具有代表性的關(guān)系作為最終的參考。具體到本文的任務(wù)來講，我們通過語義之間的相似性來進(jìn)行推斷，如果存在實(shí)體模式與當(dāng)前所讀到的字段相似，那么相似字段在文本中所扮演的角色也應(yīng)該是相似的，所以可以使用向量距離（如余弦距離）等運(yùn)算來代表字符編碼信息與實(shí)體之間的關(guān)系，本文使用的是向量?jī)?nèi)積。

圖3 利用記憶模塊進(jìn)行實(shí)體推理

之后，每一個(gè)實(shí)體的四個(gè)維度都可以得到一個(gè)運(yùn)算結(jié)果，表示在這四個(gè)方面的相似度。在實(shí)體的推理中，最重要的是是否存在一個(gè)實(shí)體信息與當(dāng)前字段信息很相似，而具體哪一個(gè)或者有幾個(gè)這樣的信息是不重要的；所以，在四個(gè)維度上進(jìn)行max-pooling可以得到四個(gè)值，作為最終的參考信息。將這部分信息與編碼信息一起輸入到解碼器，從而得到這一層的輸出。

訓(xùn)練

由于每一層都相對(duì)獨(dú)立且具有單獨(dú)的輸出結(jié)果，層與層之間不需要梯度的傳導(dǎo)但卻通過預(yù)測(cè)結(jié)果進(jìn)行影響，所以可以有多種訓(xùn)練方式，比如預(yù)訓(xùn)練第一層、每一層聯(lián)合訓(xùn)練或僅利用最后一層輸出結(jié)果進(jìn)行訓(xùn)練。本文中所使用的模型的每一層都共享參數(shù)，實(shí)際上層間的區(qū)別只有緩存記憶的實(shí)體信息的不同，因此直接對(duì)最后一層進(jìn)行訓(xùn)練就可以在整體上得到好的結(jié)果。

實(shí)驗(yàn)

本文在英文和中文兩個(gè)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，均取得了明顯的提升。由于本方法是一個(gè)通用的框架，理論上可以疊加到任意編碼-解碼形式的網(wǎng)絡(luò)模型中；并且由于是逐層的輸出，可以從不同層之間輸出結(jié)果的變化看到真實(shí)的推理效果，不僅提升了效果，而且符合對(duì)推理的預(yù)期，有極強(qiáng)的可解釋性。

圖4 NE-Reasoner修正前后典型結(jié)果對(duì)比

總結(jié)

通過在神經(jīng)網(wǎng)絡(luò)的推理過程中引入符號(hào)化的緩存記憶，以及在緩存基礎(chǔ)上的多事實(shí)全局推理，可以顯著提高命名實(shí)體識(shí)別的準(zhǔn)確率，尤其是在傳統(tǒng)方法容易犯錯(cuò)的歧義和少見人名上有更好的表現(xiàn)。命名實(shí)體神經(jīng)推理機(jī)作為神經(jīng)符號(hào)推理機(jī)在NER任務(wù)上應(yīng)用的一個(gè)實(shí)例，不僅打開了之前神經(jīng)網(wǎng)絡(luò)推理決策的黑箱，使得推理過程中的關(guān)鍵步驟對(duì)人類可見和可理解，還給予了人工進(jìn)一步干預(yù)推理過程的可能性以及可用的接口。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。