雷鋒網(wǎng)AI研習(xí)社按：關(guān)系抽取是自然語(yǔ)言處理中的重要任務(wù)，也是從文本中挖掘知識(shí)的基本途徑之一。深度學(xué)習(xí)在關(guān)系抽取中的研究在近幾年取得了廣泛關(guān)注，其中基于遠(yuǎn)距離監(jiān)督、帶有注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型成為解決問(wèn)題的主要方法。在本次公開(kāi)課中，講者將梳理神經(jīng)模型在關(guān)系抽取中的發(fā)展脈絡(luò)，并分享相關(guān)領(lǐng)域的最新工作進(jìn)展。

分享嘉賓：

韓旭，清華大學(xué)計(jì)算機(jī)系在讀博士，導(dǎo)師是劉知遠(yuǎn)副教授，主要研究方向?yàn)樽匀徽Z(yǔ)言處理，知識(shí)獲取等。其研究工作曾在 AAAI、COLING、EMNLP 等發(fā)表。

公開(kāi)課回放地址：

http://www.mooc.ai/open/course/548?=Leiphone

分享主題：神經(jīng)關(guān)系抽取模型

分享提綱：

• 深度學(xué)習(xí)在關(guān)系抽取上的發(fā)展脈絡(luò)。

• 基于注意力機(jī)制的神經(jīng)關(guān)系抽取模型的剖析。

• 相關(guān)領(lǐng)域的最新工作進(jìn)展的介紹。

雷鋒網(wǎng)AI研習(xí)社將其分享內(nèi)容整理如下：

今天主要講關(guān)系抽取領(lǐng)域的神經(jīng)模型的發(fā)展近況，首先，給大家科普一下背景知識(shí)。

關(guān)系抽取屬于信息抽取領(lǐng)域的子任務(wù)，主要的功能是讓機(jī)器從一句話中抽出給定實(shí)體，并厘清相應(yīng)關(guān)系，主要用于拓展知識(shí)圖譜，把無(wú)結(jié)構(gòu)的自由文本變成結(jié)構(gòu)化數(shù)據(jù)。

在傳統(tǒng)任務(wù)當(dāng)中，我們會(huì)把關(guān)系抽取當(dāng)作分類過(guò)濾器，先人為定義好關(guān)系，接著輸入標(biāo)注好實(shí)體的文本，然后判斷文本屬于定義關(guān)系中的哪一類。在某種程度上我們可以認(rèn)為這是一個(gè)有監(jiān)督的分類問(wèn)題。

到了 2013 年，神經(jīng)網(wǎng)絡(luò)模型被運(yùn)用到關(guān)系抽取領(lǐng)域里，也就是將句子作為特征放到神經(jīng)網(wǎng)絡(luò)里，通過(guò)神經(jīng)網(wǎng)絡(luò)習(xí)得特征來(lái)做分類。

這些模型存在一個(gè)問(wèn)題，那就是需要大量的高質(zhì)量數(shù)據(jù)和人力投入，代價(jià)較高，因此在推廣上面臨困難。

為了解決這個(gè)問(wèn)題，遠(yuǎn)程監(jiān)督的概念應(yīng)運(yùn)而生，它引入了這么一個(gè)假設(shè)：兩個(gè)實(shí)體如果在外部的知識(shí)圖譜中存在關(guān)系，那么包含該實(shí)體的句子就是圖譜中的對(duì)應(yīng)關(guān)系。通過(guò)這種啟發(fā)式的方法，機(jī)器可以自動(dòng)標(biāo)注許多數(shù)據(jù)，再用于訓(xùn)練分類器做關(guān)系抽取。

遠(yuǎn)程監(jiān)督的優(yōu)勢(shì)在于無(wú)需人工操作，且能普適大規(guī)模數(shù)據(jù)，然而卻面臨著噪音問(wèn)題。

怎么解決這個(gè)噪音問(wèn)題呢？

第一個(gè)方法是引入多實(shí)例學(xué)習(xí)，將所有包含同樣實(shí)體的句子放到一個(gè)包（bag）里，在有需要時(shí)對(duì)包里的句子進(jìn)行特征提取，進(jìn)而預(yù)測(cè)實(shí)體之間的關(guān)系。

2015 年的一項(xiàng)工作把遠(yuǎn)程監(jiān)督與多實(shí)例學(xué)習(xí)結(jié)合起來(lái)，從那時(shí)開(kāi)始，關(guān)系抽取領(lǐng)域的關(guān)鍵模型基本上都由遠(yuǎn)程監(jiān)督+多實(shí)例學(xué)習(xí)+神經(jīng)網(wǎng)絡(luò)組成。

注意力機(jī)制模型

這是我們實(shí)驗(yàn)室一個(gè)學(xué)長(zhǎng)在 2016 年開(kāi)展的一項(xiàng)工作，主要針對(duì)多實(shí)例學(xué)習(xí)中存在的噪音問(wèn)題，通過(guò)引入注意力機(jī)制給包（bag）下的句子賦予權(quán)重，有效增強(qiáng)預(yù)測(cè)效果。

【更多關(guān)于注意力機(jī)制模型的運(yùn)作原理，請(qǐng)回看視頻 00：16：53 處，http://www.mooc.ai/open/course/548?=Leiphone】

 

 

從實(shí)驗(yàn)結(jié)果上看，添加注意力機(jī)制確實(shí)可以有效提升模型的效果。（黑線為增加了注意力機(jī)制的模型）

 

從 2016 年開(kāi)始，關(guān)系抽取領(lǐng)域的關(guān)鍵模型在原來(lái)的遠(yuǎn)程監(jiān)督+多實(shí)例學(xué)習(xí)+神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，再增加一個(gè)注意力機(jī)制。

拓展模型

一、 引入實(shí)體的描述信息來(lái)構(gòu)建注意力機(jī)制

該工作將句子中的實(shí)體與對(duì)應(yīng)的描述文本的詞向量進(jìn)行處理后得到兩個(gè)特征，接著對(duì)兩個(gè)特征做減法獲得潛在關(guān)系，最后把潛在關(guān)系作為注意力機(jī)制的向量。

二、 引入軟標(biāo)注機(jī)制

為了解決錯(cuò)誤標(biāo)注的問(wèn)題，該工作給每個(gè)關(guān)系設(shè)置一個(gè)置信度，訓(xùn)練的過(guò)程中一旦發(fā)現(xiàn)預(yù)測(cè)的關(guān)系與原來(lái)標(biāo)注的不一致，且置信度比原來(lái)的要高的話，就會(huì)默認(rèn)原來(lái)的標(biāo)注存在問(wèn)題，并以新的預(yù)測(cè)關(guān)系進(jìn)行替代。

三、 引入對(duì)抗訓(xùn)練

通過(guò)刻意給句子制造噪音，無(wú)形中增強(qiáng)模型的抗噪能力。

四、 抽取多個(gè)實(shí)體之間的關(guān)系

針對(duì)一大段文本中的多對(duì)實(shí)體進(jìn)行關(guān)系抽取。這是業(yè)界未來(lái)一個(gè)可能的研究熱點(diǎn)，因?yàn)楹臀覀內(nèi)祟惾粘５恼J(rèn)知機(jī)制比較接近。

五、 融入知識(shí)表示模型

將知識(shí)圖譜模型與關(guān)系抽取模型放在一塊做聯(lián)合訓(xùn)練，進(jìn)而作為注意力機(jī)制起降噪作用。在這過(guò)程中，文本還可協(xié)助圖譜進(jìn)行完善和校正。

六、 融入知識(shí)圖譜的結(jié)構(gòu)信息

通過(guò)引入知識(shí)圖譜的關(guān)系層次結(jié)構(gòu)（主副關(guān)系等），構(gòu)建一個(gè)從粗粒度到細(xì)粒度的注意力機(jī)制特征。

七、 跨語(yǔ)言關(guān)系的抽取

該工作的核心思路在于利用不同語(yǔ)言之間的注意力機(jī)制，給彼此的文本做跨語(yǔ)言的權(quán)衡計(jì)算。跨語(yǔ)言關(guān)系抽取的好處在于，可以有效利用語(yǔ)言之間的互補(bǔ)性，比如中文里較少的關(guān)系特征數(shù)據(jù)，可用英文數(shù)據(jù)來(lái)進(jìn)行補(bǔ)充。

八、 跨語(yǔ)言關(guān)系的抽?。ㄉ?jí)版）

通過(guò)設(shè)立單獨(dú)語(yǔ)義空間和跨語(yǔ)言統(tǒng)一空間，并引入對(duì)抗訓(xùn)練，優(yōu)化最終跨語(yǔ)言關(guān)系的提取效果。

九、 基于 few-shot learning 的研究場(chǎng)景

為了解決遠(yuǎn)距離監(jiān)督的長(zhǎng)尾數(shù)據(jù)問(wèn)題，該工作通過(guò)構(gòu)建一個(gè)人工標(biāo)注的少樣本數(shù)據(jù)集，讓機(jī)器可以通過(guò)較少的樣例進(jìn)行學(xué)習(xí)推理。不過(guò)該工作目前更多應(yīng)用在圖像領(lǐng)域，自然語(yǔ)言領(lǐng)域有較大的發(fā)展空間。

最后給大家推薦一些相關(guān)資源。

前三項(xiàng)是我們組發(fā)完論文后的一些模型實(shí)現(xiàn)，后兩項(xiàng)則是一些零零散散的工作開(kāi)源代碼。

我今天的分享就到此為止，謝謝大家！

以上就是本期嘉賓的全部分享內(nèi)容。更多公開(kāi)課視頻請(qǐng)到雷鋒網(wǎng)AI研習(xí)社社區(qū)（https://club.leiphone.com/）觀看。關(guān)注微信公眾號(hào)：AI 研習(xí)社（okweiwu），可獲取最新公開(kāi)課直播時(shí)間預(yù)告。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。