雷鋒網(wǎng) AI 科技評論按，在去年的 EMNLP2018 上，由孫茂松教授領(lǐng)導(dǎo)的清華大學(xué)自然語言處理實驗室發(fā)布了一個大規(guī)模精標注關(guān)系抽取數(shù)據(jù)集 FewRel。據(jù)了解，這是目前最大的精標注關(guān)系抽取數(shù)據(jù)集。

該數(shù)據(jù)集包含 100 個類別、70,000 個實例，全面超越了以往的同類精標注數(shù)據(jù)集。FewRel 不僅可以應(yīng)用在經(jīng)典的監(jiān)督/遠監(jiān)督關(guān)系抽取任務(wù)中，在新興的少次學(xué)習(xí)（few-shot learning）任務(wù)上也有極大的探索價值和廣闊的應(yīng)用前景。

團隊還發(fā)布了論文《FewRel: A Large-Scale Supervised Few-Shot Relation Classification Dataset with State-of-the-Art Evaluation》，該論文由清華大學(xué)自然語言處理實驗室的博士生韓旭、姚遠，本科生朱昊、于鵬飛、王子云共同合作完成。文章對 FewRel 數(shù)據(jù)集的構(gòu)造原理給出了詳細解釋，感興趣的童鞋可以點擊下面的論文地址閱讀原文：

• FewRel 網(wǎng)站地址：https://thunlp.github.io/fewrel.html
  

• 論文地址：http://aclweb.org/anthology/D18-1514
  

關(guān)系抽取（relation extraction）是自然語言處理中的一項重要任務(wù)，其通過從純文本中抽取關(guān)系事實，來構(gòu)建和擴充知識圖譜（knowledge graph）。例如，從句子「馬云創(chuàng)辦了阿里巴巴」中，可以抽取出關(guān)系事實（馬云, 創(chuàng)始人, 阿里巴巴），其中馬云和阿里巴巴被稱為實體（entity），而創(chuàng)始人則是他們的關(guān)系（relation）。關(guān)系抽取是知識獲取的重要途徑，對于理解自然語言和理解世界知識意義重大。

目前的關(guān)系抽取模型面臨著一個極大的問題：訓(xùn)練數(shù)據(jù)不足。相比計算機視覺中的相關(guān)任務(wù)，語言相關(guān)的標注更加困難，需要標注者掌握相應(yīng)的知識。就如下表 1 中所示，已有精標注關(guān)系抽取數(shù)據(jù)集在關(guān)系數(shù)量和實例數(shù)量上都較少，這極大限制了關(guān)系抽取的發(fā)展。

數(shù)據(jù)集	關(guān)系數(shù)量	實例數(shù)量（不包括 NA）
SemEval-2010 Task 8	9	6,674
ACE 2003-2004	24	16,771
TACRED	42	21,784
FewRel	100	70,000

表 1：常用精標關(guān)系抽取數(shù)據(jù)集對比

作為目前關(guān)系抽取領(lǐng)域最大的精標注數(shù)據(jù)集，F(xiàn)ewRel 中有 100 類關(guān)系，共 70,000 個實例，是很好的實驗數(shù)據(jù)集。此前，加州大學(xué)圣巴巴拉分校計算機科學(xué)系助理教授王威廉實驗室與IBM合作的 NAACL 2019 論文 Sentence Embedding Alignment for Lifelong Relation Extraction 就用到了這個數(shù)據(jù)集。       

FewRel 是以 Wikipedia 作為語料庫，以 Wikidata 作為知識圖譜構(gòu)建的。

圖 1: Wikidata 和 Wikipedia（圖來自 Wikidata 和 Wikipedia 官網(wǎng)）

Wikipedia 作為互聯(lián)網(wǎng)上的自由百科全書，因其巨大的體量和蘊含的豐富知識而備受 NLP 學(xué)者青睞。與其相對應(yīng)的知識圖譜 Wikidata，則是 Wikipedia 中知識的結(jié)構(gòu)化。目前 Wikidata 中已有超過 5000 萬個實體，千余種關(guān)系。

清華大學(xué)自然語言處理實驗室數(shù)據(jù)集團隊首先利用這兩者構(gòu)造了一個遠監(jiān)督的數(shù)據(jù)集。那么，什么是遠監(jiān)督？知識圖譜中已經(jīng)包含了許多實體以及他們之間的關(guān)系，我們可以假設(shè)，若兩個實體 h 和 t 間有關(guān)系 r，而一個句子中同時出現(xiàn)了 h 和 t，則該句子表達了它們之間的關(guān)系 r。通過這種方法可以自動獲得大規(guī)模的標注數(shù)據(jù)，然而這一數(shù)據(jù)是充滿噪聲的，幾乎無法直接用來訓(xùn)練模型。在遠監(jiān)督數(shù)據(jù)集的基礎(chǔ)上，去掉出現(xiàn)重復(fù)實體對的句子，去掉少于 1000 個樣本的類，最終留下 122 類，共 122,000 個實例，然后進行人工標注。

在這一過程中，每個實例都會有多個標注員進行標注，通過冗余保證標注質(zhì)量。在此之后再進行一輪質(zhì)量篩選，最后留下 100 類，共 70,000 句高質(zhì)量標注的關(guān)系抽取數(shù)據(jù)。最終數(shù)據(jù)集中，每句的平均長度為 24.99，一共出現(xiàn) 124,577 個不同的單詞/符號。

據(jù)了解，F(xiàn)ewRel 的意義不僅僅是一個大規(guī)模的數(shù)據(jù)集。因為關(guān)系數(shù)量的眾多，學(xué)界可以在 FewRel 上進行更多維度的探索，其中很重要的一個方向就是少次學(xué)習(xí)（few-shot learning）。人可以接觸很少的例子而學(xué)會認知一種新的事物，從這一點出發(fā)，深度學(xué)習(xí)模型能否具備從少量樣本中快速學(xué)習(xí)的能力呢？目前在 CV 領(lǐng)域已有了很多這方面的嘗試，但在 NLP 當中，尤其是關(guān)系抽取上，還缺乏類似的探索。尤其因為以往的關(guān)系抽取數(shù)據(jù)集關(guān)系數(shù)量和實例數(shù)量較少，而通常 few-shot 模型需要在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練，需要在類別較多的數(shù)據(jù)上做 sample 評測，所以很難開展相關(guān)工作。

FewRel 的出現(xiàn)打開了少例關(guān)系抽取的大門，其名字中的 Few 也正是取自 Few-shot。通過下面的表 2 我們可以看到，F(xiàn)ewRel 與 CV 中的 few-shot 數(shù)據(jù)集 mini-ImageNet 具有相同的規(guī)模，可見其足以支撐相關(guān)的研究。

數(shù)據(jù)集	類別數(shù)	每類實例	總實例
Omniglot	1,623	20	32,460
mini-ImageNet	100	600	60,000
FewRel	100	700	70,000

表 2：FewRel 與兩個 CV 中 Few-Shot 數(shù)據(jù)集對比

除此之外，F(xiàn)ewRel 還可以幫助科研人員進行需要較多關(guān)系類別的相關(guān)研究，終身學(xué)習(xí)（lifelong learning）就是其中一個方向。目前大部分關(guān)系抽取模型都是在預(yù)先定義好的類別中進行探索，而我們知道，世界知識是不斷增長的，關(guān)系數(shù)量也不是停滯的，如何讓一個模型能不斷接收新的訓(xùn)練樣本，同時不至遺忘之前的知識，是一個十分值得探索的課題。而相關(guān)實驗需要有大量關(guān)系類別的精標數(shù)據(jù)，F(xiàn)ewRel 正好滿足條件。

據(jù)了解，未來 FewRel 團隊還將公開其構(gòu)建數(shù)據(jù)集時所使用的基于 Wikipedia 的遠監(jiān)督數(shù)據(jù)，將遠監(jiān)督數(shù)據(jù)與精標數(shù)據(jù)相結(jié)合，研究人員可以進一步探索遠監(jiān)督的降噪機制，以及如何使用兩種數(shù)據(jù)進行半監(jiān)督學(xué)習(xí)。

由于精標數(shù)據(jù)可以被視作「種子」，遠監(jiān)督數(shù)據(jù)可以被看作巨大的語料庫，F(xiàn)ewRel 還可以用在主動學(xué)習(xí)（active learning）和自啟動算法（bootstrapping）方面的研究中。然而，近幾年來，在關(guān)系抽取領(lǐng)域少有人進行類似探索，其原因就是數(shù)據(jù)集的缺乏。伴隨著 FewRel 的出現(xiàn)，相信接下來這些重要方向的研究必然會有所推進。

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。