雷鋒網 AI 科技評論按：在今年的 EMNLP 2017 上，臺灣大學黃意堯與加州圣塔芭芭拉大學 (UCSB)William Wang 教授有一篇合作論文被錄用。受雷鋒網 AI 科技評論邀請，黃意堯撰寫了關于這篇論文的研究歷程，以供學習與參考。雷鋒網 AI 科技評論做了不改動原意的編輯與修改，將繁體字轉換為簡體，并將一些臺灣常用表述轉換為大陸的通用說法。

論文名稱：Deep Residual Learning for Weakly-Supervised Relation Extraction

論文地址：https://arxiv.org/abs/1707.08866

近年來，越來越多人關注在關系抽取 (Relation Extraction) 的題目上，大部分的研究集中在使用更復雜、更結構化的神經網絡，并測量在 SemEval 2010 的關系抽取數(shù)據(jù)庫上。

但在這個數(shù)據(jù)庫上，最大的問題是數(shù)據(jù)太少，總共只有 10,717 條數(shù)據(jù)，導致大部分的模型參數(shù)不能太多，要不然會有過度擬合 (over fitting) 的現(xiàn)象發(fā)生。

相較於另一個數(shù)據(jù)庫，NYT dataset，總共有 695,059 條數(shù)據(jù)，採用半監(jiān)督式學習：distant supervision 來收集數(shù)據(jù)。這個數(shù)據(jù)庫有足夠大的數(shù)量來進行大型神經網絡的實驗。

出於這個動機，本文進行大型神經網絡在 NYT dataset 數(shù)據(jù)庫的實驗，并提出深度殘差網絡來解決 distant supervision 帶來的噪聲干擾。

問題探討

我們使用卷積神經網絡來進行關系抽取，取經於計算機視覺與深度卷積神經網絡的成功，我們透過增加層數(shù)，來增加神經網絡的參數(shù)，希望可以幫助關系抽取的學習。結果如圖一：

圖一、各式卷積網絡的結果

但我們卻發(fā)現(xiàn)，使用 9 層卷積神經網絡 (CNN-9) 的效果，并沒有單層 (CNN) 的好。這個結果跟過往的經驗違背。我們猜測原因是，在 distant supervision 的數(shù)據(jù)裡面，有太多錯誤標簽的數(shù)據(jù)，這些數(shù)據(jù)帶來太多的噪聲，而這些噪聲隨著越深層的神經網絡而被放大，導致 9 層卷積神經網絡 (CNN-9) 的結果比單層 (CNN) 更差。為了解決這個問題，我們使用殘差網絡，來幫助網絡的特征學習。

殘差網絡在半監(jiān)督式學習的應用

基於上面的實驗，我們知道淺層網絡在 distant supervision 的數(shù)據(jù)庫中，能學習到比較好的特征。於是，我們設法讓淺層網絡的特征，可以跳躍傳遞至深層網絡。

圖二，殘差網絡在關系抽取的架構

如圖二所示，我們使用擁有兩層卷積網絡的殘差區(qū)塊，將淺層網絡的特征傳到較深層的網絡。特過這樣的設計，我們可以依照數(shù)據(jù)庫的大小，來堆迭網絡架構，讓網絡可以選擇較不被噪聲影響的那層網絡特征來進行關系分類。

結果

這篇文章，提出一種，解決 distant supervision 噪聲對大型網絡影響的方法。在表一，我們可以看到，9 層的殘差網絡，與 state-of-the-art(PCNN+ATT) 的模型，有差不多的結果，并在高順位候選的關系上，有更棒的效能。證明，利用殘差網絡，可以在 distant supervision 的數(shù)據(jù)庫中，抽取更有用的特征。

表一，殘差網絡與其它網絡結構的結果比較

結論

本篇文章提供讀者、研究人員可以在 distant supervision 的數(shù)據(jù)庫使用大型深度神經網絡。但要注意，此種半監(jiān)督式學習的噪聲，會影響到實驗結果。利用殘差網絡可以解決這樣的問題，這篇文章在關系抽取的研究上，證明其結果。

文章趣事

本篇文章是我在加州圣塔芭芭拉大學 (UCSB)，做交換學生時完成的作品。其實圣塔芭芭拉是一個充滿陽光，很美的海灘，每天都可以沖浪、曬太陽、玩水，加上當時課選很少的情況下，覺得生活過得太安逸，決定加入當時新晉教授 William Wang 的實驗室，學習相關領域的知識。但沒想到，我是實驗室前 5 個進來的學生，導致所有知識都要靠自己來，自己吸收與學習。幸運的是，教授有許多時間，跟我討論題目，但另一方面，我也好像在過一個博士班學生單獨奮斗的生活，每天死盯著論文，想理解關系抽取到底發(fā)生了什么事。很幸運地，最后我把文章完成，并且順利的投上 EMNLP。很感謝 William Wang 教授愿意給我機會，與我進行大量的討論。William Wang 教授在知識圖譜的相關研究很厲害，有興趣的同學，可以申請到他的實驗室進行研究。

原文：https://arxiv.org/abs/1707.08866

項目：https://github.com/darrenyaoyao/ResCNN_RelationExtraction

William Wang 教授主頁：https://www.cs.ucsb.edu/~william

---

AI慕課學院近期推出了《NLP工程師入門實踐班：基于深度學習的自然語言處理》課程!

三大模塊，五大應用，海外博士講師手把手教你入門NLP，更有豐富項目經驗相授；算法+實踐，搭配典型行業(yè)應用；隨到隨學，專業(yè)社群，講師在線答疑！

課程地址：http://www.mooc.ai/course/427

加入AI慕課學院人工智能學習交流QQ群：624413030，與AI同行一起交流成長

雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。