今日 Paper | 聯(lián)合抽??；流式語音識別；差異學習；Skip-Thought向量等

本文作者： AI研習社

2020-04-16 10:21

導語：為了更好地服務廣大 AI 青年，AI 研習社正式推出全新「論文」版塊。

在序列標注模型中使用位置注意力進行抽取實體與重疊關系的聯(lián)合抽取

論文名稱：Joint extraction of entities and overlapping relations using position-attentive sequence labeling

作者：Dai Dai / Xinyan Xiao / Yajuan Lyu / Shan Dou / Qiaoqiao She / Haifeng Wang

發(fā)表時間：2019/7/17

論文鏈接：https://paper.yanxishe.com/review/16071?from=leiphonecolumn_paperreview0416

推薦原因

本文設計了一種基于位置信息和上下文信息的注意力機制，同時將一個關系抽取任務拆成了n(n為句子的長度)個序列標注子任務，一個階段即可將實體、關系等信息抽取出來。

本文發(fā)表時在兩個數(shù)據(jù)集上達到了SOTA，并且對于跨度長的關系、重疊關系表現(xiàn)尤其好。

作者創(chuàng)造性的設計了一種標注方案(tag scheme)，拆分關系抽取任務，更巧妙的是，設計了位置注意力機制，將多個序列標注任務放在同一個BLSTM模型中同時訓練，讓我對注意力機制的理解更深了一層。

今日 Paper | 聯(lián)合抽??；流式語音識別；差異學習；Skip-Thought向量等

將混合CTC/Attention方法嵌入到Transformer結構中實現(xiàn)在線端到端的流式語音識別架構

論文名稱：TRANSFORMER-BASED ONLINE CTC/ATTENTION END-TO-END SPEECH RECOGNITION ARCHITECTURE

作者：Haoran Miao /Gaofeng Cheng /Changfeng Gao /Pengyuan Zhang /Yonghong Yan

發(fā)表時間：2020/1/15

論文鏈接：https://paper.yanxishe.com/review/15406?from=leiphonecolumn_paperreview0416

推薦原因

為了有效地解決在線流式語音識別問題，作者先前提出了一種以BILSTM為基礎結構的流式語音識別模型，本文是對上述的模型進行改進，一方面，采用transformer結構，并對其decoder的注意力模塊進行改造，以提高識別CER分數(shù)。另一方面，對先前提出的將語音輸入分割為chunks的方法進行改進，重用了部分重合的chunks的的hidden state，以減少識別耗時。

本文最終達到了23.66%的CER分數(shù)，并且僅有320ms的延時，同時，相對于離線的基線模型，CER分數(shù)僅損失了0.19%，大大提升了識別效果。

注：代碼不是本文的實現(xiàn)代碼，僅僅包含了本文改進的注意力機制部分。

今日 Paper | 聯(lián)合抽?。涣魇秸Z音識別；差異學習；Skip-Thought向量等

基于人工反向修正數(shù)據(jù)的差異學習

論文名稱：LEARNING THE DIFFERENCE THAT MAKES A DIFFERENCE WITH COUNTERFACTUALLY-AUGMENTED DATA

作者：Divyansh Kaushik /Eduard Hovy /Zachary C. Lipton

發(fā)表時間：2019/9/6

論文鏈接：https://paper.yanxishe.com/review/15283?from=leiphonecolumn_paperreview0416

推薦原因

1 當前很多優(yōu)秀的NLP模型，對數(shù)據(jù)中的虛假模式十分敏感，比如將文本分類模型中的關鍵詞用同義詞替代會使得模型效果大幅度降低，僅使用對話系統(tǒng)的問題或內容，在一些模型下，得到的結果與使用全部信息差別不大，等等。

2 針對以上問題，作者以一個情感分析和句子推理的數(shù)據(jù)集為基礎，在眾包平臺上招募作者對數(shù)據(jù)集進行反向修正，在盡量不修改樣本結構的情況下，讓樣本轉變相反的標簽，并以此為基礎在一系列機器學習和深度學習的模型上進行訓練，并且驗證了作者認為反向修正的數(shù)據(jù)集能提高模型對于虛假模式的表現(xiàn)的想法。

3 使用高質量的人工標注樣來讓人類看起來傻乎乎的機器學習模型更加聰明，應該有不少人在做了，我沒有做過相應的實驗，但是覺得這樣的做法很務實，其中用眾包的形式來采集修正數(shù)據(jù)的想法也很有意思。值得一提的是，盡管使用了修正數(shù)據(jù)讓模型能力提高了，但是對于基于bert預訓練的模型提升效果有限，可能一方面由于bert模型從大量預料中學到了一些對抗虛假模式的知識，另一方面作者采取的實驗是相對簡單的句子級別的分類，期待作者關于對話系統(tǒng)的下一步工作。

利用一種基于多屬性鄰近度的方法從可比較的新聞語料庫中挖掘事件

論文名稱：Mining News Events from Comparable News Corpora: A Multi-Attribute Proximity Network Modeling Approach

作者：Hyungsul Kim;Ahmed El-Kishky; Xiang Ren; Jiawei Han

發(fā)表時間：2019/11/14

論文鏈接：https://paper.yanxishe.com/review/15059?from=leiphonecolumn_paperreview0416

推薦原因

1.本文由韓家煒團隊所發(fā)表，針對現(xiàn)有的新聞文本資料繁多，并且存在大量噪音、大量重疊內容的現(xiàn)狀，提出了一種鄰近度網(wǎng)絡，利用其中大量重疊的內容，從時間、地點、相關人物、組織、以及事件之間的關聯(lián)等屬性的角度，定義了一種鄰近度（Proximity ）的方法，并以此為基礎從中提取相關關鍵信息，并且得到新聞預料的事件，并以直觀的圖像的形式表達出來。

2.使用多屬性的鄰近度來替代文本的語義信息，比其他基于數(shù)據(jù)挖掘的事件提取方法更有效。同時，抽取事件信息的同時，對特定新聞事件，生成了信息豐富的事件圖，事件的關鍵信息、事件之間的聯(lián)系、聯(lián)系的強弱，都被清楚的展示了出來。