0
| 本文作者： 叢末 | 2018-11-09 10:20 |
雷鋒網(wǎng) AI 科技評論按：2018 年 10 月 19 日，第十七屆中國計算語言學大會（CCL2018）在長沙召開，追一科技團隊作為中文機器閱讀理解（CMRC2018）評測任務的冠軍隊伍，在評測研討會上分享了本次參賽系統(tǒng)的報告。下文是該報告的講解文章，作者為追一科技的語義算法研究員巨穎，雷鋒網(wǎng) AI 科技評論經(jīng)授權轉(zhuǎn)載。
機器閱讀理解（Machine Reading Comprehension）指的是，讓機器像人一樣去讀懂一段文字，并回答相應問題。常見的機器閱讀理解形式有完形填空式，選擇題式和知名度最廣的抽取式，從抽取文檔篇數(shù)又可細分為多文檔（如 MS MARCO）和單文檔（SQuAD）。
CMRC 比賽與最流行的英文數(shù)據(jù)集 SQuAD 形式類似，文檔來源于中文維基百科，問題由人工撰寫，根據(jù)給定的一篇文檔和一個問題，參賽者需要解決的是，如何建立并訓練 model，使其能更好地理解 context 與 query，并找到相應答案。下圖為實際比賽數(shù)據(jù)的一個示例。
在數(shù)據(jù)方面，主要工作集中在數(shù)據(jù)的歸一化和去噪音。CMRC 比賽訓練集包含大約一萬條數(shù)據(jù)，總體數(shù)據(jù)量偏少，這種情況下數(shù)據(jù)的標注一致性尤為重要。通過分析錯誤樣例，參賽隊員發(fā)現(xiàn)了標注的不一致問題，通過分析篩選最終對少量答案分布不一致的訓練數(shù)據(jù)進行了清洗。
（1963 年）
范廷頌是什么時候被任為主教的？
VS
九廣鐵路小童儲值票是何時停止使用的？
（1990 年 9 月停止使用）
上面的數(shù)據(jù)樣例展示了這種標注不一致問題，同樣為時間點的詢問，但是不同標注有后綴區(qū)別，這種標注不一致問題會使模型的最終預測 EM 指標降低。
除了標注不一致的噪音，參賽隊員還對文本進行了歸一化，比如繁簡轉(zhuǎn)換，中英文標點轉(zhuǎn)換等數(shù)據(jù)歸一化操作。
在模型方面，追一此次參賽采用了經(jīng)典的端對端閱讀理解系統(tǒng)，整體框架參考微軟的模型結(jié)構(gòu) R-Net，示意圖如下：
文本向量化表達
文本的向量化表達一直是深度學習系統(tǒng)效果的重中之重，本次參賽追一代表隊使用了預訓練的中文 ELMo 代替?zhèn)鹘y(tǒng)的 word2vec，單此一項，EM 提升了 1.8 個點。傳統(tǒng)的詞向量 word2vec 是上下文無關的，無法對一詞多義的情況進行建模，比如常舉例的「我想吃【蘋果】」和「我的【蘋果】手機摔壞了」。近期 AllenAI 提出了 ELMo，即 Embeddings from Language Models，這種詞表征不再是固定的向量，而是以語言模型為基礎獲得的一個上下文相關的詞表征。
英文 ELMo 是基于字符級別的編碼，對中文并不適用。針對中文文本追一團隊實驗了兩套方案，第一版是采用詞級別進行輸入，第二版是將詞改進為筆劃級別的編碼，兩者都通過雙層 LSTM 變換來進行語言模型預訓練。經(jīng)過多次實驗，效果最好的詞級別與筆劃級別的 ELMo 效果相差不大，最后采用了基于維基百科與新浪新聞組合語料訓練的 512 維詞向量 ELMo 模型作為下游任務的輸入。
除 ELMo 外，模型還加入了描述問題類型的 one hot 特征，即按提問方式將問題歸為 who, where, when 等八類，并轉(zhuǎn)換為 one-hot 向量。POS 信息與詞共現(xiàn)特征也作為額外的輸入傳入了模型。
編碼層
采用多層雙向 RNN 對文檔和問題分別進行編碼
交互層
Attention 機制是融合文檔內(nèi)容和問題信息的主要方法，是眾多模型中比較通用的部分。在傳統(tǒng) attention 基礎上，我們對問題輸入添加了額外一個基于 gate 機制的過濾層，讓模型去傾向注意核心詞匯，忽略無關信息。改進的 attention 將 EM/F1 分別提升了 0.6/0.3。
答案抽取層
和眾多參賽隊類似，追一的參賽隊員采用了 Pointer-network 來作為模型的輸出層。PointerNetwork 通過預測答案的起始與終止位置，得到最終輸出。
由模型壓縮思想衍生出的自我蒸餾 (self-distill) 訓練方法在此次比賽中起到了很好的效果，其思想來源于論文《Born-Again Neural Networks》。蒸餾通常用在模型壓縮方面，即采用預訓練好的復雜模型（teacher model）輸出作為監(jiān)督信號去訓練另一個簡單模型（student model），從而將 teacher 學習到的知識遷移到 student。自我蒸餾就是不改變模型大小，循環(huán)進行 teacher-student 的訓練，直到效果不再改進。CMRC 比賽中，teacher model 是已經(jīng)訓練好的一版模型，student 和 teacher 模型相同，僅重新初始化。訓練 student 時，模型要同時學習真實 label 和 teacher 的輸出。self-distill 效果顯著，最終模型比初始 teacher 的 EM/F1 分別可以增長 0.88/0.94。
經(jīng)過數(shù)據(jù)清洗，模型優(yōu)化，多次訓練，最終的系統(tǒng)在正式測試集上，EM 和 F1 分別達到了 74.178 和 88.145，僅靠單模型（single），在所有隊伍中排名第一。
下周二，追一科技語義算法研究員巨穎將在雷鋒網(wǎng)的公開課上分享閱讀理解進階三部曲——關鍵知識、模型性能提升、產(chǎn)品化落地，歡迎大家準時收看。雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
