雷鋒網(wǎng) AI 科技評(píng)論消息，2019 年 3 月 8 日，云從科技和上海交通大學(xué)聯(lián)合宣布，在大型深層閱讀理解任務(wù)數(shù)據(jù)集 RACE 數(shù)據(jù)集（ReAding Comprehension dataset collected from English Examinations）上登頂?shù)谝?。論文中，云從科技與上海交通大學(xué)基于原創(chuàng) DCMN 算法，提出了一種全新的模型，使機(jī)器閱讀理解正確率提高了 4.2 個(gè)百分點(diǎn)，并在高中測(cè)試題部分首次超越人類（機(jī)器正確率 69.8%、普通人類 69.4%）。

RACE 是一個(gè)來源于中學(xué)考試題目的大規(guī)模閱讀理解數(shù)據(jù)集，包含了大約 28000 個(gè)文章以及近 100000 個(gè)問題。它的形式類似于英語考試中的閱讀理解（選擇題），給定一篇文章，通過閱讀并理解文章（Passage），針對(duì)提出的問題（Question）從四個(gè)選項(xiàng)中選擇正確的答案（Answers）。該題型的正確答案并不一定直接體現(xiàn)在文章中，只能從語義層面深入理解文章，通過分析文章中線索并基于上下文推理，選出正確答案。相對(duì)以往的抽取類閱讀理解，算法要求更高，被認(rèn)為是「深度閱讀理解」。

RACE 數(shù)據(jù)集的難點(diǎn)在于：由于正確答案并沒有直接使用文章中的話術(shù)來回答，不能直接從文中檢索得到答案。必須從語義層面深入理解文章，才能準(zhǔn)確回答問題。

基于以上難點(diǎn)，云從科技與上海交通大學(xué)首創(chuàng)了一種 P、Q 與 A 之間的匹配機(jī)制，稱為 Dual Co-Matching Network（簡(jiǎn)稱 DCMN），并基于這種機(jī)制探索性的研究了 P、Q 與 A 的各種組合下的匹配策略。

結(jié)果顯示，采用 PQ_A 的匹配策略，即先將 P 與 Q 連接，然后與 A 匹配，策略都得到了更優(yōu)的結(jié)果。再將模型（基于 PQ_A 策略）與其他已知的模型、以及純粹基于 BERT 自身的模型進(jìn)行了比較，得到如下的結(jié)果：

對(duì)論文的具體解讀如下：

1. DCMN匹配機(jī)制

以 P 與 Q 之間的匹配為例，說明 DCMN 的匹配機(jī)制。下圖為 P 與 Q 之間的 DCMN 匹配框架。

論文使用目前 NLP 最新的研究成果 BERT 分別為 P 和 Q 中的每一個(gè) Token 進(jìn)行編碼。基于 BERT 的編碼，可以得到的編碼是一個(gè)包含了 P 和 Q 中各自上下文信息的編碼，而不是一個(gè)固定的靜態(tài)編碼，如上圖中 H^p 與 H^q；

其次，通過 Attention 的方式，實(shí)現(xiàn) P 和 Q 的匹配。具體來講，構(gòu)建 P 中的每一個(gè) Token 在 Q 中的 Attendances，即 Question-Aware 的 Passage，如上圖中 M^p。這樣得到的每一個(gè) P 的 Token 編碼包含了與 Question 的匹配信息；

為了充分利用 BERT 帶來的上下文信息，以及 P 與 Q 匹配后的信息，將 P 中每個(gè) Token 的 BERT 編碼 H^p 與 P 中每個(gè) Token 與 Q 匹配后的編碼 M^p 進(jìn)行融合，對(duì) H^p 和 M^p 進(jìn)行了元素減法及乘法操作，通過一個(gè)激活函數(shù)，得到了 P 與 Q 的最終融合表示，圖中表示為 S^pq；

最后通過 maxpooling 操作得到 C^pq l 維向量用于最后的 loss 計(jì)算。

2. 各種匹配策略研究

除了 P 與 A 之間的匹配，還可以有 Q 與 A、P 與 Q 之間的匹配，以及不同匹配得到的匹配向量間的組合，這些不同的匹配與組合構(gòu)成了不同的匹配策略。對(duì)七種不同的匹配策略分別進(jìn)行試驗(yàn)，以找到更加合適的匹配策略，分別是：

[P_Q; P_A; Q_A], [P_Q; P_A], [P_Q; Q_A], [P_A; Q_A], [PQ_A], [P_QA], [PA_Q]

「PA」表示先將 P 和 A 連接為一個(gè)序列，再參與匹配，「PQ」與「QA」同理。符號(hào)「[ ; ]」表示將多種匹配的結(jié)果組合在一起。[P_Q; P_A; Q_A] 模式下的模型架構(gòu)如下圖：

7 種不同策略通過試驗(yàn)，采用 PQ_A 的匹配策略，即先將 P 與 Q 連接，然后與 A 匹配，無論是在初中題目 (RACE-M)、高中題目 (RACE-H) 還是整體 (RACE)，該策略都得到了更優(yōu)的結(jié)果。

論文地址：https://arxiv.org/abs/1901.09381

點(diǎn)擊如下鏈接，看更多關(guān)于 NLP 頂會(huì)的討論：

https://ai.yanxishe.com/page/meeting/56

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。