9篇論文、12個(gè)workshop、2個(gè)Tutorial，谷歌是 ACL 2017上亮眼的一顆星 | ACL 2017

本文作者：楊曉凡

2017-08-02 09:19

專(zhuān)題：ACL 2017

導(dǎo)語(yǔ)：谷歌在 ACL 2017中的參與力度令人動(dòng)容

雷鋒網(wǎng)AI科技評(píng)論按：計(jì)算機(jī)語(yǔ)言學(xué)和自然語(yǔ)言處理最頂尖的會(huì)議之一ACL 正在2017年7月30日至8月4日期間在加拿大溫哥華舉行。雷鋒網(wǎng) AI科技評(píng)論將赴前線(xiàn)帶來(lái)一手報(bào)道，并對(duì)論文及大會(huì)概況進(jìn)行梳理。

ACL 2017中，谷歌的參與力度極大

在剛剛結(jié)束的 CVPR 2017中，來(lái)自各大科技界公司的論文就數(shù)量眾多；ACL 2017 中業(yè)界公司們同樣是一股重要力量。谷歌就已經(jīng)發(fā)文對(duì)自己參加 ACL 2017 的各方面情況做了介紹，雷鋒網(wǎng) AI 科技評(píng)論編譯如下。

作為自然語(yǔ)言處理和理解方面水平領(lǐng)先的研究團(tuán)隊(duì)、以及 ACL 2017 的鉑金贊助商，谷歌會(huì)在這屆 ACL 上大展拳腳，研究范圍涵蓋句法、語(yǔ)義、論述、交談、多語(yǔ)言建模、情緒分析、問(wèn)答、總結(jié)，以及構(gòu)建一般意義上的監(jiān)督和無(wú)監(jiān)督系統(tǒng)、頂尖水平的建模以及根據(jù)非直接的監(jiān)督學(xué)習(xí)。谷歌希望 ACL 2017 的參會(huì)者都可以到谷歌的展位前留步，看看他們的demo、見(jiàn)見(jiàn)他們的研究者，以及討論谷歌正在進(jìn)行的項(xiàng)目和可能的研究機(jī)會(huì)，來(lái)為地球上的幾十億人解決一些有價(jià)值的問(wèn)題。

在此次 ACL 中，有兩位谷歌的研究員 Sujith Ravi 和 Thang Luong 分別擔(dān)任機(jī)器學(xué)習(xí)和機(jī)器翻譯兩個(gè)區(qū)域的區(qū)域主席；還有 Margaret Mitchell 擔(dān)任著公關(guān)主席。

研究成果和大會(huì)活動(dòng)方面，谷歌此次公有9篇論文被 ACL 接受；另外還有12個(gè)Workshop和2個(gè)Tutorial，可謂是相當(dāng)充實(shí)精彩。

9 篇 ACL 接受論文簡(jiǎn)介

A Polynomial-Time Dynamic Programming Algorithm for Phrase-Based Decoding with a Fixed Distortion Limit

一種用于基于短語(yǔ)的翻譯模型解碼的、帶有固定失真限制的多項(xiàng)式-動(dòng)態(tài)時(shí)間編程算法
論文簡(jiǎn)介：基于短語(yǔ)的翻譯模型解碼一般情況下都被認(rèn)為是NP完全問(wèn)題，可以看作是旅行商問(wèn)題的簡(jiǎn)化形式（Knight，1999）。在實(shí)際使用中，人們經(jīng)常為基于短語(yǔ)的翻譯系統(tǒng)增加一個(gè)硬性失真限制，限制翻譯過(guò)程中短語(yǔ)的移動(dòng)。然而，增加的這種限制對(duì)復(fù)雜度的影響并沒(méi)有得到充分的研究。這篇論文中描述了一個(gè)為基于短語(yǔ)的解碼器設(shè)計(jì)的、帶有固定失真限制的動(dòng)態(tài)編程算法。這種算法的時(shí)間復(fù)雜度是O(nd!lh^{d+1})，其中 n 為句子長(zhǎng)度，d 為失真限制，l 是從句子中任意位置算起的短語(yǔ)數(shù)目邊界，h 則與任意待翻譯的詞在目標(biāo)語(yǔ)言中的翻譯種類(lèi)的最大數(shù)目有關(guān)。這個(gè)算法使用了一種新的表征，而這樣的表征給人們?nèi)绾卫斫饣诙陶Z(yǔ)的翻譯模型解碼帶來(lái)了新的視角。
這篇論文有口頭報(bào)告環(huán)節(jié)
論文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1020

Cross-Sentence N-ary Relation Extraction with Graph LSTMs

利用圖 LSTM 做跨句子的 n 元關(guān)系提取
論文簡(jiǎn)介：以往關(guān)系抽取方面的研究都關(guān)注的是單個(gè)句子中的二進(jìn)制關(guān)系。近期的 NLP 研究開(kāi)始進(jìn)軍高價(jià)值的領(lǐng)域，激發(fā)了在更通用的設(shè)定下跨越多個(gè)句子提取 n 元關(guān)系的研究熱情。這篇論文中，作者們研究了一種基于圖 LSTM 的關(guān)系提取框架，它可以輕松地進(jìn)行拓展用于多個(gè)句子間的 n 元關(guān)系提取。圖的格式提供了一種統(tǒng)一的方式用來(lái)探索不同的 LSTM 方案并包含多種句內(nèi)和句間的依賴(lài)性，比如序列、句法、論述關(guān)系?？梢詾檫@些實(shí)體學(xué)習(xí)出一個(gè)魯棒的內(nèi)容表征，然后把它作為關(guān)系分類(lèi)器的輸入，這樣就可以方便地拓展為任意數(shù)目的多元關(guān)系，從關(guān)聯(lián)關(guān)系中進(jìn)行多任務(wù)學(xué)習(xí)也可以。論文中用精準(zhǔn)醫(yī)療中的兩個(gè)重要領(lǐng)域?qū)λ岬目蚣苓M(jìn)行了評(píng)估，展現(xiàn)出它在監(jiān)督學(xué)習(xí)和弱監(jiān)督的條件下都可以發(fā)揮作用?？缇渥拥年P(guān)系抽取可以產(chǎn)生更多的知識(shí)，多任務(wù)學(xué)習(xí)也顯著提升了抽取的準(zhǔn)確率。論文中還詳盡對(duì)比了不同的 LSTM 方法，對(duì)語(yǔ)言學(xué)分析會(huì)如何影響模型表現(xiàn)提出了有趣的見(jiàn)解。
這篇論文有口頭報(bào)告環(huán)節(jié)
論文地址：https://www.transacl.org/ojs/index.php/tacl/article/view/1028

Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision

神經(jīng)象征機(jī)器：通過(guò)弱監(jiān)督學(xué)習(xí)Freebase中的語(yǔ)義分析器
論文簡(jiǎn)介：利用神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)能力做語(yǔ)言理解和象征推理是很難的，這需要神經(jīng)網(wǎng)絡(luò)在大規(guī)模知識(shí)數(shù)據(jù)庫(kù)中執(zhí)行高效的集成操作。在這項(xiàng)研究中，作者們介紹了一種神經(jīng)象征機(jī)器（Neural Symbolic Machine，NSM），其中包含兩個(gè)部分：1，一個(gè)神經(jīng)網(wǎng)絡(luò)“編程器”，也就是一個(gè)把語(yǔ)言映射到程序的串到串模型，其中還使用了一個(gè)可變值的內(nèi)存來(lái)處理組合性；2，一個(gè)計(jì)算象征的“計(jì)算機(jī)”，也就是一個(gè) Lisp 解釋器，它可以執(zhí)行程序，而且可以通過(guò)修剪搜索空間來(lái)幫助找到好程序。作者們把所構(gòu)建的預(yù)測(cè)問(wèn)題作為一個(gè)任務(wù)，然后用強(qiáng)化學(xué)習(xí)的方法來(lái)直接優(yōu)化任務(wù)反饋。為了在弱監(jiān)督的條件下訓(xùn)練模型，并提升強(qiáng)化學(xué)習(xí)的穩(wěn)定性，作者們使用了一個(gè)迭代的最大似然訓(xùn)練過(guò)程對(duì)其進(jìn)行了增強(qiáng)。NSM在 WebQuestionsSP 數(shù)據(jù)集上只用問(wèn)-答對(duì)訓(xùn)練就可以取得前所未見(jiàn)的表現(xiàn)，不需要另外獲取任何特征工程或者特定領(lǐng)域的知識(shí)。
論文地址：https://arxiv.org/abs/1611.00020

Coarse-to-Fine Question Answering for Long Documents

用于長(zhǎng)文章的粗讀到精度問(wèn)題回答
論文簡(jiǎn)介：論文中提出了一種用于回答問(wèn)題的框架，它對(duì)于較長(zhǎng)的文檔也可以保持現(xiàn)有模型性能的最佳水平，甚至有所提升。多數(shù)成功的閱讀理解方案都依靠的是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs），在長(zhǎng)句子上運(yùn)行這樣的網(wǎng)絡(luò)非常的慢，因?yàn)楹茈y并行處理多個(gè)句子。人類(lèi)閱讀時(shí)可以在段落間快速跳轉(zhuǎn)、找到有關(guān)聯(lián)的部分、然后仔細(xì)閱讀這些部分形成答案，作者們就受此啟發(fā)把一個(gè)用于選擇有關(guān)的句子的粗大、快速的模型和從選擇到的句子中生成答案的高成本 RNN 組合在一起。這些選出的句子也就是從答案中合并訓(xùn)練得到的潛變量，這個(gè)過(guò)程只用到了強(qiáng)化學(xué)習(xí)。實(shí)驗(yàn)中這個(gè)模型在富有挑戰(zhàn)性的 WIKIREADING 數(shù)據(jù)集的子集和一個(gè)新數(shù)據(jù)集中都表現(xiàn)出了頂級(jí)的水平，同時(shí)模型的速度還提升了3.5倍到6.7倍。
論文地址：https://homes.cs.washington.edu/~eunsol/papers/acl17eunsol.pdf

Automatic Compositor Attribution in the First Folio of Shakespeare

用于莎士比亞的 First Folio 的自動(dòng)創(chuàng)作者歸因
論文簡(jiǎn)介：創(chuàng)作者歸因是一項(xiàng)依賴(lài)對(duì)頁(yè)面做拼寫(xiě)變化分析和視覺(jué)細(xì)節(jié)檢查的書(shū)目研究，它能夠發(fā)現(xiàn)歷史印刷品中的一組頁(yè)面是出自誰(shuí)的手中。這篇論文中介紹了一種新的無(wú)監(jiān)督模型，它可以聯(lián)合描述所需的文本和視覺(jué)特征用來(lái)區(qū)分創(chuàng)作者。把這種方法應(yīng)用在莎士比亞的 First Folio 的圖像之后，該模型預(yù)測(cè)出的屬性結(jié)果和書(shū)目研究學(xué)者的人工判斷契合度達(dá)到了87%，即便是在ORC后的文本輸出結(jié)果上。
論文地址：https://arxiv.org/abs/1704.07875

A Nested Attention Neural Hybrid Model for Grammatical Error Correction

用于語(yǔ)法錯(cuò)誤更正的含有注意力的混合神經(jīng)網(wǎng)絡(luò)模型
論文簡(jiǎn)介：語(yǔ)法錯(cuò)誤更正系統(tǒng)努力完成兩類(lèi)任務(wù)，一類(lèi)是更正語(yǔ)序和用法方面的大范圍錯(cuò)誤，另一類(lèi)是糾正局部的拼寫(xiě)和變形錯(cuò)誤。通過(guò)在近期的神經(jīng)機(jī)器翻譯方法基礎(chǔ)上進(jìn)行進(jìn)一步開(kāi)發(fā)，論文中為語(yǔ)法錯(cuò)誤更正提出了一種新的用于帶有內(nèi)含的注意力層的混合式神經(jīng)網(wǎng)絡(luò)模型。實(shí)驗(yàn)表明這種新模型通過(guò)單詞集成和字符級(jí)別信息的方法，對(duì)以上兩類(lèi)錯(cuò)誤都可以有效更正，在標(biāo)準(zhǔn) CoNLL-14數(shù)據(jù)集上的 benchmark 結(jié)果也顯示出該模型的表現(xiàn)相比以往模型有著顯著提高。進(jìn)一步的分析還表明，內(nèi)含的注意力機(jī)制的使用對(duì)所提模型的性能提升起到了很大作用，可以證明它對(duì)于需要在拼寫(xiě)上進(jìn)行細(xì)微修改的局部錯(cuò)誤更正中發(fā)揮的作用尤其好。
論文地址：https://arxiv.org/abs/1707.02026

Get To The Point: Summarization with Pointer-Generator Networks

指向重點(diǎn)：用指針-生成器網(wǎng)絡(luò)進(jìn)行文本總結(jié)
論文簡(jiǎn)介：串到串的神經(jīng)網(wǎng)絡(luò)編碼模型為文本的抽象總結(jié)提供了一種可行的新途徑（這意味著這些總結(jié)不再局限于簡(jiǎn)單地從原始文本中對(duì)段落做選擇和重新排序）。然而，這些模型都有兩個(gè)缺點(diǎn)：它們?nèi)菀壮霈F(xiàn)不準(zhǔn)確的事實(shí)表達(dá)，而且容易用詞經(jīng)常重復(fù)。在這篇論文中，作者們提出了一個(gè)新穎的架構(gòu)，它可以用兩種正交的方式增強(qiáng)標(biāo)準(zhǔn)的串到串注意力模型。首先，論文中使用了一個(gè)混合“指針-生成器”網(wǎng)絡(luò)，它可以通過(guò)指針的方式從源文本中復(fù)制詞匯，這有助于提高重新生成的信息的準(zhǔn)確率，同時(shí)還能靠生成器保留生成新詞的能力；其次，作者們使用了覆蓋率的指標(biāo)來(lái)追蹤已經(jīng)得到總結(jié)的內(nèi)容，這可以抑制重復(fù)。把這種方法用于 CNN、Daily Mail 文章的總結(jié)任務(wù)中，表現(xiàn)可以領(lǐng)先當(dāng)時(shí)最好的抽象方法 ROUGE 分?jǐn)?shù)2分以上。
論文地址：https://arxiv.org/abs/1704.04368

Identifying 1950s American Jazz Composers: Fine-Grained IsA Extraction via Modifier Composition

辨別1950年代的美國(guó)爵士作曲家：依靠修改器創(chuàng)作的細(xì)粒度 IsA 提取
論文簡(jiǎn)介：論文中介紹了一種生成帶有實(shí)例的細(xì)粒度分類(lèi)名稱(chēng)的方法。與當(dāng)時(shí)最好的方法往往把類(lèi)別標(biāo)簽作為單個(gè)詞法單元不同，論文中所提的方法考慮了每個(gè)標(biāo)簽修改器與開(kāi)頭之間的關(guān)系。把重新構(gòu)建維基百科的分類(lèi)頁(yè)面作為評(píng)價(jià)方式，基準(zhǔn)方案依靠的是得到了廣泛運(yùn)用的 Hearst 模式法，有不錯(cuò)的表現(xiàn)，新方法仍然在準(zhǔn)確率方面取得了10以上的提升。
論文地址：https://www.seas.upenn.edu/~epavlick/papers/finegrained-isa.pdf

Learning to Skim Text

學(xué)會(huì)跳過(guò)文本
論文簡(jiǎn)介：循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在自然語(yǔ)言處理的許多自領(lǐng)域中都體現(xiàn)出了不小的潛力，包括文檔分類(lèi)、機(jī)器翻譯、自動(dòng)回答問(wèn)題等等。但是在這些潛力之外，許多 RNN 模型都需要逐字地讀完整段文字，這樣就讓它們處理長(zhǎng)文檔的時(shí)候非常慢。舉例說(shuō)明的話(huà)，讓 RNN 讀一本書(shū)然后回答關(guān)注書(shū)的問(wèn)題就很難。在這篇論文中，作者們展示了一種在有必要的情況下邊閱讀文字邊跳過(guò)不重要的信息的做法。其中的模型是一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)，它能夠?qū)W會(huì)看到輸入文本的前幾個(gè)字之后就知道跳過(guò)多遠(yuǎn)。作者們使用了一種標(biāo)準(zhǔn)的策略梯度方法來(lái)訓(xùn)練模型做出離散的跳過(guò)決定。論文中在四個(gè)不同的任務(wù)中對(duì)模型進(jìn)行了測(cè)試，包括數(shù)字預(yù)測(cè)、情緒識(shí)別、新聞文章分類(lèi)以及自動(dòng)問(wèn)答，這個(gè)修改后帶有跳過(guò)功能的 LSTM 可以比標(biāo)準(zhǔn)的序列 LSTM 快達(dá)6倍，同時(shí)還能保留同等的甚至略微提升的準(zhǔn)確率。
https://arxiv.org/abs/1704.06877

谷歌的研究人員還參與了12個(gè)workshop

2017 ACL Student Research Workshop
學(xué)生研究 workshop
網(wǎng)址： https://sites.google.com/site/aclsrw2017/
WiNLP: Women and Underrepresented Minorities in Natural Language Processing
WiNLP NLP界女性和未被充分代表的少數(shù)群體 workshop
網(wǎng)址： http://www.winlp.org/winlp-workshop/
BUCC: 10th Workshop on Building and Using Comparable Corpora
BUCC 第十屆對(duì)比語(yǔ)料庫(kù)的構(gòu)建和應(yīng)用 workshop
網(wǎng)址：https://comparable.limsi.fr/bucc2017/
CLPsych: Computational Linguistics and Clinical Psychology – From Linguistic Signal to Clinical Reality
CLPsych 計(jì)算性語(yǔ)言學(xué)和臨床心理學(xué) - 從語(yǔ)言學(xué)信號(hào)到臨床現(xiàn)實(shí)
網(wǎng)址：http://clpsych.org/
Repl4NLP: 2nd Workshop on Representation Learning for NLP
Repl4NLP：第二屆NLP表征學(xué)習(xí)workshop
網(wǎng)址： https://sites.google.com/site/repl4nlp2017/
RoboNLP: Language Grounding for Robotics
RoboNLP：機(jī)器人語(yǔ)言基礎(chǔ)
網(wǎng)址：https://robonlp2017.github.io/
CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies
CoNLL 2017共享任務(wù)：從原始文本到通用從屬的多語(yǔ)言分割
網(wǎng)址：http://universaldependencies.org/conll17/
CoNLL-SIGMORPHON-2017 Shared Task: Universal Morphological Reinflection
CoNLL-SIGMORPHON-2017共享任務(wù)：通用形態(tài)再感染
網(wǎng)址：https://sites.google.com/corp/view/conll-sigmorphon2017/
SemEval: 11th International Workshop on Semantic Evaluation
SemEval：第11屆語(yǔ)義提取國(guó)際workshop
網(wǎng)址：http://alt.qcri.org/semeval2017/
ALW1: 1st Workshop on Abusive Language Online
ALW1：第一屆網(wǎng)上不文明用語(yǔ)workshop
網(wǎng)址：https://sites.google.com/site/abusivelanguageworkshop2017/
EventStory: Events and Stories in the News
EventStory：新聞中的事件和故事
網(wǎng)址：https://sites.google.com/site/eventsandstoriesinthenews/
NMT: 1st Workshop on Neural Machine Translation
NMT：第一屆神經(jīng)機(jī)器翻譯workshop
網(wǎng)址：https://sites.google.com/site/acl17nmt/

谷歌還組織了兩個(gè) Tutorial

Natural Language Processing for Precision Medicine
用于精準(zhǔn)醫(yī)療的自然語(yǔ)言處理
網(wǎng)址：http://acl2017.org/tutorials/
Deep Learning for Dialogue Systems
用于對(duì)話(huà)系統(tǒng)的深度學(xué)習(xí)
網(wǎng)址：http://acl2017.org/tutorials/

ACL 2017現(xiàn)在正在熱烈進(jìn)行中，以上的研究?jī)?nèi)容中有感興趣的可以根據(jù)網(wǎng)址進(jìn)行參與。

雷鋒網(wǎng) AI 科技評(píng)論會(huì)繼續(xù)在 ACL 2017和近期的多個(gè)學(xué)術(shù)會(huì)議中帶來(lái)各方面的報(bào)道，請(qǐng)感興趣的讀者繼續(xù)關(guān)注我們。

現(xiàn)場(chǎng)：ACL 2017 Day 0, 計(jì)算機(jī)語(yǔ)言學(xué)思想碰撞的浪潮開(kāi)啟 | ACL 2017

ACL開(kāi)幕式最全解讀：大會(huì)的三個(gè)「最」和三個(gè)「第一次」都是什么？主席們分享了哪些肺腑之言？｜ACL 2017

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。