雷鋒網(wǎng) AI 科技評(píng)論按：1 月 6 日，由中國(guó)中文信息學(xué)會(huì)青年工作委員會(huì)（簡(jiǎn)稱「青工委」）主辦，哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心（HIT-SCIR）承辦的『AAAI 2018 預(yù)講會(huì)』在哈爾濱工業(yè)大學(xué)成功舉辦。本次會(huì)議由華為和云孚科技提供贊助，雷鋒網(wǎng)作為獨(dú)家合作媒體，提供了在線直播，并對(duì)本次預(yù)講會(huì)做全程報(bào)道。

AAAI 2018 是人工智能領(lǐng)域的頂級(jí)國(guó)際會(huì)議，每年舉辦一次。今年 AAAI 會(huì)議將于 2 月 2 日至 2 月 7 日在美國(guó)新奧爾良舉行。鑒于國(guó)內(nèi)學(xué)者在各大國(guó)際頂會(huì)中發(fā)表的文章越來(lái)越多，青工委希望能在頂會(huì)之前將國(guó)內(nèi)學(xué)者匯聚一堂，共同探討最新研究進(jìn)展，所以從 2013 年開始就舉辦了許多次頂會(huì)預(yù)講會(huì)。

本次 AAAI 2018 預(yù)講會(huì)邀請(qǐng)了來(lái)自全國(guó)各地 15 所高校和研究單位的老師和同學(xué)分享他們?cè)?AAAI 2018 中接收的 25 篇論文，內(nèi)容覆蓋有聊天機(jī)器人、語(yǔ)義依存圖、文本摘要、機(jī)器翻譯、信息抽取、表示學(xué)習(xí)等多個(gè)領(lǐng)域的最新研究成果。會(huì)議吸引了 200 多名老師和學(xué)生來(lái)此參會(huì)并進(jìn)行交流。

預(yù)講會(huì)伊始，首先由中國(guó)中文信息學(xué)會(huì)青年工作委員會(huì)主任劉洋副教授、副主任車萬(wàn)翔副教授分別代表主辦方和承辦方致歡迎辭。云孚科技 CEO 張文斌先生代表贊助方致辭。開幕式由東道主哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心劉銘副教授主持。

青工委主任劉洋副教授致歡迎辭，哈工大李家琦博士提供

青工委副主任車萬(wàn)翔副教授致歡迎辭，哈工大李家琦博士提供

會(huì)議議程整體分為四個(gè) Session，每個(gè) Session 包含 6-7 個(gè)報(bào)告，每個(gè)報(bào)告限時(shí) 10 分鐘；在每個(gè) Session 之間有 80-90 分鐘的休息和 poster 環(huán)節(jié)。會(huì)議現(xiàn)場(chǎng)節(jié)奏可謂有松有緊，節(jié)奏感極為鮮明。講者們除了在報(bào)告中深入講解他們的研究工作外，在 poster 環(huán)節(jié)還有大量的時(shí)間與現(xiàn)場(chǎng)的參會(huì)者進(jìn)行互動(dòng)和討論，與會(huì)人員可謂獲益頗多。

現(xiàn)場(chǎng)活動(dòng)，哈工大李家琦博士提供

下面 AI 科技評(píng)論根據(jù)現(xiàn)場(chǎng)報(bào)告為你詳細(xì)解讀 25 篇 AAAI 2018 接收論文。

（由于內(nèi)容較多，我們將分為上、下兩篇介紹）

論文速覽列表：

上 篇

Session 1

[1] Adversarial Learning for Chinese NER from Crowd Annotations

作者：楊耀晟，張梅山，陳文亮，張偉，王昊奮，張民

單位：蘇州大學(xué)人類語(yǔ)言技術(shù)研究所

[2] Adaptive Co-attention Network for Named Entity Recognition in Tweets

作者：張奇，傅金蘭，劉曉雨，黃萱菁

單位：復(fù)旦大學(xué)

[3] Large Scaled Relation Extraction with Reinforcement Learning

作者：曾祥榮，何世柱，劉康，趙軍

單位：中科院自動(dòng)化所

[4] Event Detection via Gated Multilingual Attention Mechanism

作者：劉健，陳玉博，劉康，趙軍

單位：中國(guó)科學(xué)院自動(dòng)化研究所

[5] Neural Networks Incorporating Dictionaries for Chinese Word Segmentation

作者：張奇，劉曉雨，傅金蘭

單位：復(fù)旦大學(xué)

[6] Learning Multimodal Word Representation via Dynamic Fusion Methods

作者：王少楠， 張家俊， 宗成慶

單位：自動(dòng)化所

Session 2

[7] Inferring Emotion from Conversational Voice Data: A Semi-supervisedMulti-path Generative Neural Network Approach

作者：周素平，賈珈，王琦，董宇飛，尹宇峰，雷克華

單位：清華大學(xué)

[8] Long Text Generation via Adversarial Training with Leaked Information

作者：郭家賢，盧思迪，蔡涵，張偉楠，汪軍，俞勇

單位：上海交通大學(xué)

[9] Style Transfer in Text: Exploration and Evaluation

作者：付振新，譚曉燁，彭楠赟，趙東巖，嚴(yán)睿

單位：北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所

[10] Meta Multi-Task Learning for Sequence Modeling

作者：陳俊坤，邱錫鵬，劉鵬飛，黃萱菁

單位：復(fù)旦大學(xué)

[11] RUBER: An Unsupervised Method for Automatic Evaluation of Open-DomainDialog Systems

作者：陶重陽(yáng)，牟力立，趙東巖，嚴(yán)睿

單位：北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所

[12] Exploring Implicit Feedback for Open Domain Conversation Generation

作者：張偉男，李凌志，曹東巖，劉挺

單位：哈爾濱工業(yè)大學(xué)

下 篇

《AAAI 2018預(yù)講會(huì)在哈工大成功舉辦，25篇頂會(huì)文章講了什么（下）》

Session 3

[13] Neural Character Dependency Parsing for Chinese

作者：李浩楠，張智松，琚毓琪，趙海

單位：上海交通大學(xué)

[14] A Neural Transition-Based Approach for Semantic Dependency Graph Parsing

作者：王宇軒，車萬(wàn)翔，郭江，劉挺

單位：哈爾濱工業(yè)大學(xué)

[15] Asynchronous Bidirectional Decoding for Neural Machine Translation

作者：張祥文，蘇勁松，秦悅，劉洋，紀(jì)榮嶸，王鴻吉

單位：廈門大學(xué)

[16] Knowledge Graph Embedding with Iterative Guidance from Soft Rules

作者：郭舒，王泉，王麗宏，王斌，郭莉

單位：中國(guó)科學(xué)院信息工程研究所

[17] Embedding of Hierarchically Typed Knowledge Bases

作者：張日崇，孔繁爽，王晨玥，茆永軼

單位：北京航空航天大學(xué)

[18] Faithful to the Original: Fact Aware Neural Abstractive Summarization

作者：曹自強(qiáng)，韋福如，李文婕，李素建

單位：香港理工大學(xué)

[19] Twitter Summarization based on Social Network and Sparse Reconstruction

作者：賀瑞芳，段興義

單位：天津大學(xué)

Session 4

[20] Improving Review Representations with User Attention and ProductAttention for Sentiment Classification

作者：吳震 ，戴新宇，尹存燕，黃書劍，陳家駿

單位：南京大學(xué)

[21] Chinese LIWC Lexicon Expansion via Hierarchical Classification of WordEmbeddings with Sememe Attention

作者：曾祥楷，楊成，涂存超，劉知遠(yuǎn)，孫茂松

單位：清華大學(xué)

[22] Learning Structured Representation for Text Classification withReinforcement Learning

作者：張?zhí)鞊P(yáng)，黃民烈，趙立

單位：清華大學(xué)

[23] Assertion-based QA with Question-Aware Open Information Extraction

作者：閆昭，唐都鈺，段楠，劉樹杰，王文迪，姜大昕，周明，李舟軍

單位：微軟亞洲研究院

[24] End-to-End Quantum-like Language Models with Application to QuestionAnswering

作者：張鵬，牛嘉斌，蘇展，王本友，馬力群，宋大為

單位：天津大學(xué)

[25] EMD Metric Learning

作者：張子昭，張宇博，趙曦濱，高躍

單位：清華大學(xué)

Session 1（6場(chǎng)報(bào)告）

主持人：劉銘副教授，哈爾濱工業(yè)大學(xué)

[1] Adversarial Learning for Chinese NER from Crowd Annotations

作者：楊耀晟，張梅山，陳文亮，張偉，王昊奮，張民

單位：蘇州大學(xué)人類語(yǔ)言技術(shù)研究所

首先是由來(lái)自黑龍江大學(xué)的張梅山副教授做了首場(chǎng)報(bào)告。

在訓(xùn)練命名實(shí)體識(shí)別系統(tǒng)時(shí)，往往需要大量的人工標(biāo)注語(yǔ)料。為了保證質(zhì)量，通常需要雇傭?qū)＜襾?lái)進(jìn)行標(biāo)注，但這樣會(huì)造成代價(jià)成本高且規(guī)模難于擴(kuò)大。另一種方式是采用眾包標(biāo)注方法，雇傭普通人員來(lái)快速低成本完成標(biāo)注任務(wù)，但這樣獲取的數(shù)據(jù)含有很多噪音。

張梅山在報(bào)告中提出了一種利用眾包標(biāo)注數(shù)據(jù)學(xué)習(xí)對(duì)抗網(wǎng)絡(luò)模型的方法，來(lái)構(gòu)建中文實(shí)體識(shí)別系統(tǒng)。受對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)的啟發(fā)，他們?cè)谀Ｐ椭惺褂昧藘蓚€(gè)雙向 LSTM 模塊，來(lái)分別學(xué)習(xí)標(biāo)注員的公有信息和屬于不同標(biāo)注員的私有信息。對(duì)抗學(xué)習(xí)的思想體現(xiàn)在公有塊的學(xué)習(xí)過(guò)程中，以不同標(biāo)注員作為分類目標(biāo)進(jìn)行對(duì)抗學(xué)習(xí)。從而達(dá)到優(yōu)化公有模塊的學(xué)習(xí)質(zhì)量，使之收斂于真實(shí)數(shù)據(jù) (專家標(biāo)注數(shù)據(jù))。算法框架如下：

1-1，ALCrowd 框架

最終構(gòu)建的中文實(shí)體識(shí)別系統(tǒng) (Crowd-NER) 在真實(shí)數(shù)據(jù)上的性能比傳統(tǒng) CRF 模型高 7.2%(F1)：

 

1-2，實(shí)驗(yàn)結(jié)果

[2] Adaptive Co-attention Network for Named Entity Recognition in Tweets

作者：張奇，傅金蘭，劉曉雨，黃萱菁

單位：復(fù)旦大學(xué)

隨后由來(lái)自復(fù)旦大學(xué)的傅金蘭介紹了他們?cè)诿麑?shí)體識(shí)別任務(wù)中的工作。

在 tweet 命名實(shí)體識(shí)別中，傳統(tǒng)的方法往往只使用了文本內(nèi)容。但是許多推文還包含圖像等內(nèi)容。這種視覺(jué)信息在實(shí)體識(shí)別任務(wù)中是極有價(jià)值的。例如下面的例子，

2-1，缺乏圖像信息

2-2，結(jié)合圖像信息

在只使用文本信息時(shí)可能會(huì)把「Rocky」識(shí)別為人名；但是結(jié)合 tweet 圖片，我們知道「Rocky」其實(shí)是一條狗。

為了充分利用文本和視覺(jué)信息，傅金蘭等人在論文中提出了一種處理 tweet 中包含多種信息的方法。具體來(lái)說(shuō)，他們利用了條件隨機(jī)場(chǎng)和 Adaptive Co-attention Network 擴(kuò)展了一個(gè)雙向 LSTM 網(wǎng)絡(luò)。

2-3，集合視覺(jué)和文本信息的雙向 LSTM 網(wǎng)絡(luò)

為了評(píng)估這種方法，他們構(gòu)建了包含多模態(tài)推文的大規(guī)模標(biāo)記數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果表明，這種方法在大多數(shù)情況下可以比以前的方法獲得更好的效果。

（感謝傅金蘭指正?。?/em>

[3] Large Scaled Relation Extraction with Reinforcement Learning

作者：曾祥榮，何世柱，劉康，趙軍

單位：中科院自動(dòng)化所

隨后來(lái)自中科院自動(dòng)化所的陳玉博助理研究員代表同組的何世柱助理研究員做了關(guān)于使用增強(qiáng)學(xué)習(xí)進(jìn)行大規(guī)模關(guān)系抽取的報(bào)告。

從文本中進(jìn)行關(guān)系抽取在 NLP 領(lǐng)域是一個(gè)重要的任務(wù)。目前主要有兩種方法：句子級(jí)的關(guān)系抽取和基于知識(shí)庫(kù)的 bag 級(jí)關(guān)系抽取。

3-1，關(guān)系抽取任務(wù)的例子。該任務(wù)致力于提取實(shí)體對(duì)之間的關(guān)系。

3-2，將知識(shí)圖譜中的關(guān)系事實(shí)與自由文本對(duì)齊，自動(dòng)生成大型縮放數(shù)據(jù)集。然而句子沒(méi)有直接標(biāo)注，其中一些（圖中的第三句）不能代表實(shí)體對(duì)的關(guān)系。

前者需要有人工標(biāo)注，難以大規(guī)模應(yīng)用；后者雖然能夠大規(guī)模進(jìn)行關(guān)系抽取，但是它只有 bag 的 label，而沒(méi)有具體句子的 label。作者使用增強(qiáng)學(xué)習(xí)的方法，將包中的句子看成增強(qiáng)學(xué)習(xí)的 state，將關(guān)系看成 action，將關(guān)系抽取分類器看成 agent，從而構(gòu)建了一個(gè)能夠依據(jù)大規(guī)模自動(dòng)回標(biāo)的包數(shù)據(jù)訓(xùn)練出一個(gè)高質(zhì)量的句子級(jí)的關(guān)系抽取的分類器。

3-3，強(qiáng)化學(xué)習(xí)的過(guò)程。關(guān)系提取器是強(qiáng)化學(xué)習(xí) agent，r 是生成的獎(jiǎng)勵(lì)。

基于這種方法構(gòu)建的兩個(gè)模型在公開發(fā)布的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果證明所提方法與基線模型相比有 13.36% 的顯著提升。

（感謝陳玉博助理研究員指正！）
 

[4] Event Detection via Gated Multilingual Attention Mechanism

作者：劉健，陳玉博，劉康，趙軍

單位：中國(guó)科學(xué)院自動(dòng)化研究所

隨后陳玉博助理研究員又做了關(guān)于通過(guò)門控多語(yǔ)言注意機(jī)制進(jìn)行事件檢測(cè)的報(bào)告。

在 NLP 應(yīng)用（例如信息提取系統(tǒng)）中，如何從文本中識(shí)別出事件非常重要。但目前這項(xiàng)任務(wù)的大多數(shù)現(xiàn)存方法只關(guān)于單一語(yǔ)言的特定語(yǔ)言線索，卻忽略了其他語(yǔ)言提供的大量信息。這些方法會(huì)受困于單語(yǔ)歧義性以及數(shù)據(jù)稀缺的影響。

 

4-1，在 ACE 2005 的統(tǒng)計(jì)中 70% 的事件事例少于 100 個(gè)

 

4-2，多語(yǔ)信息可以有助于消除單語(yǔ)歧義性

本文提出了一種新穎的多語(yǔ)言方法（稱之為門控多語(yǔ)言注意（GMLATT）框架）來(lái)同時(shí)處理前面兩種問(wèn)題。具體來(lái)說(shuō)，作者通過(guò)上下文關(guān)注機(jī)制，利用多語(yǔ)言數(shù)據(jù)的一致性信息緩解了數(shù)據(jù)稀缺的問(wèn)題；同時(shí)他們提出了跨語(yǔ)言的門控注意，利用多語(yǔ)言數(shù)據(jù)傳遞的補(bǔ)充信息來(lái)解決單語(yǔ)歧義問(wèn)題。

 

4-3，GMLATT 框架

他們?cè)趯?shí)驗(yàn)部分選擇了 ACE 2005 基準(zhǔn)進(jìn)行了廣泛的實(shí)驗(yàn)。結(jié)果表明這種方法顯著優(yōu)于當(dāng)前最先進(jìn)的方法。

（感謝陳玉博助理研究員指正?。?/em>

[5] Neural Networks Incorporating Dictionaries for Chinese Word Segmentation

作者：張奇，劉曉雨，傅金蘭

單位：復(fù)旦大學(xué)

第五個(gè)報(bào)告由來(lái)自復(fù)旦大學(xué)的劉曉雨介紹了他們?cè)谥形姆衷~中深度神經(jīng)網(wǎng)絡(luò)方面的工作。

近年來(lái)深度神經(jīng)網(wǎng)絡(luò)在中文分詞領(lǐng)域取得了很大的成功，但目前這種類型的方法大部分是端到端的訓(xùn)練系統(tǒng)，它們可以有效地處理和學(xué)習(xí)大規(guī)模標(biāo)記的數(shù)據(jù)集，但在處理低頻詞匯和領(lǐng)域?qū)Ｓ忻~時(shí)的表現(xiàn)并不是很好。

低頻詞匯	領(lǐng)域?qū)Ｓ忻~

另一方面，統(tǒng)計(jì)方法在中文分詞領(lǐng)域的成功表明，人類的知識(shí)在上面兩種情況下能夠提供極有價(jià)值的信息。所以作者提出詞典（人類知識(shí)）結(jié)合神經(jīng)網(wǎng)絡(luò)的方法，利用人類知識(shí)來(lái)提升神經(jīng)網(wǎng)絡(luò)在分詞任務(wù)中的表現(xiàn)。

5-1，廣義 Bi-LSTM –CRF 模型

具體來(lái)說(shuō)，作者提出了兩種擴(kuò)展 Bi-LSTM-CRF 模型的方法來(lái)引入詞典信息，如下：

5-2，Model-I 框架。ex 和 t 表示字符嵌入和通過(guò)詞典構(gòu)造的特征向量；兩個(gè)并行的 Bi-LSTM 被用來(lái)提取上下文信息和潛在的字邊界信息

5-3，Model-II 框架。使用 HyperLSTM 為 MainLSTM 動(dòng)態(tài)地生成權(quán)重。HyperLSTM 將特征向量 t 作為輸入，而 MainLSTM 將嵌入向量作為輸入

實(shí)驗(yàn)結(jié)果表明，這種方法在大多數(shù)情況下表現(xiàn)得比其他state-of-the-art方法更好。特別在跨領(lǐng)域文本分詞中任務(wù)中，該方法相對(duì)state-of-the-art方法有顯著提升。此外，當(dāng)要把訓(xùn)練好的模型應(yīng)用到特定領(lǐng)域的分詞任務(wù)時(shí)，我們只需要添加額外的領(lǐng)域詞典即可，模型的參數(shù)保持不變，不需要再重新訓(xùn)練。

（感謝劉曉雨指正?。?/em>

[6] Learning Multimodal Word Representation via Dynamic Fusion Methods

作者：王少楠， 張家俊， 宗成慶

單位：自動(dòng)化所

Session 1 的最后一個(gè)報(bào)告由來(lái)自中科院自動(dòng)化所的王少楠所做，她介紹了他們組在基于動(dòng)態(tài)融合方法的多模態(tài)詞匯表示模型上的研究工作。

 

6-1，dog+圖+音+情感

在學(xué)習(xí)語(yǔ)義詞匯表示任務(wù)中，多模態(tài)模型要比單純的基于文本的模型表現(xiàn)要好，例如下圖從融合文本、圖像、聲音、情感的信息中學(xué)習(xí)詞匯表示明顯要優(yōu)于單純的從文本中學(xué)習(xí)詞匯表示。

 

6-2，多模態(tài)模型

之前的多模態(tài)詞匯表示模型會(huì)將各種模態(tài)信息平等對(duì)待。但很明顯，來(lái)自不同模態(tài)（例如圖像和文本）的信息對(duì)不同類型的詞匯有不同的貢獻(xiàn)，理應(yīng)有不同的權(quán)重。比如對(duì)于抽象詞如「快樂(lè)」，文本模態(tài)對(duì)詞義的貢獻(xiàn)要大于感知覺(jué)模態(tài)的貢獻(xiàn)；而對(duì)于具象詞如「桌子」，文本和感知覺(jué)模態(tài)都會(huì)極大地影響詞匯的含義。

基于這種考慮，作者建立了可以根據(jù)不同類型的詞匯對(duì)不同模態(tài)的信息加以區(qū)分的多模態(tài)詞匯表示模型，模型中有三種動(dòng)態(tài)融合機(jī)制，可以分別針對(duì)模態(tài)、詞類和詞匯對(duì)不同模態(tài)賦予不同的權(quán)重。其中，作者間接利用相關(guān)或相似詞對(duì)作為弱監(jiān)督信號(hào)來(lái)自動(dòng)學(xué)習(xí)不同模態(tài)的權(quán)重。

 

6-3，其中四個(gè)數(shù)字對(duì)應(yīng)方法的四個(gè)步驟；Lw1 和 Lw2 是一個(gè)單詞關(guān)聯(lián)對(duì)的表示；Pw1 和 Pw2 是從文本到視覺(jué)映射 f 的輸出的預(yù)測(cè)視覺(jué)表示；一個(gè)單詞的多模式表示是其語(yǔ)言向量與其預(yù)測(cè)向量的加權(quán)連接，其中權(quán)重是可學(xué)習(xí)的參數(shù)。

實(shí)驗(yàn)的結(jié)果表明，這種動(dòng)態(tài)融合方法可以極大地提高詞匯表示的質(zhì)量。定性的結(jié)果分析表示，該模型可以針對(duì)不同類型的詞匯賦予不同的權(quán)重。這一結(jié)果也符合認(rèn)知科學(xué)的研究結(jié)論，即抽象詞更依賴文本模態(tài)，而具象詞的詞義學(xué)習(xí)依賴文本和感知覺(jué)模態(tài)。這個(gè)研究表明，利用計(jì)算模型對(duì)數(shù)據(jù)的規(guī)律進(jìn)行挖掘可以幫助認(rèn)知科學(xué)的相關(guān)研究。

（感謝王少楠的指正?。?/em>

Session 2（6場(chǎng)報(bào)告）

主持人：靳婷副教授，海南大學(xué)

[7] Inferring Emotion from Conversational Voice Data: A Semi-supervised Multi-path Generative Neural Network Approach

作者：周素平，賈珈，王琦，董宇飛，尹宇峰，雷克華

單位：清華大學(xué)

經(jīng)過(guò)一個(gè)多小時(shí)的茶歇和 poster 后，來(lái)自清華大學(xué)的周素平開啟了第二個(gè)環(huán)節(jié)的首場(chǎng)報(bào)告。報(bào)告中她介紹了他們組在語(yǔ)音對(duì)話應(yīng)用程序（VDA）中推斷情感方面提出的半監(jiān)督多路徑生成神經(jīng)網(wǎng)絡(luò)方法的工作。

為了在語(yǔ)音對(duì)話應(yīng)用（VDAs）中給出更人性化的回應(yīng)，從用戶查詢中推斷用戶的情緒狀態(tài)是一個(gè)重要的任務(wù)。在 VDAs 問(wèn)題中有兩大挑戰(zhàn)：1）多模態(tài)信息所帶來(lái)的特征向量維數(shù)很大；2）大量的用戶和巨大的未標(biāo)記數(shù)據(jù)（有限的標(biāo)記數(shù)據(jù)）。

針對(duì)這些問(wèn)題，在這篇論文中作者提出了一種半監(jiān)督的多路徑生成神經(jīng)網(wǎng)絡(luò)，框架流程如下：

圖 7-1，框架流程圖

為了避免高維輸入，他們將原始特征分別輸入到局部分類器中進(jìn)行訓(xùn)練，然后再將每個(gè)局部分類器的高級(jí)特征作為全局分類器的輸入。這兩種分類器通過(guò)一個(gè)單一的目標(biāo)函數(shù)同時(shí)進(jìn)行訓(xùn)練，以達(dá)到更有效、更有區(qū)別的情感推理。

為了進(jìn)一步解決標(biāo)記數(shù)據(jù)稀缺的問(wèn)題，作者在上面的多路徑深度神經(jīng)網(wǎng)絡(luò)上擴(kuò)展了一個(gè)基于半監(jiān)督變分自動(dòng)編碼器（semi-VAE）的生成模型，這個(gè)模型能夠同時(shí)訓(xùn)練標(biāo)記和未標(biāo)記的數(shù)據(jù)。

基于從搜狗 Voice Assistant1（SVAD13）和基準(zhǔn)數(shù)據(jù)集 IEMOCAP 收集到的 24,000 個(gè)真實(shí)世界的數(shù)據(jù)集進(jìn)行的實(shí)驗(yàn)表明，該方法明顯優(yōu)于現(xiàn)有的最新結(jié)果；更為關(guān)鍵的是，該方法可以直接應(yīng)用在真實(shí)數(shù)據(jù)中。

[8] Long Text Generation via Adversarial Training with Leaked Information

作者：郭家賢，盧思迪，蔡涵，張偉楠，汪軍，俞勇

單位：上海交通大學(xué)     

隨后，來(lái)自上海交通大學(xué)的郭家賢分享了他們?cè)陂L(zhǎng)文本生成方面的研究工作。

在長(zhǎng)文本生成中，現(xiàn)有的模型（GAN 方法）的標(biāo)量引導(dǎo)信號(hào)只有在文本完整生成后才可以使用，并且在生成過(guò)程中缺少關(guān)于文本結(jié)構(gòu)的中間信息，這些因素會(huì)限制長(zhǎng)文本生成的效果。

8-1，LeakGAN 框架

本文提出了一種名為 LeakGAN 的框架，也即在生成的過(guò)程中 Discriminator 會(huì)將提取到的高級(jí)特征「泄露」給 Generator，以進(jìn)一步指導(dǎo)下一步的生成。在 Generator 中，通過(guò)一個(gè)額外的 Manager 模塊將這些信息整合到所有生成步驟中，并將當(dāng)前生成的字的提取特征輸出為一個(gè)潛在的向量，用來(lái)指導(dǎo) Worker 模塊進(jìn)行下一代詞的生成。

這個(gè)模型來(lái)源于一種想法，即人在說(shuō)一句較長(zhǎng)的話時(shí)，不是一下子把所有的詞都想完整了后再說(shuō)，而是在說(shuō)的過(guò)程中不斷根據(jù)前面內(nèi)容生成接下來(lái)要說(shuō)的話。

其實(shí)驗(yàn)證明，LeakGAN 在長(zhǎng)文本生成中非常有效，并且在短文本生成場(chǎng)景中也提高了性能。

[9] Style Transfer in Text: Exploration and Evaluation

作者：付振新，譚曉燁，彭楠赟，趙東巖，嚴(yán)睿

單位：北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所

接下來(lái)，來(lái)自北京大學(xué)計(jì)算科學(xué)與技術(shù)研究所的本科生付振新做了一項(xiàng)文本風(fēng)格轉(zhuǎn)換方面探索性的報(bào)告。

在風(fēng)格轉(zhuǎn)換方面，文本風(fēng)格轉(zhuǎn)換的研究要落后與其他領(lǐng)域（如計(jì)算機(jī)視覺(jué)），其主要原因是由于缺乏并行數(shù)據(jù)和可靠的評(píng)估指標(biāo)。

針對(duì)缺乏平行數(shù)據(jù)的挑戰(zhàn)，作者提出兩種模型來(lái)實(shí)現(xiàn)無(wú)平行語(yǔ)料數(shù)據(jù)集的風(fēng)格轉(zhuǎn)換方法。模型背后關(guān)鍵的思想為使用對(duì)抗網(wǎng)絡(luò)來(lái)分別學(xué)習(xí)內(nèi)容表示和風(fēng)格表示。

9-1，兩個(gè)模型：多解碼器（左）和風(fēng)格向量（右）。Content c 代表編碼器的輸出。多層感知器（MLP）和 Softmax 構(gòu)成分類器。

針對(duì)缺乏可靠的評(píng)估指標(biāo)的問(wèn)題，作者提出了「轉(zhuǎn)換強(qiáng)度」和「內(nèi)容保持（content preservation）」兩項(xiàng)評(píng)估指標(biāo)。

他們選擇了兩種風(fēng)格轉(zhuǎn)換任務(wù)來(lái)進(jìn)行試驗(yàn)，分別為：論文-新聞標(biāo)題的風(fēng)格轉(zhuǎn)換和正負(fù)面評(píng)論的風(fēng)格轉(zhuǎn)換。

9-2，論文-新聞標(biāo)題風(fēng)格轉(zhuǎn)換（左）和正負(fù)面評(píng)論風(fēng)格轉(zhuǎn)換（右）

結(jié)果顯示，且通過(guò)對(duì)自動(dòng)編碼器的對(duì)比等，發(fā)現(xiàn)所提模型既能遷移風(fēng)格，又能保留內(nèi)容。

（感謝付振新指正?。?/em>

[10] Meta Multi-Task Learning for Sequence Modeling

作者：陳俊坤，邱錫鵬，劉鵬飛，黃萱菁

單位：復(fù)旦大學(xué)

隨后來(lái)自復(fù)旦大學(xué)的陳俊坤做了關(guān)于序列建模的元多任務(wù)學(xué)習(xí)的報(bào)告。

語(yǔ)義組合函數(shù)（Semantic composition functions）在文本序列的神經(jīng)表示學(xué)習(xí)中起著舉足輕重的作用。在這個(gè)任務(wù)中已經(jīng)有許多模型，盡管它們?nèi)〉昧撕艽蟪晒?，但是也都存?underfitting 的問(wèn)題：它們?cè)谛蛄兄械乃形恢蒙鲜褂孟嗤墓蚕斫M合函數(shù)，因此會(huì)由于無(wú)法捕捉到合成的豐富性而缺乏表達(dá)能力；另外，不同任務(wù)的組合函數(shù)也是獨(dú)立的，每次都需要從頭開始學(xué)習(xí)。

在這篇文章中，作者提出了一個(gè)跨多個(gè)任務(wù)組合函數(shù)的共享方案。具體來(lái)說(shuō)，作者使用一個(gè)共享的元網(wǎng)絡(luò)來(lái)捕獲語(yǔ)義組合的元知識(shí)，并生成任務(wù)特定的語(yǔ)義組合模型的參數(shù)。

作者對(duì)兩個(gè)任務(wù)（文本分類和序列標(biāo)簽）進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，這個(gè)模型學(xué)到的共享元知識(shí)可以被看做是現(xiàn)成的知識(shí)，也很容易遷移到新的任務(wù)上。

（感謝陳俊坤指正！）

陳俊坤：

原先的多任務(wù)學(xué)習(xí)可視為學(xué)習(xí)出更好的表示特征，即 feature-level 的共享模式，如果一個(gè) layer 的作用可以視為$layer =\sigma(W*x)$的話，那么之前的多任務(wù)學(xué)習(xí)旨在得到更好的 x，而我們的模型則保持 x 與單任務(wù)時(shí)相同，利用一個(gè)共享的小網(wǎng)絡(luò)控制 W，我們稱為 function-level 的共享模式。

[11] RUBER: An Unsupervised Method for Automatic Evaluation of Open-Domain Dialog Systems

作者：陶重陽(yáng)，牟力立，趙東巖，嚴(yán)睿

單位：北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所

來(lái)自北大計(jì)算科學(xué)與技術(shù)研究所的助理教授嚴(yán)睿做了關(guān)于開放域?qū)υ捪到y(tǒng)無(wú)監(jiān)督自動(dòng)評(píng)估的報(bào)告。

開放域?qū)υ捪到y(tǒng)目前還不存在標(biāo)準(zhǔn)的自動(dòng)評(píng)估指標(biāo)。研究者通常會(huì)使用人工標(biāo)注進(jìn)行模型評(píng)估，但這種方法費(fèi)時(shí)費(fèi)力。在這篇文章中，作者提出了一種 referenced 度量和 unreferenced 度量混合評(píng)估的 RUBER，它通過(guò)同時(shí)考慮一個(gè) ground truth 答復(fù)和一個(gè)查詢（先前用戶發(fā)出的話語(yǔ)）來(lái)評(píng)估一個(gè)答案。這種指標(biāo)是可以學(xué)習(xí)的，它的訓(xùn)練并不需要人類滿意的標(biāo)簽。所以 RUBER 比較靈活，可以擴(kuò)展到不同的數(shù)據(jù)集和語(yǔ)言上。

在對(duì)檢索和生成對(duì)話系統(tǒng)的實(shí)驗(yàn)表明，RUBER 與人類標(biāo)注有很高的相關(guān)性。

[12] Exploring Implicit Feedback for Open Domain Conversation Generation

作者：張偉男，李凌志，曹東巖，劉挺

單位：哈爾濱工業(yè)大學(xué)

Session 2 的最后一個(gè)報(bào)告由來(lái)自哈工大 SCIR 的張偉男副教授分享了 SCIR 在開放域?qū)υ捝呻[式反饋探索方面的工作。

在人機(jī)對(duì)話過(guò)程中，人們通常會(huì)表現(xiàn)出某種立場(chǎng)、情緒以及尷尬等狀態(tài)，我們稱之為用戶在人機(jī)對(duì)話過(guò)程中的隱式反饋。

相比于任務(wù)型人機(jī)對(duì)話在對(duì)話結(jié)束后通過(guò)問(wèn)卷的形式顯式地獲取用戶的反饋，隱式反饋更加自然且不需要用戶作出對(duì)話之外的反饋操作。在開放域人機(jī)對(duì)話中，用戶的隱式反饋普遍存在。

這篇文章探尋了人機(jī)對(duì)話過(guò)程中的用戶隱式反饋對(duì)于開放域?qū)υ捝傻淖饔?，在?qiáng)化學(xué)習(xí)的框架下，將隱式反饋建模到對(duì)話獎(jiǎng)勵(lì)函數(shù)中，獲得比 baseline 更好的對(duì)話生成效果。

（感謝張偉男副教授指正?。?/em>

來(lái)張講者合照鎮(zhèn)樓！

其中有教授、博士、研究生、本科生，覆蓋了學(xué)術(shù)研究的各個(gè)年齡層。

（照片由哈工大李家琦博士提供）

?。?！NOTE！??！

預(yù)講會(huì)已經(jīng)結(jié)束，頂會(huì)將要開始。屆時(shí)雷鋒網(wǎng) AI 科技評(píng)論也將到現(xiàn)場(chǎng)進(jìn)行一線報(bào)道。如果你也有論文被 AAAI 錄用 ，歡迎在后臺(tái)留下你的聯(lián)系方式，我們將與您聯(lián)系，并進(jìn)行更多交流！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。