丁香五月天婷婷久久婷婷色综合91|国产传媒自偷自拍|久久影院亚洲精品|国产欧美VA天堂国产美女自慰视屏|免费黄色av网站|婷婷丁香五月激情四射|日韩AV一区二区中文字幕在线观看|亚洲欧美日本性爱|日日噜噜噜夜夜噜噜噜|中文Av日韩一区二区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號(hào)安全和更好的產(chǎn)品體驗(yàn),強(qiáng)烈建議使用更快更安全的瀏覽器
此為臨時(shí)鏈接,僅用于文章預(yù)覽,將在時(shí)失效
人工智能 正文
發(fā)私信給camel
發(fā)送

0

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

本文作者: camel 2018-01-15 23:35 專(zhuān)題:AAAI 2018
導(dǎo)語(yǔ):AAAI 2018 下月就要舉行了!

雷鋒網(wǎng) AI 科技評(píng)論按:1 月 6 日,由中國(guó)中文信息學(xué)會(huì)青年工作委員會(huì)(簡(jiǎn)稱(chēng)「青工委」)主辦,哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心(HIT-SCIR)承辦的『AAAI 2018 預(yù)講會(huì)』在哈爾濱工業(yè)大學(xué)成功舉辦。本次會(huì)議由華為和云孚科技提供贊助,雷鋒網(wǎng)作為獨(dú)家合作媒體,提供了在線直播,并對(duì)本次預(yù)講會(huì)做全程報(bào)道。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

來(lái)張講者合照鎮(zhèn)樓!其中有教授、博士、研究生、本科生,覆蓋了學(xué)術(shù)研究的各個(gè)年齡層。

照片由哈工大李家琦提供

本次 AAAI 2018 預(yù)講會(huì)邀請(qǐng)了來(lái)自全國(guó)各地 15 所高校和研究單位的老師和同學(xué)分享他們?cè)?AAAI 2018 中接收的 25 篇論文,內(nèi)容覆蓋有聊天機(jī)器人、語(yǔ)義依存圖、文本摘要、機(jī)器翻譯、信息抽取、表示學(xué)習(xí)等多個(gè)領(lǐng)域的最新研究成果。會(huì)議吸引了 200 多名老師和學(xué)生來(lái)此參會(huì)并進(jìn)行交流。

我們?cè)凇?a href="http://m.ozgbdpf.cn/news/201801/ApM4q2rZONgoCSxz.html?type=preview" target="_blank">AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(上)》中已經(jīng)詳細(xì)介紹了其中的12篇文章,分別為:

Session 1

[1] Adversarial Learning for Chinese NER from Crowd Annotations

作者:楊耀晟,張梅山,陳文亮,張偉,王昊奮,張民

單位:蘇州大學(xué)人類(lèi)語(yǔ)言技術(shù)研究所

[2] Adaptive Co-attention Network for Named Entity Recognition in Tweets

作者:張奇,傅金蘭,劉曉雨,黃萱菁

單位:復(fù)旦大學(xué)

[3] Large Scaled Relation Extraction with Reinforcement Learning

作者:曾祥榮,何世柱,劉康,趙軍

單位:中科院自動(dòng)化所

[4] Event Detection via Gated Multilingual Attention Mechanism

作者:劉健,陳玉博,劉康,趙軍

單位:中國(guó)科學(xué)院自動(dòng)化研究所

[5] Neural Networks Incorporating Dictionaries for Chinese Word Segmentation

作者:張奇,劉曉雨,傅金蘭

單位:復(fù)旦大學(xué)

[6] Learning Multimodal Word Representation via Dynamic Fusion Methods

作者:王少楠, 張家俊, 宗成慶

單位:自動(dòng)化所

Session 2

[7] Inferring Emotion from Conversational Voice Data: A Semi-supervisedMulti-path Generative Neural Network Approach

作者:周素平,賈珈,王琦,董宇飛,尹宇峰,雷克華

單位:清華大學(xué)

[8] Long Text Generation via Adversarial Training with Leaked Information

作者:郭家賢,盧思迪,蔡涵,張偉楠,汪軍,俞勇

單位:上海交通大學(xué)

[9] Style Transfer in Text: Exploration and Evaluation

作者:付振新,譚曉燁,彭楠赟,趙東巖,嚴(yán)睿

單位:北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所

[10] Meta Multi-Task Learning for Sequence Modeling

作者:陳俊坤,邱錫鵬,劉鵬飛,黃萱菁

單位:復(fù)旦大學(xué)

[11] RUBER: An Unsupervised Method for Automatic Evaluation of Open-DomainDialog Systems

作者:陶重陽(yáng),牟力立,趙東巖,嚴(yán)睿

單位:北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所

[12] Exploring Implicit Feedback for Open Domain Conversation Generation

作者:張偉男,李凌志,曹東巖,劉挺

單位:哈爾濱工業(yè)大學(xué)

我們接下來(lái)將詳細(xì)介紹另外13場(chǎng)報(bào)告的內(nèi)容。分別為:

Session 3

[13] Neural Character Dependency Parsing for Chinese

作者:李浩楠,張智松,琚毓琪,趙海

單位:上海交通大學(xué)

[14] A Neural Transition-Based Approach for Semantic Dependency Graph Parsing

作者:王宇軒,車(chē)萬(wàn)翔,郭江,劉挺

單位:哈爾濱工業(yè)大學(xué)

[15] Asynchronous Bidirectional Decoding for Neural Machine Translation

作者:張祥文,蘇勁松,秦悅,劉洋,紀(jì)榮嶸,王鴻吉

單位:廈門(mén)大學(xué)

[16] Knowledge Graph Embedding with Iterative Guidance from Soft Rules

作者:郭舒,王泉,王麗宏,王斌,郭莉

單位:中國(guó)科學(xué)院信息工程研究所

[17] Embedding of Hierarchically Typed Knowledge Bases

作者:張日崇,孔繁爽,王晨玥,茆永軼

單位:北京航空航天大學(xué)

[18] Faithful to the Original: Fact Aware Neural Abstractive Summarization

作者:曹自強(qiáng),韋福如,李文婕,李素建

單位:香港理工大學(xué)

[19] Twitter Summarization based on Social Network and Sparse Reconstruction

作者:賀瑞芳,段興義

單位:天津大學(xué)

Session 4

[20] Improving Review Representations with User Attention and ProductAttention for Sentiment Classification

作者:吳震 ,戴新宇,尹存燕,黃書(shū)劍,陳家駿

單位:南京大學(xué)

[21] Chinese LIWC Lexicon Expansion via Hierarchical Classification of WordEmbeddings with Sememe Attention

作者:曾祥楷,楊成,涂存超,劉知遠(yuǎn),孫茂松

單位:清華大學(xué)

[22] Learning Structured Representation for Text Classification withReinforcement Learning

作者:張?zhí)鞊P(yáng),黃民烈,趙立

單位:清華大學(xué)

[23] Assertion-based QA with Question-Aware Open Information Extraction

作者:閆昭,唐都鈺,段楠,劉樹(shù)杰,王文迪,姜大昕,周明,李舟軍

單位:微軟亞洲研究院

[24] End-to-End Quantum-like Language Models with Application to QuestionAnswering

作者:張鵬,牛嘉斌,蘇展,王本友,馬力群,宋大為

單位:天津大學(xué)

[25] EMD Metric Learning

作者:張子昭,張宇博,趙曦濱,高躍

單位:清華大學(xué)

Session 3(7場(chǎng)報(bào)告)

主持人:楊亮副教授,大連理工大學(xué)

[13] Neural Character Dependency Parsing for Chinese

作者:李浩楠,張智松,琚毓琪,趙海

單位:上海交通大學(xué)

經(jīng)過(guò)一個(gè)半小時(shí)的午間休息和討論后,Session 3 由來(lái)自上海交通大學(xué)的趙海教授開(kāi)啟。

2009 年,趙海教授針對(duì)中文分詞過(guò)程中會(huì)受到詞義模糊影響的問(wèn)題,提出了字符級(jí)依存分析的方案。這種方案有兩個(gè)好處:1)使用字符級(jí)樹(shù)避免了中文分詞不存在通用標(biāo)準(zhǔn)的問(wèn)題;2)單詞內(nèi)部的深層次結(jié)構(gòu)為更深層次的處理提供了額外的信息,能夠更好地理解整個(gè)句子。

在此基礎(chǔ)上,這篇文章利用神經(jīng)模型來(lái)探索字符依存分析,提出了一個(gè)開(kāi)放的字符級(jí)依存樹(shù)庫(kù) SCDT(首次提供了豐富的字符級(jí) POS 標(biāo)簽和依存類(lèi)別標(biāo)簽)以及首個(gè)字符級(jí)別的神經(jīng)中文依存分析器。

實(shí)驗(yàn)顯示字符級(jí) POS 標(biāo)簽和依存標(biāo)簽對(duì)解析性能起著重要的作用。另外在主分析指標(biāo)方面,神經(jīng)字符依存分析要比無(wú)神經(jīng)網(wǎng)絡(luò)的分析器更有效。

(感謝趙海教授指正)

[14] A Neural Transition-Based Approach for Semantic Dependency Graph Parsing

作者:王宇軒,車(chē)萬(wàn)翔,郭江,劉挺

單位:哈爾濱工業(yè)大學(xué)

隨后由來(lái)自哈工大 SCIR 的王宇軒博士分享了他們?cè)谡Z(yǔ)義依存圖上的研究工作。

語(yǔ)義依存圖是近年來(lái)提出的對(duì)樹(shù)結(jié)構(gòu)句法或語(yǔ)義表示的擴(kuò)展,它與樹(shù)結(jié)構(gòu)的主要區(qū)別是允許一些詞擁有多個(gè)父節(jié)點(diǎn),從而使其成為有向無(wú)環(huán)圖 (directed acyclic graph,DAG)。因此要獲得句子的語(yǔ)義依存圖,就需要對(duì)這種 DAG 進(jìn)行分析。目前大多數(shù)工作集中于研究淺層依存樹(shù)結(jié)構(gòu),少有人研究如何對(duì) DAG 進(jìn)行分析。

這篇文章提出一種基于轉(zhuǎn)移的分析器,使用 list-based arc-eager 算法的變體對(duì)依存圖進(jìn)行分析。

[15] Asynchronous Bidirectional Decoding for Neural Machine Translation

作者:張祥文,蘇勁松,秦悅,劉洋,紀(jì)榮嶸,王鴻吉

單位:廈門(mén)大學(xué)

來(lái)自廈門(mén)大學(xué)的張祥文介紹了他們?cè)跈C(jī)器翻譯中一項(xiàng)有趣的工作。

傳統(tǒng)的機(jī)器翻譯中都是按照單向順序編碼。這種方法的一個(gè)缺點(diǎn)就是,一旦中間出現(xiàn)翻譯錯(cuò)誤,隨后的內(nèi)容就會(huì)出現(xiàn)很大的差錯(cuò)。本文作者提出了一種雙向編碼的新思路。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

15-1,雙向編碼

實(shí)驗(yàn)結(jié)果相較之前的方法有顯著提升。但是這種效果的提升是以消耗計(jì)算量為代價(jià)的。Poster 環(huán)節(jié)中,張祥文也表示他們也曾考慮過(guò)跳序編碼的方法。

[16] Knowledge Graph Embedding with Iterative Guidance from Soft Rules

作者:郭舒,王泉,王麗宏,王斌,郭莉

單位:中國(guó)科學(xué)院信息工程研究所

隨后由來(lái)自中科院信息工程研究所的王泉副研究員報(bào)告了他們?cè)谥R(shí)圖譜表示學(xué)習(xí)方面的研究。

學(xué)習(xí)知識(shí)圖譜在低維向量空間中的分布式表示是當(dāng)前研究的熱點(diǎn)。最近,將分布式知識(shí)表示與傳統(tǒng)符號(hào)邏輯相結(jié)合引起了越來(lái)越多的關(guān)注。但是,以往的大多數(shù)嘗試采用一次性注入邏輯規(guī)則的方式,忽略了分布式知識(shí)表示學(xué)習(xí)和邏輯推理之間的交互性。此外,以往的方法只專(zhuān)注于處理硬規(guī)則,即那些總是成立、不能被違反的規(guī)則。這類(lèi)規(guī)則通常需要耗費(fèi)大量的人力來(lái)編寫(xiě)或驗(yàn)證。

本文作者提出了一種新的知識(shí)圖譜分布式表示學(xué)習(xí)方法——規(guī)則引導(dǎo)嵌入(rule-guided embedding,簡(jiǎn)記為 RUGE),借助軟規(guī)則的迭代引導(dǎo)完成知識(shí)圖譜表示學(xué)習(xí)。所謂軟規(guī)則,就是那些不總是成立、帶置信度的規(guī)則。這類(lèi)規(guī)則可以經(jīng)由算法從知識(shí)圖譜中自動(dòng)抽取。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

16-1,框架概述

具體來(lái)說(shuō),RUGE 同時(shí)利用標(biāo)注三元組、未標(biāo)注三元組、自動(dòng)抽取出的軟規(guī)則這三種資源以迭代的方式進(jìn)行知識(shí)圖譜表示學(xué)習(xí)。每一輪迭代在軟標(biāo)簽預(yù)測(cè)和表示修正這兩個(gè)步驟間交替進(jìn)行。前者利用當(dāng)前學(xué)到的表示和軟規(guī)則為未標(biāo)注三元組預(yù)測(cè)軟標(biāo)簽;后者進(jìn)一步利用標(biāo)注三元組(硬標(biāo)簽)和未標(biāo)注三元組(軟標(biāo)簽)對(duì)當(dāng)前表示進(jìn)行修正。通過(guò)這個(gè)迭代過(guò)程,RUGE 可以成功建模分布式知識(shí)表示學(xué)習(xí)和邏輯推理二者間的交互性,邏輯規(guī)則中蘊(yùn)含的豐富知識(shí)也能被更好地傳遞到所學(xué)習(xí)的分布式表示中。

(感謝王泉副研究員指正?。?/em>

[17] Embedding of Hierarchically Typed Knowledge Bases(孔繁爽,北航)

作者:張日崇,孔繁爽,王晨玥,茆永軼

單位:北京航空航天大學(xué)

孔繁爽是來(lái)自北京航空航天大學(xué)的碩士生。她在報(bào)告中介紹了他們?cè)?embedding 過(guò)程中考慮實(shí)體類(lèi)型的研究工作。

Embedding 已經(jīng)成為基于知識(shí)庫(kù)和各種嵌入模型的預(yù)測(cè)、推理、數(shù)據(jù)挖掘和信息檢索的重要手段。但是大多數(shù)模型都是「無(wú)類(lèi)型的」,也即將知識(shí)庫(kù)僅僅視為一個(gè)實(shí)例集合,而不考慮實(shí)體的類(lèi)型。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

17-1 ,embedding過(guò)程中考慮實(shí)體類(lèi)型

在這篇文章中,作者研究了實(shí)體類(lèi)型信息在知識(shí)庫(kù) embedding 中的應(yīng)用。他們提出了一個(gè)框架,將一個(gè)通用的「無(wú)類(lèi)型」嵌入模型添加到一個(gè)「有類(lèi)型」嵌入模型中。這個(gè)框架將實(shí)體類(lèi)型解釋為對(duì)所有實(shí)體集合的一個(gè)約束,并使這些類(lèi)型約束在嵌入空間中同構(gòu)地引入一組子集。然后引入額外的 cost 函數(shù)來(lái)模擬這些約束與實(shí)體和關(guān)系的嵌入之間的適應(yīng)性。

(感謝孔繁爽指正!)

[18] Faithful to the Original: Fact-Aware Neural Abstractive Summarization

作者:曹自強(qiáng),韋福如,李文婕,李素建

單位:香港理工大學(xué)

來(lái)自香港理工大學(xué)的曹自強(qiáng)博士在隨后的報(bào)告中提出,生成摘要不僅要保持信息充分,更重要的是信息的忠實(shí)性。

與抽取摘要不同,生成式摘要在融合原文本的過(guò)程中往往會(huì)創(chuàng)造出虛假的事實(shí)。曹自強(qiáng)在報(bào)告中介紹,目前有近 30% 的最先進(jìn)的神經(jīng)系統(tǒng)都會(huì)受到這種問(wèn)題的困擾。以前生成式摘要主要著眼于信息性的提高,但作者認(rèn)為忠實(shí)性(也即「信」)是生成摘要的前提,非常重要。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

18-1,模型框架

為了避免在生成摘要中產(chǎn)生虛假事實(shí),作者使用了開(kāi)放的信息抽取和依存分析技術(shù)從源文本中提取實(shí)際的事實(shí)描述,然后提出 dual-attention sequence-to-sequence 框架來(lái)強(qiáng)制以原文本和提取的事實(shí)描述為條件的生成。實(shí)驗(yàn)表明,他們的方法可以減少 80% 的虛假事實(shí)。

(感謝曹自強(qiáng)博士指正!)

[19] Twitter Summarization based on Social Network and Sparse Reconstruction

作者:賀瑞芳,段興義

單位:天津大學(xué)

來(lái)自天津大學(xué)的賀瑞芳副教授介紹了她們基于社交網(wǎng)絡(luò)和稀疏重構(gòu)的 Twitter 摘要研究工作。

隨著 Twitter 等微博服務(wù)的快速增長(zhǎng),數(shù)百萬(wàn)用戶(hù)產(chǎn)生了大量短小而嘈雜的信息,使得人們很難快速掌握自己感興趣話題的概要信息。作者通過(guò) Twitter summarization 來(lái)嘗試這個(gè)問(wèn)題的解決,即從大量 Twitter 文本中提取摘要信息。

傳統(tǒng)摘要方法一般只考慮文本信息,現(xiàn)有推特摘要方法考慮了社會(huì)媒體的用戶(hù)級(jí)靜態(tài)特性,但卻忽視了推文之間的社交關(guān)系。受社會(huì)學(xué)理論的啟發(fā)(在社會(huì)網(wǎng)絡(luò)中有表達(dá)一致性和表達(dá)傳染性),作者提出了一種新的稱(chēng)之為 Twitter Summarization based on Social Network and Sparse Reconstruction(SNSR)的微博摘要方法,這種方法能夠用于社交媒體情景中大規(guī)模、短小和嘈雜的文本上,采用稀疏重構(gòu)進(jìn)行推理。

作者在文章中將推文之間的關(guān)系建模為社會(huì)正則,將其整合到組稀疏優(yōu)化的微博摘要框架之中,并設(shè)計(jì)了多樣性正則來(lái)消除社交網(wǎng)絡(luò)帶來(lái)的強(qiáng)冗余信息。

由于缺乏公共語(yǔ)料庫(kù),作者構(gòu)建了 12 個(gè)不同話題的標(biāo)準(zhǔn) Twitter 摘要數(shù)據(jù)集。在這個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,這個(gè)框架在處理社交媒體中大規(guī)模、短小及嘈雜消息的有效性。

(感謝賀瑞芳副教授指正!)


Session 4(6場(chǎng)報(bào)告)

主持人:丁效副教授,哈爾濱工業(yè)大學(xué)

[20] Improving Review Representations with User Attention and Product Attention for Sentiment Classification

作者:吳震 ,戴新宇,尹存燕,黃書(shū)劍,陳家駿

單位:南京大學(xué)

來(lái)自南京大學(xué)的吳震在 Session 4 環(huán)節(jié)介紹了他們?cè)谖臋n級(jí)別情感分類(lèi)方面的研究工作。

在網(wǎng)絡(luò)平臺(tái)上有大量由用戶(hù)寫(xiě)的文檔類(lèi)型的評(píng)價(jià),其中有些是表達(dá)用戶(hù)情感的,有些則是對(duì)產(chǎn)品本身的評(píng)價(jià)。如何根據(jù)這些評(píng)價(jià)信息推斷出用戶(hù)的情感表達(dá)是一個(gè)非常有意思的工作。

在這方面,唐都鈺等人(2015)在 CNN 網(wǎng)絡(luò)的基礎(chǔ)上添加了用戶(hù)和產(chǎn)品的偏置矩陣和表示矩陣來(lái)表示這些信息;陳慧敏等人(2016)在層次網(wǎng)絡(luò)中融入用戶(hù)和產(chǎn)品的這些信息。這兩個(gè)研究都獲得了很好的提升。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

20-1,UPNN

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

20-2,USC+UPA

作者注意到,評(píng)論文本中有些詞表現(xiàn)出很強(qiáng)的用戶(hù)喜好,而有些詞則傾向于評(píng)價(jià)產(chǎn)品特點(diǎn)。其中觀點(diǎn)(理性評(píng)價(jià))與產(chǎn)品更相關(guān),而情緒(感性評(píng)價(jià))則與用戶(hù)喜好關(guān)系更緊密。在此基礎(chǔ)上,作者提出了一個(gè)對(duì)稱(chēng)的網(wǎng)絡(luò)模型:

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

20-3

在這個(gè)網(wǎng)絡(luò)中,左邊用來(lái)抽取用戶(hù)喜好的感性評(píng)價(jià),右邊用來(lái)抽取產(chǎn)品評(píng)價(jià)的理性評(píng)價(jià)。此外為了綜合兩種視角,作者補(bǔ)充了一個(gè)組合策略。整體來(lái)看,損失函數(shù)表示為

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

其中三個(gè)參數(shù)可以調(diào)整以觀看不同的效果。其實(shí)驗(yàn)表明,這種模型要比目前 state-of-art 的一些模型有更好的效果。

[21] Chinese LIWC Lexicon Expansion via Hierarchical Classification of Word Embeddings with Sememe Attention

作者:曾祥楷,楊成,涂存超,劉知遠(yuǎn),孫茂松

單位:清華大學(xué)

來(lái)自清華大學(xué)孫茂松組的楊成博士報(bào)告了他們?cè)谥形恼Z(yǔ)言查詢(xún)和字?jǐn)?shù)統(tǒng)計(jì)(LIWC)詞義擴(kuò)展的研究工作。

LIWC 是一個(gè)字?jǐn)?shù)統(tǒng)計(jì)軟件工具,已被用于許多領(lǐng)域的定量文本分析之中。由于其成功和普及,核心詞典已被翻譯成中文和許多其他語(yǔ)言。然而,其中的詞典只包含數(shù)千個(gè)單詞,與漢語(yǔ)常用單詞的數(shù)量相比是遠(yuǎn)遠(yuǎn)不足的。目前的方法通常需要手動(dòng)擴(kuò)展詞典,但是這往往需要太多時(shí)間,并且需要語(yǔ)言專(zhuān)家來(lái)擴(kuò)展詞典。

為了解決這個(gè)問(wèn)題,作者提出了自動(dòng)擴(kuò)展 LIWC 詞典的方法。具體而言,作者認(rèn)為這個(gè)問(wèn)題是一個(gè)層次分類(lèi)的問(wèn)題,并利用 seq2seq 模型來(lái)給詞典中的單詞分類(lèi)。另外,作者還使用關(guān)注機(jī)制的義元信息來(lái)捕捉一個(gè)詞的確切含義,以便可以擴(kuò)展一個(gè)更精確、更全面的詞典。

(感謝楊成博士指正?。?/em>

[22] Learning Structured Representation for Text Classification via Reinforcement Learning

作者:張?zhí)鞊P(yáng),黃民烈,趙立

單位:清華大學(xué)

隨后楊成博士代表黃民烈副教授介紹了他們?cè)趯W(xué)習(xí)文本分類(lèi)的結(jié)構(gòu)表示方面的研究?jī)?nèi)容。

表征學(xué)習(xí)是自然語(yǔ)言處理中的一個(gè)基本問(wèn)題。這篇文章研究如何學(xué)習(xí)文本分類(lèi)的結(jié)構(gòu)化表示。

與大多數(shù)既不使用結(jié)構(gòu)也不依賴(lài)于預(yù)定義結(jié)構(gòu)的現(xiàn)有表示模型不同,作者提出了一種強(qiáng)化學(xué)習(xí)(RL)方法,通過(guò)自動(dòng)地優(yōu)化結(jié)構(gòu)來(lái)學(xué)習(xí)句子表示。

作者在文章中提出兩種結(jié)構(gòu)表示模型:Information Distilled LSTM (ID-LSTM) 和 Hierarchically Structured LSTM (HS-LSTM)。其中 ID-LSTM 只選擇重要的任務(wù)相關(guān)的單詞,HS-LSTM 則去發(fā)現(xiàn)句子中的短語(yǔ)結(jié)構(gòu)。兩種表示模型中的結(jié)構(gòu)發(fā)現(xiàn)被表述為一個(gè)順序決策問(wèn)題,結(jié)構(gòu)發(fā)現(xiàn)的當(dāng)前決策影響隨后的決策,這可以通過(guò)策略梯度 RL 來(lái)解決。

結(jié)果表明,這種方法可以通過(guò)識(shí)別重要的詞或任務(wù)相關(guān)的結(jié)構(gòu)而無(wú)需明確的結(jié)構(gòu)注釋來(lái)學(xué)習(xí)任務(wù)友好的表示,從而獲得有競(jìng)爭(zhēng)力的表現(xiàn)。

[23] Assertion-based QA with Question-Aware Open Information Extraction

作者:閆昭,唐都鈺,段楠,劉樹(shù)杰,王文迪,姜大昕,周明,李舟軍

單位:微軟亞洲研究院

接下來(lái)由哈工大的馮驍騁博士代替微軟亞洲研究院的唐都鈺博士,介紹了他們?cè)谧詣?dòng)問(wèn)答方面的研究工作。

在這項(xiàng)工作中,作者提出了一個(gè)基于斷言的問(wèn)答任務(wù)(Assertion-based QA),這是一個(gè)開(kāi)放的領(lǐng)域問(wèn)題問(wèn)答任務(wù)。在搜索引擎中,用戶(hù)提出問(wèn)題后,引擎會(huì)反饋回一個(gè)相關(guān)的段落作為響應(yīng)。但是這并不利于用戶(hù)快速得到想要的信息。為了簡(jiǎn)化引擎反饋信息,作者提出將問(wèn)題和段落作為輸入,輸出包含主、謂、賓三元組表示的斷言的 ABQA 問(wèn)題。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

為了解決這個(gè)問(wèn)題,作者構(gòu)建了一個(gè)名為 WebAssertions 的數(shù)據(jù)集,其中包括 55960 個(gè)(question,passage)和 358427 個(gè)(question,passage,assertion)。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

隨后為了從段落中提取出斷言,作者開(kāi)發(fā)了提取式和生成式兩種方法。實(shí)驗(yàn)結(jié)果表明,這兩種方法都能夠較好地直接從段落中給出問(wèn)題的具體答案,并包含部分支撐信息。(文中斷言泛指三元組)

(感謝馮曉騁博士指正?。?/em>

[24] End-to-End quantum language models with Application to Question? Answering

作者:張鵬,牛嘉斌,蘇展,王本友,馬力群,宋大為

單位:天津大學(xué)

來(lái)自天津大學(xué)的蘇展做了一場(chǎng)極為有意思的報(bào)告,他們的工作是通過(guò)借鑒量子統(tǒng)計(jì)物理中的方法來(lái)表示語(yǔ)言模型,并用于語(yǔ)問(wèn)答任務(wù)。

語(yǔ)言建模(LM)是自然語(yǔ)言處理領(lǐng)域的基礎(chǔ)研究課題。最近(Sordoni,Nie 和 Bengio 2013)利用量子統(tǒng)計(jì)物理中的數(shù)學(xué)形式,提出了量子語(yǔ)言模型(Quantum Language Model,QLM)。具體來(lái)說(shuō)就是,QLM 借鑒了量子力學(xué)中密度矩陣的概念,將 single term 和 term dependency 的概率不確定性 encoding 到密度矩陣中,且與傳統(tǒng) n-gram 模型相比,量子語(yǔ)言模型在表示 n 階 dependency 時(shí)不會(huì)增加參數(shù)規(guī)模。

這種方法在理論上是非常重要的,因?yàn)樗鞘状斡昧孔永碚摰墓絹?lái)推廣 LM。但是其也有一些限制:1)QLM 中每個(gè)詞的表示是一個(gè) one-hot 向量,它只能編碼 local 事件,而不能考慮全局語(yǔ)義信息;2)QLM 通過(guò)密度矩陣表示文本(例如 query, document),它通過(guò)迭代求解而非解析求解,因此在端到端的設(shè)計(jì)中很難更新和優(yōu)化密度矩陣;3)QLM 中密度矩陣的表示、訓(xùn)練和匹配,這三個(gè)步驟無(wú)法共同優(yōu)化,限制了 QLM 的適用性。

針對(duì)這些問(wèn)題,這篇文章首次將詞向量作為單個(gè)詞的狀態(tài)向量,單個(gè)詞表示一個(gè)純態(tài)系統(tǒng),整個(gè)句子就可以對(duì)應(yīng)于由密度矩陣表示的混合態(tài)系統(tǒng)。這樣就可以在沒(méi)有迭代估計(jì)的情況下導(dǎo)出密度矩陣,密度矩陣表示也可以被集成到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中并通過(guò)反向傳播算法自動(dòng)更新。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

24-1,單句表示,Question 和 Answer 分別用密度矩陣表示

基于這種思想,作者提出了一種端到端的模型(即基于神經(jīng)網(wǎng)絡(luò)的類(lèi)量子語(yǔ)言模型(NNQLM)),并設(shè)計(jì)了兩種不同的體系結(jié)構(gòu)。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

24-2,框架一 由于密度矩陣是一個(gè)半正定的矩陣,其聯(lián)合表示的跡內(nèi)積可以反映密度矩陣相似度,為了將其應(yīng)用于 End-to-End 模型,將聯(lián)合表示矩陣的對(duì)角線元素和跡作為全連接層的輸入。

跡內(nèi)積 (Trace Inner Product) 可表示兩個(gè)量子系統(tǒng)的相似度。在問(wèn)答任務(wù)中,Question (Q) 和 Answer (A) 所對(duì)應(yīng)的兩個(gè)密度矩陣的乘積可作為 Q 和 A 的聯(lián)合表示,其聯(lián)合表示的跡(即跡內(nèi)積)可計(jì)算 Q 和 A 的相似度,每個(gè)對(duì)角線元素表示各個(gè)潛在語(yǔ)義子空間的相似度。

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

24-3,框架二 對(duì)密度矩陣的聯(lián)合表示進(jìn)行卷積操作,實(shí)驗(yàn)結(jié)果表明卷積可以更加充分地挖掘聯(lián)合表示中潛在語(yǔ)義子空間的相似性信息

作者將這個(gè)模型用在經(jīng)典的 QA 任務(wù)中,即答案選擇(從預(yù)選的候選答案中找出正確的答案)。實(shí)驗(yàn)結(jié)果表明,NNQLM 在 WIKI 數(shù)據(jù)集上顯著提升了 QLM 的效果,并在 TREC-QA 數(shù)據(jù)集接近了 state-of-art 的結(jié)果。

目前,量子力學(xué)和神經(jīng)網(wǎng)絡(luò)的交叉領(lǐng)域已經(jīng)衍生出量子機(jī)器學(xué)習(xí)和量子人工智能等新興研究方向,已有相關(guān)重要論文發(fā)表在 Science 等高水平期刊。該論文以語(yǔ)言模型為切入點(diǎn),對(duì)量子力學(xué)和神經(jīng)網(wǎng)絡(luò)這一交叉領(lǐng)域進(jìn)行研究,并在自然語(yǔ)言處理領(lǐng)域的問(wèn)答任務(wù)中實(shí)現(xiàn)了端到端訓(xùn)練的類(lèi)量子語(yǔ)言模型,擴(kuò)展了量子語(yǔ)言模型的理論和應(yīng)用。

(感謝蘇展指正?。?/em>

[25] EMD Metric Learning(張子昭,清華)

作者:張子昭,張宇博,趙曦濱,高躍

單位:清華大學(xué)

最后來(lái)自清華的本科生張子昭做了本次預(yù)講會(huì)的最后一個(gè)報(bào)告,報(bào)告內(nèi)容為對(duì) EMD 度量的一個(gè)優(yōu)化工作。

Earth Mover's Distance (EMD) 是 2000 年 IJCV 期刊文章《The Earth Mover's Distance as a Metric for Image Retrieval》提出的一種多維分布相似度量方法,被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)等任務(wù)當(dāng)中。所謂 EMD,是傳統(tǒng)運(yùn)輸問(wèn)題的最優(yōu)解問(wèn)題,簡(jiǎn)單來(lái)說(shuō)就是給定兩個(gè) signature(P 和 Q),把一個(gè)變成另一個(gè)所需要的最小工作量。EMD 越小,實(shí)體之間就越相似。

 AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

25-1,EMD。其中 f_ei 是 P_i(Q_i)的中心的特征,w_i 是 P_i(Q_i)的相應(yīng)的權(quán)重。d_ij 是從 P_i 到 Q_j 運(yùn)送一個(gè)供給單位的成本,f_ij 是相應(yīng)的流量

EMD 求解公式為

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

目前大多數(shù)設(shè)計(jì) EMD 的工作都集中在 EMD 的加速和應(yīng)用上,很少有工作對(duì) EMD 進(jìn)行優(yōu)化。為了解決這樣的問(wèn)題,這篇文章提出了一個(gè) EMD 度量學(xué)習(xí)的算法。

從上面的公式可以看出 ground distance matrix D 對(duì) EMD 有很大影響。所以要想優(yōu)化 EMD,那么就去優(yōu)化 D。從另一方面 D 又由相應(yīng)的度量 A 來(lái)決定,因此可以通過(guò)優(yōu)化 Ground Distance Metric A 來(lái)優(yōu)化 EMD。

 AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

25-3,EMD 度量學(xué)習(xí)框架

其方法是從訓(xùn)練數(shù)據(jù)中選擇出一個(gè)子集,對(duì)這些數(shù)據(jù)進(jìn)行采樣,得到一些三元組來(lái)減少整個(gè)方法的計(jì)算量;隨后構(gòu)建一個(gè)目標(biāo)函數(shù),通過(guò)交替優(yōu)化模型,最后得到一個(gè)穩(wěn)定的度量 A。

在實(shí)驗(yàn)部分,作者將這種方法應(yīng)用于多視角對(duì)象分類(lèi)和文檔分類(lèi)當(dāng)中。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)的 EMD 方法和最新的方法相比,他們提出的 EMD 度量學(xué)習(xí)方法具有更好的性能。此外,這種 EMD 度量學(xué)習(xí)方法也可以應(yīng)用于其他領(lǐng)域。

(感謝張子昭指正?。?/em>


?。?!NOTE?。?!

預(yù)講會(huì)已經(jīng)結(jié)束,頂會(huì)將要開(kāi)始。屆時(shí)雷鋒網(wǎng) AI 科技評(píng)論也將到現(xiàn)場(chǎng)進(jìn)行一線報(bào)道。如果你也有論文被 AAAI 錄用 ,歡迎在后臺(tái)留下你的聯(lián)系方式,我們將與您聯(lián)系,并進(jìn)行更多交流!

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知

AAAI 2018預(yù)講會(huì)在哈工大成功舉辦,25篇頂會(huì)文章講了什么(下)

分享:
相關(guān)文章
當(dāng)月熱門(mén)文章
最新文章
請(qǐng)?zhí)顚?xiě)申請(qǐng)人資料
姓名
電話
郵箱
微信號(hào)
作品鏈接
個(gè)人簡(jiǎn)介
為了您的賬戶(hù)安全,請(qǐng)驗(yàn)證郵箱
您的郵箱還未驗(yàn)證,完成可獲20積分喲!
請(qǐng)驗(yàn)證您的郵箱
完善賬號(hào)信息
您的賬號(hào)已經(jīng)綁定,現(xiàn)在您可以設(shè)置密碼以方便用郵箱登錄