【重磅開(kāi)幕】SMP2018之第二屆中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)（ECDT）

本文作者： camel

2018-04-03 11:48

導(dǎo)語(yǔ)：正在進(jìn)行預(yù)報(bào)名

評(píng)測(cè)主頁(yè)及具體的評(píng)測(cè)方案，請(qǐng)參見(jiàn)SMP 2018大會(huì)主頁(yè)。

“第七屆全國(guó)社會(huì)媒體處理大會(huì)（The Seventh China National Conference on Social Media Processing）”將于2018年8月2日—4日在哈爾濱召開(kāi)。

全國(guó)社會(huì)媒體處理大會(huì)專(zhuān)注于以社會(huì)媒體處理為主題的科學(xué)研究與工程開(kāi)發(fā)，為傳播社會(huì)媒體處理最新的學(xué)術(shù)研究與技術(shù)成果提供廣泛的交流平臺(tái)，旨在構(gòu)建社會(huì)媒體處理領(lǐng)域的產(chǎn)學(xué)研生態(tài)圈，成為中國(guó)乃至世界社會(huì)媒體處理的風(fēng)向標(biāo)，會(huì)議將以社交網(wǎng)絡(luò)的形式改變傳統(tǒng)的學(xué)術(shù)會(huì)議交流體驗(yàn)。

全國(guó)社會(huì)媒體處理大會(huì)每年舉辦一次，現(xiàn)已成為社會(huì)媒體處理的重要學(xué)術(shù)活動(dòng)。第七屆全國(guó)社會(huì)媒體處理大會(huì)（SMP 2018）由中國(guó)中文信息學(xué)會(huì)社會(huì)媒體處理專(zhuān)委會(huì)主辦，哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心承辦。

本屆SMP會(huì)議計(jì)劃舉辦第二屆中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)（ECDT）。近年來(lái)，人機(jī)對(duì)話技術(shù)受到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。學(xué)術(shù)上，人機(jī)對(duì)話是人機(jī)交互最自然的方式之一，其發(fā)展影響及推動(dòng)著語(yǔ)音識(shí)別與合成、自然語(yǔ)言理解、對(duì)話管理以及自然語(yǔ)言生成等研究的進(jìn)展；產(chǎn)業(yè)上，眾多產(chǎn)業(yè)界巨頭相繼推出了人機(jī)對(duì)話技術(shù)相關(guān)產(chǎn)品，如個(gè)人事務(wù)助理、虛擬情感陪護(hù)機(jī)器人、娛樂(lè)型聊天機(jī)器人等等，并將人機(jī)對(duì)話技術(shù)作為其公司的重點(diǎn)研發(fā)方向。以上極大地推動(dòng)了人機(jī)對(duì)話技術(shù)在學(xué)術(shù)界和產(chǎn)業(yè)界的發(fā)展。

本屆中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)由中國(guó)中文信息學(xué)會(huì)社會(huì)媒體處理專(zhuān)委會(huì)主辦，哈爾濱工業(yè)大學(xué)、科大訊飛股份有限公司承辦，訊飛公司提供數(shù)據(jù)，華為公司提供獎(jiǎng)金。旨在促進(jìn)中文人機(jī)對(duì)話系統(tǒng)相關(guān)研究的發(fā)展，為人機(jī)對(duì)話技術(shù)相關(guān)的學(xué)術(shù)研究人員和產(chǎn)業(yè)界從業(yè)人員提供一個(gè)良好的溝通平臺(tái)。在此，評(píng)測(cè)會(huì)務(wù)組誠(chéng)邀各個(gè)單位參加本次人機(jī)對(duì)話技術(shù)評(píng)測(cè)活動(dòng)！

評(píng)測(cè)內(nèi)容

評(píng)測(cè)任務(wù)概述

本屆人機(jī)對(duì)話技術(shù)評(píng)測(cè)主要包括兩個(gè)任務(wù)，參賽者可以選擇參加任意一個(gè)任務(wù)或全部任務(wù)。

任務(wù)1：用戶意圖領(lǐng)域分類(lèi)

在人機(jī)對(duì)話系統(tǒng)的應(yīng)用過(guò)程中，用戶可能會(huì)有多種意圖，相應(yīng)地會(huì)觸發(fā)人機(jī)對(duì)話系統(tǒng)中的多個(gè)領(lǐng)域（domain），其中包括任務(wù)型垂直領(lǐng)域（如查詢機(jī)票、酒店、公交車(chē)等）、知識(shí)型問(wèn)答以及閑聊等。因而，人機(jī)對(duì)話系統(tǒng)的一個(gè)關(guān)鍵任務(wù)就是正確地將用戶的輸入分類(lèi)到相應(yīng)的領(lǐng)域（domain）中，從而返回正確的回復(fù)結(jié)果。

【用戶意圖領(lǐng)域分類(lèi)示例】

1）你好啊，很高興見(jiàn)到你！ — 閑聊類(lèi)

2）我想訂一張去北京的機(jī)票。 — 任務(wù)型垂類(lèi)（訂機(jī)票）

3）我想找一家五道口附近便宜干凈的快捷酒店 — 任務(wù)型垂類(lèi)（訂酒店）

【評(píng)測(cè)說(shuō)明】

評(píng)測(cè)任務(wù)1包含閑聊和垂類(lèi)兩大類(lèi)，其中垂類(lèi)又細(xì)分為30個(gè)垂直領(lǐng)域。本次評(píng)測(cè)任務(wù)1中，僅考慮針對(duì)單輪對(duì)話用戶意圖的領(lǐng)域分類(lèi)，多輪對(duì)話整體意圖的領(lǐng)域分類(lèi)不在此次評(píng)測(cè)范圍之內(nèi)。

【評(píng)測(cè)方式】

開(kāi)放式評(píng)測(cè)：

參賽者可以開(kāi)放地獲取除主辦方提供的數(shù)據(jù)之外的訓(xùn)練及開(kāi)發(fā)數(shù)據(jù)。評(píng)測(cè)時(shí)，主辦方給定測(cè)試集，并運(yùn)行參賽系統(tǒng)，在測(cè)試集上面得出評(píng)測(cè)結(jié)果。

【評(píng)價(jià)指標(biāo)】

準(zhǔn)確率（P）、召回率（R）及F值。

任務(wù)2：特定域任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè)

針對(duì)特定域的任務(wù)型人機(jī)對(duì)話系統(tǒng)，人工實(shí)時(shí)在線對(duì)話交互及評(píng)價(jià)能夠反映系統(tǒng)對(duì)于用戶意圖響應(yīng)的性能以及用戶真實(shí)的滿意度。因此，本次評(píng)測(cè)任務(wù)2為面向特定領(lǐng)域的任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè)。

【評(píng)測(cè)說(shuō)明】

本次評(píng)測(cè)任務(wù)2的特定領(lǐng)域包括：機(jī)票類(lèi)、火車(chē)票類(lèi)、酒店類(lèi)3個(gè)垂直領(lǐng)域，系統(tǒng)通過(guò)與測(cè)試人員實(shí)時(shí)在線對(duì)話完成相應(yīng)的預(yù)定或查詢?nèi)蝿?wù)，滿足測(cè)試人員的需求。

【注】針對(duì)2018年ECDT任務(wù)二參評(píng)單位的評(píng)測(cè)情況，給出以下建議：

1.認(rèn)真考慮一句意圖存在連續(xù)的若干意圖，如"幫我預(yù)定一張從北京出發(fā)到重慶的4月18號(hào)的機(jī)票，再預(yù)定重慶到成都的火車(chē)票一張，再預(yù)定成都的向日葵酒店公寓一晚。"此類(lèi)意圖在評(píng)分過(guò)程中占有更大的分?jǐn)?shù)比例。

2.認(rèn)真考慮資源庫(kù)外的屬性、屬性值的判定情況，例如，假設(shè)資源庫(kù)中沒(méi)有的屬性WI-FI，但測(cè)試人員詢問(wèn)"有沒(méi)有wifi提供？"；假設(shè)資源庫(kù)只覆蓋未來(lái)10天的機(jī)票信息，但測(cè)試人員訂一個(gè)月以后的票。

3.測(cè)試人員在測(cè)試過(guò)程中，會(huì)根據(jù)"好的，已經(jīng)幫您預(yù)訂XXX"等類(lèi)似的字樣判斷對(duì)話結(jié)束，故建議所有參賽者在搜索返回最終結(jié)果時(shí)，都要加上明顯的標(biāo)示結(jié)束、跳轉(zhuǎn)的語(yǔ)句，幫助測(cè)試人員作出明確的判斷。

【特定域任務(wù)型人機(jī)對(duì)話示例】：其中U表示用戶，R表示對(duì)話系統(tǒng)。

任務(wù)型對(duì)話示例1：

用戶完整意圖：預(yù)定下周四（2018年4月12日）從北京去上海的上午或者中午出發(fā)，價(jià)格低于8折的便宜機(jī)票。

U：下周從北京去上海

R：請(qǐng)問(wèn)您需要訂票嗎？

U：恩，是的

R：請(qǐng)問(wèn)您要下周哪天出發(fā)呢？

U：周四吧

R：幫您預(yù)訂2018年04月12日從北京到上海的機(jī)票，請(qǐng)問(wèn)有餐飲，價(jià)格等其他的要求嗎？

U：盡量訂上午的吧，價(jià)格找便宜一點(diǎn)的

R：幫您查詢了2018年04月12日從北京到上海的機(jī)票，沒(méi)有上午出發(fā)的航班，中午12：10出發(fā)是否可以？7.3折，910元

U：也行，就訂這個(gè)吧

R：即將幫您預(yù)訂2018年04月12日從北京到上海的機(jī)票，南方航空，CZ6412 空客321（中），12：10：00出發(fā)，7.3折，910元，不可退改簽，確定要訂票嗎？

U：是的

R：已經(jīng)幫您預(yù)訂該航班機(jī)票，將跳轉(zhuǎn)至付款頁(yè)面

任務(wù)型對(duì)話示例2：

用戶完整意圖：預(yù)定明天（2018年4月10日），麗江古城區(qū)附近的一家酒店，價(jià)格不超過(guò)200元每晚。

U：我想預(yù)定麗江古城區(qū)附近的酒店

R：請(qǐng)問(wèn)您想哪天入住呢？

U：明天吧

R：請(qǐng)問(wèn)您對(duì)價(jià)格有要求嗎？

U：別太貴，每晚200元以下吧

R：2018年04月10日入住，麗江古城區(qū)附近，價(jià)格200元以下的酒店，為您找到以下結(jié)果（與用戶意圖最相關(guān)的5個(gè)酒店結(jié)果），請(qǐng)問(wèn)您想預(yù)定哪一個(gè)？

U：就這個(gè)麗江古城聯(lián)強(qiáng)酒店吧

R：好的，已經(jīng)幫您預(yù)訂麗江古城聯(lián)強(qiáng)酒店，2018年04月10日入住。

任務(wù)型對(duì)話示例3：

用戶完整意圖：查詢明天（2018年4月10日）從哈爾濱到北京的晚間軟臥火車(chē)票信息，上下鋪均可。

U：到北京的軟臥火車(chē)票還有嗎？

R：請(qǐng)問(wèn)您要從哪里出發(fā)？

U：哈爾濱

R：您要定哪天的呢？

U：明天吧

R：請(qǐng)問(wèn)您對(duì)發(fā)車(chē)時(shí)間有要求嗎？

U：晚上的，正好能睡一覺(jué)

R：請(qǐng)問(wèn)您要上鋪還是下鋪呢？

U：都行

R：您要查詢的2018年04月10日晚間出發(fā)從哈爾濱到北京的軟臥火車(chē)票信息如下（與用戶意圖最相關(guān)的5個(gè)火車(chē)票查詢結(jié)果）

任務(wù)型對(duì)話示例4：

用戶完整意圖：預(yù)定2018年4月10日從哈爾濱到北京的上午的航班或火車(chē)，價(jià)格低于500元，同時(shí)預(yù)定2018年4月10日五道口附近300-400元的快捷酒店一晚。

U：查一下明天從哈爾濱到北京的機(jī)票

R：請(qǐng)問(wèn)您要什么艙位？

U：經(jīng)濟(jì)艙

R：您要上午，下午，晚上哪個(gè)時(shí)間段出發(fā)？

U：上午吧

R：有一個(gè)上午6：25出發(fā)的南方航空CZ6421的航班，5.8折，不含稅價(jià)720，請(qǐng)問(wèn)您要預(yù)訂此航班機(jī)票嗎？

U：有點(diǎn)貴啊，不訂機(jī)票了，看看火車(chē)票吧

R：2018年4月10日從哈爾濱到北京，上午的火車(chē)車(chē)次信息如下（與用戶意圖最相關(guān)的5條火車(chē)車(chē)次信息），請(qǐng)問(wèn)您要預(yù)定哪一個(gè)車(chē)次？幾等座？

U：D26，二等座吧

R：即將幫您預(yù)定2018年4月10日從哈爾濱到北京，D26次列車(chē)二等座。

U: 好的，再幫我找找北京五道口附近的快捷酒店吧

R：請(qǐng)問(wèn)您哪天入??？住幾晚？

U：明天入住，一晚。

R：請(qǐng)問(wèn)您對(duì)房間價(jià)格有要求嗎？

U：別超過(guò)400元一晚

R：以下是2018年4月10日入住，五道口附近的快捷酒店信息（與用戶意圖最相關(guān)的5個(gè)快捷酒店信息），請(qǐng)問(wèn)您想預(yù)定哪一個(gè)？

U：第一個(gè)吧

R：即將預(yù)定2018年4月10日入住一晚，五道口附近，漢庭酒店（清華東門(mén)店）標(biāo)準(zhǔn)間一間，每晚377元，請(qǐng)問(wèn)您確認(rèn)要預(yù)定嗎？

U：確認(rèn)

R：已經(jīng)幫您預(yù)訂該酒店，將跳轉(zhuǎn)至付款頁(yè)面

【評(píng)測(cè)方式】

任務(wù)2采用人工評(píng)價(jià)的方式，對(duì)于每個(gè)參賽系統(tǒng)，主辦方提供給測(cè)試人員完整的用戶意圖描述，對(duì)于任意相同的用戶意圖描述，對(duì)不同的參賽系統(tǒng)均給定相同的首輪對(duì)話輸入，啟動(dòng)在線評(píng)測(cè)，評(píng)測(cè)過(guò)程中評(píng)測(cè)員根據(jù)給定的完整意圖描述與參賽系統(tǒng)進(jìn)行交互，直至對(duì)話結(jié)束。對(duì)話結(jié)束的條件為系統(tǒng)返回所有任務(wù)（單任務(wù)或多任務(wù)）的執(zhí)行結(jié)果（出于對(duì)模擬終端設(shè)備顯示區(qū)域大小限制的考慮，單任務(wù)的多條結(jié)果只顯示相關(guān)性最高的前5條），或超過(guò)50個(gè)對(duì)話輪數(shù)之后仍未返回測(cè)試員所需的結(jié)果，測(cè)試員手動(dòng)結(jié)束對(duì)話測(cè)試。

【數(shù)據(jù)】

1）完整的用戶意圖描述示例

2） Json格式的靜態(tài)航班、酒店、火車(chē)票數(shù)據(jù)資源

【評(píng)價(jià)指標(biāo)】

1）任務(wù)完成率

2）用戶滿意度

3）回復(fù)語(yǔ)言的自然度

4）對(duì)話輪數(shù)

5）靜態(tài)的數(shù)據(jù)庫(kù)資源未覆蓋情況的引導(dǎo)能力

舉例來(lái)說(shuō)，如果當(dāng)前只支持查詢十日航班，那么當(dāng)查到十日之外信息時(shí)，是否能友好引導(dǎo)。

【注】：除"對(duì)話輪數(shù)"之外，以上指標(biāo)均由人工給出評(píng)分。

獎(jiǎng)項(xiàng)設(shè)置

本次評(píng)測(cè)對(duì)于上述兩個(gè)任務(wù)分別比賽及排名，并根據(jù)每個(gè)任務(wù)的最終評(píng)測(cè)結(jié)果分別取前三名進(jìn)行獎(jiǎng)勵(lì)，總獎(jiǎng)勵(lì)金額5萬(wàn)元人民幣。

任務(wù)1： 第一名8000元，第二名5000元，第三名4000元。

任務(wù)2： 第一名15000元，第二名10000元，第三名8000元。

【注】由SMP2018主辦方中國(guó)中文信息學(xué)會(huì)社會(huì)媒體處理專(zhuān)業(yè)委員會(huì)（CIPS-SMP）為參評(píng)隊(duì)伍提供成績(jī)證書(shū)認(rèn)證。

重要時(shí)間點(diǎn)

以下所有時(shí)間點(diǎn)為北京時(shí)間（GMT+8）11:59 PM。

（除報(bào)名時(shí)間以外，其他時(shí)間點(diǎn)可能會(huì)有變動(dòng)，請(qǐng)注冊(cè)參加者密切關(guān)注評(píng)測(cè)網(wǎng)站以及郵件通知。）

事件	時(shí)間
預(yù)報(bào)名	2018年4月1日-4月10日
正式報(bào)名	2018年4月11日-4月30日
發(fā)布訓(xùn)練及開(kāi)發(fā)集	2018年5月1日
系統(tǒng)搭建及調(diào)整	2018年5月2日-7月12日
任務(wù)1系統(tǒng)提交及測(cè)試	2018年7月13日
任務(wù)2在線測(cè)試及結(jié)果評(píng)價(jià)	2018年7月14日-7月16日
技術(shù)報(bào)告撰寫(xiě)	2018年7月17日-7月31日
SMP2018大會(huì)期間召開(kāi)ECDT研討會(huì)及頒獎(jiǎng)典禮	2018年8月2日-8月4日