第七屆全國社會(huì)媒體處理大會(huì)三項(xiàng)技術(shù)評(píng)測(cè)開始報(bào)名了

本文作者： camel

2018-04-19 18:17

導(dǎo)語：用戶畫像、人機(jī)對(duì)話、文本溯源

全國社會(huì)媒體處理大會(huì)（SMP）由中國中文信息學(xué)會(huì)社會(huì)媒體處理專委會(huì)主辦，專注于以社會(huì)媒體處理為主題的科學(xué)研究與工程開發(fā)，為傳播社會(huì)媒體處理最新的學(xué)術(shù)研究與技術(shù)成果提供廣泛的交流平臺(tái)，旨在構(gòu)建社會(huì)媒體處理領(lǐng)域的產(chǎn)學(xué)研生態(tài)圈，成為中國乃至世界社會(huì)媒體處理的風(fēng)向標(biāo)，會(huì)議將以社交網(wǎng)絡(luò)的形式改變傳統(tǒng)的學(xué)術(shù)會(huì)議交流體驗(yàn)。第七屆全國社會(huì)媒體處理大會(huì)（SMP 2018）將于8月2日至4日在哈爾濱召開。

本屆會(huì)議將并行舉辦三個(gè)技術(shù)評(píng)測(cè)競(jìng)賽單元：

用戶畫像技術(shù)評(píng)測(cè)（The Evaluation of User Profiling Technology，SMP-EUPT）
中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)（The Evaluation of Chinese Human-Computer Dialogue Technology，SMP-ECDT）
文本溯源技術(shù)評(píng)測(cè)（The Evaluation of Text Sourcing Technology，SMP-ETST）

背景簡(jiǎn)介

用戶畫像技術(shù)評(píng)測(cè)（SMP-EUPT）

隨著機(jī)器創(chuàng)作能力越來越強(qiáng)，今后社會(huì)媒體上將會(huì)產(chǎn)生越來越多的機(jī)器創(chuàng)作者自動(dòng)生產(chǎn)的內(nèi)容。有效識(shí)別出哪些是人類作者生產(chǎn)的內(nèi)容，哪些是機(jī)器作者生產(chǎn)的內(nèi)容，對(duì)于媒體內(nèi)容的審核、分發(fā)、推薦等，具有十分重要的意義。

本屆用戶畫像技術(shù)評(píng)測(cè)聚焦于媒體內(nèi)容創(chuàng)作者畫像問題，由北京字節(jié)跳動(dòng)科技有限公司（今日頭條）提供豐富的媒體內(nèi)容數(shù)據(jù)集，進(jìn)行作者身份的自動(dòng)識(shí)別。

中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)（SMP-ECDT）

人機(jī)對(duì)話技術(shù)近年來受到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。學(xué)術(shù)上，人機(jī)對(duì)話是人機(jī)交互最自然的方式之一，其發(fā)展影響并推動(dòng)著語音識(shí)別與合成、自然語言理解、對(duì)話管理以及自然語言生成等研究的進(jìn)展；產(chǎn)業(yè)上，眾多產(chǎn)業(yè)界巨頭相繼推出了人機(jī)對(duì)話技術(shù)相關(guān)產(chǎn)品，如個(gè)人事務(wù)助理、虛擬情感陪護(hù)機(jī)器人、娛樂型聊天機(jī)器人等等，并將人機(jī)對(duì)話技術(shù)作為其公司的重點(diǎn)研發(fā)方向。

本屆中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)將聚焦于用戶意圖的識(shí)別和響應(yīng)問題，以科大訊飛股份有限公司提供的數(shù)據(jù)集為基礎(chǔ)，分別開展用戶意圖領(lǐng)域分類和特定領(lǐng)域任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè)。

文本溯源技術(shù)評(píng)測(cè)（SMP-ETST）

文本溯源的目標(biāo)是判斷一個(gè)文本的內(nèi)容是否復(fù)制或改編于另外一個(gè)或者多個(gè)文件。文本溯源技術(shù)在學(xué)術(shù)誠信檢測(cè)、搜索引擎優(yōu)化等領(lǐng)域有廣泛應(yīng)用。

本屆文本溯源技術(shù)評(píng)測(cè)以科研立項(xiàng)或成果創(chuàng)新型審查為應(yīng)用背景，以著名的學(xué)術(shù)搜索系統(tǒng) AMiner 提供的大量中文論文摘要數(shù)據(jù)為基礎(chǔ)，進(jìn)行句子溯源技術(shù)評(píng)測(cè)。

任務(wù)描述

評(píng)測(cè)單元	任務(wù)描述
用戶畫像	給定一個(gè)由若干媒體內(nèi)容文檔構(gòu)成的數(shù)據(jù)集，參賽隊(duì)伍采用適當(dāng)?shù)乃惴ǎ瑢?duì)每篇文檔的作者進(jìn)行身份識(shí)別，區(qū)分出該文檔屬于人類寫作、機(jī)器寫作、機(jī)器翻譯和機(jī)器自動(dòng)摘要中的哪一類。
中文人機(jī)對(duì)話	任務(wù) 1：用戶意圖領(lǐng)域分類在人機(jī)對(duì)話系統(tǒng)的應(yīng)用過程中，用戶可能會(huì)有多種意圖，相應(yīng)地會(huì)觸發(fā)人機(jī)對(duì)話系統(tǒng)中的多個(gè)領(lǐng)域（domain），包括任務(wù)型垂直領(lǐng)域（如查詢機(jī)票、酒店、公交車等）、知識(shí)型問答以及閑聊等。本任務(wù)的目標(biāo)就是正確地將用戶的輸入分類到正取的領(lǐng)域（domain）中。任務(wù) 2：特定域任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè) 針對(duì)特定域的任務(wù)型人機(jī)對(duì)話系統(tǒng)，人工實(shí)時(shí)在線對(duì)話交互及評(píng)價(jià)能夠反映系統(tǒng)對(duì)于用戶意圖響應(yīng)的性能以及用戶真實(shí)的滿意度。本任務(wù)的目標(biāo)是面向特定領(lǐng)域的任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè)。
文本溯源	本次文本溯源技術(shù)評(píng)測(cè)的任務(wù)是句子級(jí)的檢測(cè)，即給定一批待查句子和一個(gè)源數(shù)據(jù)集，判斷待查句子是否改編自源數(shù)據(jù)集中的句子，如果是則找出相應(yīng)的源句子。句子改編的范疇包括但不限于：微修改、增加、部分刪簡(jiǎn)、對(duì)文字表述進(jìn)行概括、改變?cè)械呐帕许樞?、關(guān)鍵詞替換等。

數(shù)據(jù)集說明

用戶畫像技術(shù)評(píng)測(cè)數(shù)據(jù)集由今日頭條提供，中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)數(shù)據(jù)集由科大訊飛提供，文本溯源技術(shù)評(píng)測(cè)數(shù)據(jù)集由清華大學(xué) AMiner 系統(tǒng)提供。所有數(shù)據(jù)集僅限于本次技術(shù)評(píng)測(cè)使用，未經(jīng)許可不能用于任何其他目的和任何地方，不得匯編入其他數(shù)據(jù)集或數(shù)據(jù)庫。如需將某數(shù)據(jù)集用于其他課題研究及發(fā)表論文，需與評(píng)測(cè)主辦方聯(lián)系取得許可后方可使用。
數(shù)據(jù)集的具體內(nèi)容、范圍、規(guī)模及格式以最終發(fā)布的真實(shí)數(shù)據(jù)集為準(zhǔn)。
訓(xùn)練集用于模型的學(xué)習(xí)，驗(yàn)證集用于在線實(shí)時(shí)評(píng)估算法效果，評(píng)測(cè)集用于最終的效果評(píng)測(cè)。其中驗(yàn)證集和評(píng)測(cè)集的標(biāo)簽信息不公開發(fā)布，用于組委會(huì)進(jìn)行在線實(shí)時(shí)評(píng)測(cè)和最終評(píng)測(cè)。

重要日期

用戶畫像

4 月 15 日：發(fā)布評(píng)測(cè)方案，開始報(bào)名
5 月 05 日：發(fā)布訓(xùn)練集
6 月 01 日：發(fā)布驗(yàn)證集，開始提交中間結(jié)果并發(fā)布周排行榜
6 月 30 日：停止提交驗(yàn)證集中間結(jié)果
7 月 01 日：發(fā)布評(píng)測(cè)集，提交最終評(píng)測(cè)結(jié)果（1 天之內(nèi)完成）
8 月 04 日：技術(shù)評(píng)測(cè)論壇（揭曉獲獎(jiǎng)名單+頒獎(jiǎng)+技術(shù)報(bào)告）

中文人機(jī)對(duì)話

4 月 01 日：開始預(yù)報(bào)名
4 月 11 日：開始正式報(bào)名
5 月 01 日：發(fā)布訓(xùn)練及開發(fā)集
5 月 02 日：開始系統(tǒng)搭建及調(diào)整
7 月 13 日：提交任務(wù) 1 最終評(píng)測(cè)結(jié)果（1 天之內(nèi)完成）
7 月 14 日：提交任務(wù) 2 最終評(píng)測(cè)結(jié)果（3 天之內(nèi)完成）
8 月 04 日：技術(shù)評(píng)測(cè)論壇（揭曉獲獎(jiǎng)名單+頒獎(jiǎng)+技術(shù)報(bào)告）

文本溯源

5 月 03 日：發(fā)布評(píng)測(cè)方案，開始報(bào)名
5 月 15 日：發(fā)布訓(xùn)練集
6 月 01 日：發(fā)布驗(yàn)證集，開始提交驗(yàn)證集中間結(jié)果
6 月 30 日：停止提交驗(yàn)證集中間結(jié)果
7 月 01 日：發(fā)布評(píng)測(cè)集，提交最終評(píng)測(cè)結(jié)果（1 天之內(nèi)完成）
8 月 04 日：技術(shù)評(píng)測(cè)論壇（揭曉獲獎(jiǎng)名單+頒獎(jiǎng)+技術(shù)報(bào)告）

獎(jiǎng)勵(lì)

評(píng)測(cè)單元	獎(jiǎng)勵(lì)
用戶畫像	A. 獎(jiǎng)金一等獎(jiǎng) 1 名：10000 元二等獎(jiǎng) 2 名：每名 5000 元三等獎(jiǎng) 3 名：每名 3000 元 B. 獎(jiǎng)勵(lì) 獲獎(jiǎng)?wù)呖色@得直接面試今日頭條 AI Lab 的機(jī)會(huì) 每周排行榜的冠軍獲得者簡(jiǎn)歷可直通今日頭條 HR
中文人機(jī)對(duì)話	A. 任務(wù) 1 第 1 名：6000 元第 2 名：4000 元第 3 名：2000 元 B. 任務(wù) 2 第 1 名：10000 元第 2 名：8000 元第 3 名：6000 元
文本溯源	一等獎(jiǎng) 1 名：20000 元二等獎(jiǎng) 2 名：每名 10000 元三等獎(jiǎng) 3 名：每名 4000 元