聯(lián)合編譯：高斐，章敏，陳楊英杰

導(dǎo)讀：KDD2016是首屈一指的跨學(xué)科會(huì)議，它聚集了數(shù)據(jù)科學(xué)，數(shù)據(jù)挖掘，知識(shí)發(fā)現(xiàn)，大規(guī)模數(shù)據(jù)分析和大數(shù)據(jù)方面的研究人員和從業(yè)人員。

論文一：在頻率域中壓縮卷積神經(jīng)網(wǎng)絡(luò)

摘要

卷積神經(jīng)網(wǎng)絡(luò)(CNN)在計(jì)算機(jī)視覺的多個(gè)研究領(lǐng)域受到越來越廣泛的應(yīng)用。由于卷積神經(jīng)網(wǎng)絡(luò)能夠通過利用數(shù)以百萬計(jì)的參數(shù)，“吸收”大量的標(biāo)記數(shù)據(jù)，這種神經(jīng)網(wǎng)絡(luò)的應(yīng)用受到普遍關(guān)注。然而，隨著模型尺寸不斷增大，對(duì)分類器的儲(chǔ)存與記憶要求也不斷提升，如此便對(duì)許多應(yīng)用，如手機(jī)及其他設(shè)備的圖像識(shí)別，語音識(shí)別功能，形成阻礙。本文將呈現(xiàn)一種新型網(wǎng)絡(luò)建構(gòu)----對(duì)頻率敏感的散列網(wǎng)（FreshNets），這種散列網(wǎng)是利用一個(gè)深度學(xué)習(xí)模型的卷積層與全面連接層之間固有存在的冗余建構(gòu)形成，能夠極大程度上節(jié)省記憶與存儲(chǔ)消耗。學(xué)習(xí)卷積濾波器的權(quán)重通常是平穩(wěn)和低頻的，基于這一重大觀察結(jié)果，我們首先將濾波器的權(quán)重轉(zhuǎn)變?yōu)閹в须x散余弦變換的頻域，使用低成本的散列函數(shù)隨機(jī)將頻率參數(shù)劃分為散列桶位。被分配為同一個(gè)散列桶位的所有參數(shù)共享一個(gè)能夠運(yùn)用標(biāo)準(zhǔn)反向傳播算法學(xué)會(huì)的單一值。為了進(jìn)一步縮減模型的尺寸，我們將少數(shù)散列桶位分配給一些高頻率組分，這些高頻率組分通常不太重要。我們?cè)诎藗€(gè)數(shù)據(jù)集中對(duì)FreshNets進(jìn)行評(píng)估，評(píng)估結(jié)果顯示，與其他幾種相關(guān)聯(lián)的基線相比，F(xiàn)reshNets具備更高的壓縮性能。

關(guān)鍵字：模型壓縮；卷積神經(jīng)網(wǎng)絡(luò)；散列

第一作者簡(jiǎn)介

Wenlin Chen

學(xué)校：圣路易斯華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程系博士

主要研究領(lǐng)域：機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘，人工智能，其中尤其對(duì)深度學(xué)習(xí)和大規(guī)模機(jī)器學(xué)習(xí)兩個(gè)領(lǐng)域感興趣

相關(guān)學(xué)術(shù)成果：

·Strategies for Training Large Vocabulary Neural Language Models（Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016. （ACL-16））

·Compressing Convolutional Neural Networks in the Frequency Domain,（Proc. ACM SIGKDD Conference, 2016. （KDD-16））

·Deep Metric Learning with Data Summarization.European Conference on Machine Learning（2016 （ECML-16））

論文鏈接：原論文下載

論文二：多重任務(wù)特征交互學(xué)習(xí)

摘要

線性模型在各種各樣的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法中均得到了廣泛應(yīng)用。這類模型的一個(gè)主要局限性在于缺乏從特征交互過程中獲取預(yù)測(cè)性信息的能力。盡管引進(jìn)高階特征交互術(shù)語能夠克服這一缺點(diǎn)，這一方法仍將在極大程度上增加模型的復(fù)雜性，并且為處理學(xué)習(xí)過程中過度擬合現(xiàn)象帶來重大挑戰(zhàn)。當(dāng)出現(xiàn)多種相互關(guān)聯(lián)的學(xué)習(xí)任務(wù)，這些任務(wù)中的特征交互通常是相互關(guān)聯(lián)的，為這種關(guān)聯(lián)關(guān)系建模對(duì)于提高這些特征交互學(xué)習(xí)的普適性起到關(guān)鍵性的作用。本文我們提出一種新型多重任務(wù)特征交互學(xué)習(xí)（MTIL）框架，以在高階特征交互過程中利用各種任務(wù)之間的聯(lián)系。具體來講，我們用張量來表示多重任務(wù)中的特征交互，利用這一張量，我們將關(guān)于任務(wù)關(guān)聯(lián)的先前知識(shí)納入不同的結(jié)構(gòu)化調(diào)整過程中。在此學(xué)習(xí)框架下，我們制定出兩種具體的方法，即共享式交互方法和嵌入式交互方法。前者認(rèn)為，所有的任務(wù)具有共同的交互模式，后者則認(rèn)為，多重任務(wù)的特征交互具有共同的子空間。我們?yōu)橹贫ǔ鲞@兩種方案提供了高效的算法。有關(guān)這類合成的且真實(shí)的數(shù)據(jù)集的廣泛實(shí)證研究證實(shí)了我們所提出的多重任務(wù)特征交互學(xué)習(xí)框架的有效性。

關(guān)鍵字：多重任務(wù)學(xué)習(xí)；特征交互；機(jī)構(gòu)化調(diào)整；張量標(biāo)準(zhǔn)

第一作者簡(jiǎn)介

Kaixiang Lin

學(xué)校：密歇根州立大學(xué)計(jì)算機(jī)科學(xué)與工程系助教

主要研究領(lǐng)域：機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘

相關(guān)學(xué)術(shù)成果：

·Online Multi-task Learning Framework for Ensemble Forecasting（ submitted to TKDE）

·Synergies that Matter: Efficient Interaction Selection via Sparse Factorization Machine 

（SDM，2016） 

·GSpartan: a Geospatio-Temporal Multi-task Learning Framework for Multi-location Prediction. （SDM，2016） 

下載鏈接：原論文下載

論文三：私人助理的語境意圖追蹤（KDD2016最佳學(xué)生論文）

摘要

在智能私人助理方面，一種新的建議形式正在興起如Apple’s Siri、Google Now和 Microsoft Cortana，它們可以“在恰當(dāng)?shù)臅r(shí)間推薦恰當(dāng)?shù)男畔ⅰ保⒎e極主動(dòng)地幫助你“把事情解決”。這種類型的推薦需要精確的跟蹤用戶當(dāng)時(shí)的意圖，即，用戶打算知道什么類型的信息（例如，天氣，股票價(jià)格），和他們打算完成什么任務(wù)（例如，演奏音樂，打車）。用戶的意圖與語境是密切相關(guān)的，其中包括外部環(huán)境，如時(shí)間和地點(diǎn)，以及用戶的內(nèi)部活動(dòng)（可以由個(gè)人助理感覺到）。語境和意圖之間表現(xiàn)出復(fù)雜的共同發(fā)生和序列相關(guān)，且語境信號(hào)也非?；祀s、稀疏，這使得建模語境—意圖之間的關(guān)系，變成了一項(xiàng)具有挑戰(zhàn)性的任務(wù)。為了解決意圖跟蹤問題我們提出了Kalman filter regularize PARAFAC2 (KP2) 實(shí)時(shí)預(yù)報(bào)模型，它可以細(xì)密的表示語境和意圖之間的結(jié)構(gòu)和共同運(yùn)動(dòng)。KP2模型在用戶上利用了協(xié)同能力，并學(xué)習(xí)每個(gè)用戶的個(gè)性化動(dòng)態(tài)系統(tǒng)，以確保高效的實(shí)時(shí)預(yù)測(cè)用戶意圖。大部分實(shí)驗(yàn)使用了來自商業(yè)個(gè)人助理的真實(shí)世界數(shù)據(jù)集，結(jié)果顯示KP2模型明顯優(yōu)于其它的所有方法，且在個(gè)人助理中部署大規(guī)模的主動(dòng)建議系統(tǒng)方面，提供了鼓舞人心的啟示。

關(guān)鍵詞：建議；實(shí)時(shí)預(yù)測(cè)；多任務(wù)學(xué)習(xí)

第一作者簡(jiǎn)介

Yu sun

學(xué)校：墨爾本大學(xué)計(jì)算與信息系統(tǒng)系

研究方向：語境行為挖掘，強(qiáng)化學(xué)習(xí)，最優(yōu)位置發(fā)現(xiàn)，空間/時(shí)間索引，算法設(shè)計(jì)/分析。

相關(guān)學(xué)術(shù)成果：

·A Contextual Collaborative Approach for App Usage Forecasting,（UbiComp, 2016）

·Reverse Nearest Neighbor Heat Maps: A Tool for Influence Exploration,（ICDE，966-977， 2016）

下載鏈接：原論文下載

論文四：展示廣告中刪失數(shù)據(jù)無偏學(xué)習(xí)的投標(biāo)意識(shí)梯度下降算法

摘要

實(shí)時(shí)競(jìng)價(jià)顯示廣告中，每個(gè)印像的廣告位是通過拍賣機(jī)制進(jìn)行出售的。對(duì)于一個(gè)廣告主來說，廣告活動(dòng)的信息是不完整的——只有在廣告主的出價(jià)贏得了相應(yīng)的廣告拍賣后，用戶的反饋（例如，點(diǎn)擊或轉(zhuǎn)換）和每個(gè)廣告印像的市場(chǎng)價(jià)格才可以被觀察到。預(yù)測(cè)，如市場(chǎng)價(jià)分布預(yù)測(cè)，點(diǎn)擊率（CTR）估計(jì)，和投標(biāo)優(yōu)化，都是運(yùn)行在預(yù)投標(biāo)階段通過全量投標(biāo)請(qǐng)求數(shù)據(jù)上的。然而，訓(xùn)練數(shù)據(jù)是在后投標(biāo)階段聚集的——對(duì)獲勝印象具有嚴(yán)重的偏向。學(xué)習(xí)這種刪失數(shù)據(jù)的普遍方法是重新加權(quán)數(shù)據(jù)實(shí)例，以糾正訓(xùn)練和預(yù)測(cè)之間的不一致性。然而，在如何獲得獨(dú)立于投標(biāo)策略的權(quán)重以及將它們整合到最終的CTR預(yù)測(cè)和投標(biāo)生成步驟的研究非常很少。本文中，我們?cè)谶@種刪失拍賣數(shù)據(jù)下制定了CTR評(píng)估和投標(biāo)優(yōu)化。通過在一個(gè)生存模型上的推導(dǎo)，我們表明，以前的投標(biāo)信息被自然地納入到投標(biāo)意識(shí)梯度下降（BGD）算法中，它控制了實(shí)現(xiàn)無偏學(xué)習(xí)的梯度的權(quán)重和方向。基于兩個(gè)大規(guī)模真實(shí)世界的數(shù)據(jù)集經(jīng)驗(yàn)學(xué)習(xí)，這種方法在我們的解法中顯示出了卓越的性能優(yōu)勢(shì)。學(xué)習(xí)框架已部署在Yahoo的實(shí)時(shí)競(jìng)價(jià)平臺(tái)，且在一個(gè)在線A/B測(cè)試上，得到了CTR預(yù)估2.97%的AUC上升，和投標(biāo)優(yōu)化任務(wù)中9.30% 的eCPC下降。

關(guān)鍵詞：無偏學(xué)習(xí)，刪失數(shù)據(jù)，實(shí)時(shí)競(jìng)價(jià)，展示廣告。

第一作者簡(jiǎn)介

Weinan Zhang（張偉楠）

學(xué)校：倫敦大學(xué)學(xué)院計(jì)算機(jī)科學(xué)系/2016年8月進(jìn)入上海交通大學(xué)任職助理教授

研究方向:機(jī)器學(xué)習(xí)，大數(shù)據(jù)挖掘及其在計(jì)算廣告和推薦系統(tǒng)中的應(yīng)用

相關(guān)學(xué)術(shù)成果：

·User Response Learning for Directly Optimizing Campaign Performance in Display Advertising（CIKM 2016）

·Learning, Prediction and Optimisation in RTB Display Advertising（CIKM，October 2016）

下載鏈接：原論文下載

論文五：推薦系統(tǒng)的協(xié)同知識(shí)庫嵌入

摘要：

在不同的推薦技術(shù)中，協(xié)同過濾通常因?yàn)橄∈璧挠脩?對(duì)象交互而性能受限。為了解決這些問題，我們通常用輔助信息來提高性能。由 于網(wǎng)絡(luò)上的信息快速收集，知識(shí)庫能提供異構(gòu)信息，包括含不同語義的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，它們可以被用到各類應(yīng)用中。在本文中，我們研究如何利用知識(shí)庫中 的異構(gòu)信息，來提高推薦系統(tǒng)的質(zhì)量。首先，通過利用知識(shí)庫，我們?cè)O(shè)計(jì)了三個(gè)組件分別從結(jié)構(gòu)內(nèi)容，文本內(nèi)容和視頻內(nèi)容中提取對(duì)象的語義表述。具體來說，我們 采用的異構(gòu)網(wǎng)絡(luò)嵌入方法，稱為TransR，考慮通過節(jié)點(diǎn)和關(guān)系的異質(zhì)性來提取對(duì)象的結(jié)構(gòu)表示。我們采用堆疊降噪自動(dòng)編碼器和堆疊卷積自動(dòng)編碼器，這是基 于嵌入技術(shù)的深度學(xué)習(xí)的兩種類型，來分別提取對(duì)象的文本表示和圖像表示。最后，我們提出了最終的集成框架，稱為協(xié)同知識(shí)庫嵌入（CKE），來聯(lián)合學(xué)習(xí)協(xié)同 過濾出的潛在表征以及知識(shí)庫中對(duì)象的語義表征。為了評(píng)估每個(gè)嵌入組件以及整個(gè)系統(tǒng)的性能，我們通過兩個(gè)不同情境的現(xiàn)實(shí)世界數(shù)據(jù)集，進(jìn)行了廣泛的實(shí)驗(yàn)。結(jié)果 表明，我們的方法優(yōu)于幾種被廣泛采用的最先進(jìn)的推薦方法。

 關(guān)鍵詞：推薦系統(tǒng)；知識(shí)庫嵌入；協(xié)同學(xué)習(xí)

第一作者簡(jiǎn)介

Fuzheng Zhang（張富崢）

機(jī)構(gòu)：微軟亞洲研究院副研究員，中國(guó)科技大學(xué)計(jì)算機(jī)系博士。

研究方向：用戶模型、推薦系統(tǒng)、深度學(xué)習(xí)、情感檢測(cè)、社交網(wǎng)絡(luò)、時(shí)空數(shù)據(jù)挖掘、普適計(jì)算、大規(guī)模系統(tǒng)。

作者信息鏈接：https://www.microsoft.com/en-us/research/people/fuzzhang/

 下載鏈接：原論文下載

論文六：魯棒性影響最大化

摘要

在本文中，對(duì)于深入研究影響力最大化，我們?cè)谶呺H影響力概率預(yù)估中提出了關(guān)于不確定性的重要問題，即在社交網(wǎng)絡(luò)中，找到可以最 大化傳播影響力的種子節(jié)點(diǎn)k的任務(wù)。我們提出的魯棒性影響力最大化的問題，就是給定輸入?yún)?shù)的不確定性，在所選種子設(shè)置和最佳種子設(shè)置的影響力傳播之間最 大化最壞情況下的比例。我們?cè)O(shè)計(jì)了一種算法，依靠方案相關(guān)邊界來解決這個(gè)問題。我們通過進(jìn)一步研究均勻采樣和自適應(yīng)采樣方法來有效減少參數(shù)不確定性，并提 高了影響力最大化任務(wù)的魯棒性。我們的實(shí)驗(yàn)結(jié)果表明，參數(shù)不確定性可能會(huì)嚴(yán)重影響影響力的最大化，并且之前的研究也表明，經(jīng)驗(yàn)影響的概率會(huì)因?yàn)閰?shù)預(yù)估不 確定性較大，而導(dǎo)致魯棒性影響最大化的性能很差?；谧赃m應(yīng)抽樣方法的信息疊加也許可以有效改善影響力最大化的魯棒性。

關(guān)鍵詞：社交網(wǎng)絡(luò)；影響最大化；魯棒性優(yōu)化；信息傳播

第一作者簡(jiǎn)介

陳衛(wèi)

學(xué)校：微軟亞洲研究院高級(jí)研究員，清華大學(xué)客座教授，中國(guó)科學(xué)院計(jì)算所客座研究員，多個(gè)國(guó)際頂級(jí)數(shù)據(jù)挖掘和數(shù)據(jù)管理會(huì)議（KDD、 WSDM、 SIGMOD、 ICDE、 WWW等）的程序委員會(huì)成員，中國(guó)計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)首批成員，《大數(shù)據(jù)》期刊編委。

研究方向：社交與信息網(wǎng)絡(luò)算法和數(shù)據(jù)挖掘、網(wǎng)絡(luò)博弈論和經(jīng)濟(jì)學(xué)、在線學(xué)習(xí)等。

近幾年在社會(huì)影響力最大化方面的一系列開創(chuàng)性研究成果：在KDD、 ICDM、SDM、 WSDM、 ICWSM、 AAAI、 VLDB等頂級(jí)數(shù)據(jù)挖掘、人工智能和數(shù)據(jù)庫學(xué)術(shù)會(huì)議上發(fā)表后得到良好反響，并引發(fā)這一方向眾多的后續(xù)工作。最早發(fā)表的KDD’ 2009論文被引用次數(shù)排同會(huì)議所有論文第二位，而第二篇KDD’ 2010論文被引用次數(shù)排同會(huì)議所有論文第一位。 2013年與另外兩位合作者合寫了一部關(guān)于影響力傳播和最大化的專著（Information and Influence Propagation in Social Networks, Morgan& Claypool, 2013），系統(tǒng)總結(jié)了這方面的研究成果和最新發(fā)展。另外，在與社會(huì)和信息網(wǎng)絡(luò)相關(guān)的方向，如社區(qū)檢測(cè)、網(wǎng)絡(luò)中心化度量排序、網(wǎng)絡(luò)博弈、網(wǎng)絡(luò)定價(jià)、網(wǎng)絡(luò)激勵(lì)機(jī)制等方面也都做出開創(chuàng)性的工作，其中將博弈論引入網(wǎng)絡(luò)社區(qū)檢測(cè)的論文獲得了2010年歐洲機(jī)器學(xué)習(xí)及數(shù)據(jù)挖掘會(huì)議最佳學(xué)生論文獎(jiǎng)。

 下載鏈接：原論文下載

via：KDD2016 accepted-papers

PS : 本文由雷鋒網(wǎng)獨(dú)家編譯，未經(jīng)許可拒絕轉(zhuǎn)載！

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。