雷鋒網(wǎng)AI科技評論按：以 Facebook、Twitter、微信和微博為代表的大型社交網(wǎng)絡(luò)的快速發(fā)展，產(chǎn)生了海量體現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)。如何用合理的方式表示這些數(shù)據(jù)是網(wǎng)絡(luò)挖掘的關(guān)鍵問題，本文探討的就是網(wǎng)絡(luò)的表示學(xué)習(xí)問題。

在近期雷鋒網(wǎng) GAIR 大講堂舉辦的一期關(guān)于網(wǎng)絡(luò)表示學(xué)習(xí)的直播中，來自浙江大學(xué)本科三年級的馮瑞同學(xué)講解了關(guān)于網(wǎng)絡(luò)表示學(xué)習(xí)的相關(guān)知識，以及他最新入選 AAAI 2018 的一篇論文的主要內(nèi)容。本文根據(jù)馮瑞同學(xué)的直播分享整理記錄，有刪減，推薦大家觀看 GAIR 大講堂提供的視頻回放。

馮瑞，浙江大學(xué)本科三年級，ZJU DCD 實驗室實習(xí)。AAAI 2018 入選論文一作。

分享主題：網(wǎng)絡(luò)的學(xué)習(xí)表示

分享提綱：

• 網(wǎng)絡(luò)的表示學(xué)習(xí)問題和經(jīng)典算法介紹

• 歐式空間中保持無標(biāo)度特性的可能性

• 針對無標(biāo)度網(wǎng)絡(luò)表示學(xué)習(xí)的優(yōu)化策略

• 可保持時序信息的網(wǎng)絡(luò)表示學(xué)習(xí)模型

社交網(wǎng)絡(luò)中的表示學(xué)習(xí)

如何用合理的方式表示數(shù)據(jù)是網(wǎng)絡(luò)挖掘的關(guān)鍵問題，表示學(xué)習(xí)的目的是為網(wǎng)絡(luò)中的每一個節(jié)點分配一個某個線性空間中（比如歐式空間）的向量，使得這些向量能夠保持原來網(wǎng)絡(luò)的結(jié)構(gòu)信息。接下來的分享內(nèi)容討論表示學(xué)習(xí)的諸多問題，比如在歐式空間中的無標(biāo)度網(wǎng)絡(luò)的表示學(xué)習(xí)，討論是否保持網(wǎng)絡(luò)的無標(biāo)度特性，并對此優(yōu)化以提高向量的表示能力。我們同時還討論如何處理網(wǎng)絡(luò)時序序列，使得表示向量能夠保持時序信息。

什么是圖嵌入

圖嵌入是給圖中的點找到一個映射，給每一個點分配一個向量表示。

圖嵌入的應(yīng)用

網(wǎng)絡(luò)挖掘里經(jīng)常會用到這項技術(shù)進行邊的預(yù)測，節(jié)點的聚類，節(jié)點的分類。

關(guān)于社交網(wǎng)絡(luò)的表示學(xué)習(xí)

社交網(wǎng)絡(luò)最主要的特性是它是一個動態(tài)網(wǎng)絡(luò)。社交網(wǎng)絡(luò)是一個不斷演進的過程，或者稱為網(wǎng)絡(luò)的時間序列。如果只看某一個時間的靜態(tài)網(wǎng)絡(luò)是不能反映全部的網(wǎng)絡(luò)信息的。

接下來介紹這個模型就是解決這個問題，怎么把持續(xù)的信息加入到圖嵌入中。它能反映用戶之間的交互，信息傳遞的過程，用戶之間的關(guān)系等特征。

復(fù)雜網(wǎng)絡(luò)的另一個特征是它是一個無標(biāo)度（scale-free)網(wǎng)絡(luò)。關(guān)于無標(biāo)度網(wǎng)絡(luò)的介紹可以觀看視頻。

第一個模型是Dynamic Network embedding。下面是A和B的拓?fù)涮卣鲌D。從圖中，連接A的幾個節(jié)點，相互之間也有了連接，可以看出A的影響力比B大。

上圖中的演變過程是閉三角形過程。開三角形演變?yōu)殚]三角形取決于K的影響力。

同時有多個開三角形演變?yōu)殚]三角形的概率如何計算。

模型訓(xùn)練過程

關(guān)于應(yīng)用

分別在移動網(wǎng)絡(luò)，學(xué)術(shù)網(wǎng)絡(luò)，服務(wù)器網(wǎng)絡(luò)上進行了應(yīng)用。在移動網(wǎng)絡(luò)上判斷是否電信欺詐，在網(wǎng)貸網(wǎng)絡(luò)上判斷用戶是否還錢，在服務(wù)器網(wǎng)路上判斷網(wǎng)絡(luò)是否會崩潰。

網(wǎng)絡(luò)重建和邊預(yù)測

網(wǎng)絡(luò)重建是給兩個節(jié)點去預(yù)測兩個節(jié)點間是否有條邊。邊預(yù)測是看是否能預(yù)測在未來某個時間是否出現(xiàn)一條邊。

實驗同時，使用了四個模型對照，Deepwork，TNE(Temporal Network Embedding) ，Node2vec，Dynamic Triad模型對照。

實驗結(jié)果

下面來看無標(biāo)度網(wǎng)絡(luò)的表示學(xué)習(xí)

無標(biāo)度網(wǎng)絡(luò)的性質(zhì)

上圖中（a）表示原來網(wǎng)絡(luò)的度分布，（b）的算法高估網(wǎng)絡(luò)度比較高的點的概率，（c）是我們模型得到優(yōu)化后的效果。

理論分析（更多詳情請觀看GAIR大講堂視頻回放）

論文中的解決方案

網(wǎng)絡(luò)映射方法要保持一度和二度臨近。如果兩個節(jié)點有邊就是一度臨近。兩個節(jié)點有很多公共鄰節(jié)點成為二度臨近。一個節(jié)點如果度很高的話，需要懲罰相鄰節(jié)點的相似度。

兩個模型，第一個是DP-Spectral（degree penalty based spectral embedding ），基于光譜嵌入的度懲罰。

第二個是DP-Walker,（Degree Penalty based Random Walk）基于隨機游動的度懲罰。

基于以上，無標(biāo)度網(wǎng)絡(luò)結(jié)構(gòu)重建和邊預(yù)測都取得了很好的試驗效果。更多詳情請觀看GAIR大講堂視頻回放。

雷鋒網(wǎng)提醒大家，如果不想在第一時間錯過免費直播課程，歡迎關(guān)注【AI科技評論】公眾號。我們將會選出幸運讀者，不定期有重大驚喜和福利等待大家。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。