雷鋒網(wǎng) AI 科技評(píng)論按，表示實(shí)體之間關(guān)系的關(guān)系數(shù)據(jù)在網(wǎng)絡(luò)（如在線社交網(wǎng)絡(luò)）和物理世界（如蛋白質(zhì)交互網(wǎng)絡(luò)）中隨處可見。這些數(shù)據(jù)可以表示為一個(gè)帶有節(jié)點(diǎn)（如用戶、蛋白質(zhì)）和連接它們的邊（如社交網(wǎng)絡(luò)中的朋友關(guān)系、蛋白質(zhì)之間的相互作用）的圖。

不久前，谷歌 AI 發(fā)布了一篇博文，介紹了他們?cè)趫D embedding 上面的兩篇論文成果。其中，其中一篇論文解決了如何更好地描述具有重疊區(qū)域的網(wǎng)絡(luò)，第二篇論文解決了圖 embedding 中超參數(shù)調(diào)整的基本問題。雷鋒網(wǎng) AI 科技評(píng)論將他們的博文編譯如下。

考慮到圖的廣泛流行，圖分析在機(jī)器學(xué)習(xí)中起著基礎(chǔ)性的作用，在集群、關(guān)系預(yù)測(cè)、隱私和其他方面都有應(yīng)用。要將機(jī)器學(xué)習(xí)方法應(yīng)用于圖（例如，預(yù)測(cè)新的友誼，或發(fā)現(xiàn)未知的蛋白質(zhì)相互作用），需要學(xué)習(xí)一種可用于 ML 算法的圖形表示。

然而，圖本質(zhì)上是由離散部分（如節(jié)點(diǎn)和邊）組成的組合結(jié)構(gòu)，而許多常見的 ML 方法（如神經(jīng)網(wǎng)絡(luò)）更傾向于連續(xù)結(jié)構(gòu)，特別是向量表示。矢量表示在神經(jīng)網(wǎng)絡(luò)中特別重要，因?yàn)樗鼈兛梢灾苯佑米鬏斎雽印榱私鉀Q在 ML 中使用離散圖表示困難的問題，圖嵌入方法為圖學(xué)習(xí)一個(gè)連續(xù)的向量空間，將圖中的每個(gè)節(jié)點(diǎn)或邊分配給向量空間中的特定位置。在這一領(lǐng)域，一種流行的方法是基于隨機(jī)移走的表示學(xué)習(xí)，正如在 DeepWalk 中引入的一樣。

左圖：代表社交網(wǎng)絡(luò)的著名 Karate 圖表。右圖：使用 DeepWalk 在圖中連續(xù)嵌入節(jié)點(diǎn)的空間。

在這里，我們展示了最近兩篇關(guān)于圖 embedding 的論文的結(jié)果：The web conference 2019 會(huì)議論文「Is a Single Embedding Enough? Learning Node Representations that Capture Multiple Social Contexts」和 Neurips' 2018 論文「Watch Your Step: Learning Node Embeddings via Graph Attention」。第一篇文章介紹了一種新穎的技術(shù)來(lái)學(xué)習(xí)每個(gè)節(jié)點(diǎn)的多個(gè)嵌入，從而能夠更好地描述具有重疊區(qū)域的網(wǎng)絡(luò)。第二個(gè)問題解決了圖嵌入中超參數(shù)調(diào)整的基本問題，使人們可以輕松地部署圖嵌入方法。我們也很高興地宣布，我們已經(jīng)在 Google Research Github 圖嵌入庫(kù)中發(fā)布了這兩篇論文的代碼。

學(xué)習(xí)節(jié)點(diǎn)表示，捕獲多個(gè)社交背景

在幾乎所有情況下，標(biāo)準(zhǔn)圖嵌入方法的關(guān)鍵假設(shè)是必須為每個(gè)節(jié)點(diǎn)學(xué)習(xí)單個(gè)嵌入。因此，嵌入方法的作用可以認(rèn)為是識(shí)別在圖的幾何圖形中，表征每個(gè)節(jié)點(diǎn)的單個(gè)角色或位置。然而，最近的研究發(fā)現(xiàn)，真實(shí)社區(qū)中的節(jié)點(diǎn)屬于多個(gè)重疊的區(qū)域，扮演著多個(gè)角色。想想你的社交網(wǎng)絡(luò)，在那里你既參與到你的家庭社區(qū)中，又參與到你的工作社區(qū)中。這引發(fā)了以下問題：是否有可能開發(fā)將節(jié)點(diǎn)嵌入多個(gè)向量中，表示它們參與重疊的區(qū)域的方法？

在我們的 The web conference 2019 論文中，我們開發(fā)了 Splitter，這是一種無(wú)監(jiān)督的嵌入方法，允許圖中的節(jié)點(diǎn)具有多個(gè)嵌入，以便更好地表示它們?cè)诙鄠€(gè)社區(qū)中的參與。我們的方法是基于最近在基于 ego-network 分析的重疊聚類中的創(chuàng)新，特別是使用了人物圖概念。該方法獲取一個(gè)圖 G，并創(chuàng)建一個(gè)新的圖 P（稱為角色圖），其中 G 中的每個(gè)節(jié)點(diǎn)都由一系列稱為角色節(jié)點(diǎn)的副本表示。節(jié)點(diǎn)的每個(gè)角色表示它所屬的本地社區(qū)中節(jié)點(diǎn)的實(shí)例。對(duì)于圖中的每個(gè)節(jié)點(diǎn) U，我們分析節(jié)點(diǎn)的 ego-network（即連接節(jié)點(diǎn)與其鄰居的圖，在本例中是 A、B、C、D），以發(fā)現(xiàn)節(jié)點(diǎn)所屬的本地社區(qū)。例如，在下圖中，節(jié)點(diǎn) U 屬于兩個(gè)社區(qū)：集群 1（與 A 和 B 一起，表示 U 的家人）和集群 2（與 C 和 D 一起，表示 U 的同事）。

節(jié)點(diǎn) U 的 ego-net

然后，我們使用這些信息將節(jié)點(diǎn) U「分割」為兩個(gè)角色 U1（家庭角色）和 U2（工作角色）。這將兩個(gè)社區(qū)分離開來(lái)，使它們不再重疊。

ego-splitting 將兩個(gè)角色中的 U 節(jié)點(diǎn)分離

該技術(shù)已被用于改善圖形嵌入方法中的最新結(jié)果。這種改進(jìn)的關(guān)鍵原因是該方法能夠消除社交網(wǎng)絡(luò)和其他現(xiàn)實(shí)世界的圖中高度重疊的社區(qū)的歧義。我們進(jìn)一步通過對(duì)作者所屬的重疊研究群體（如機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘）的合作關(guān)系圖的深入分析來(lái)驗(yàn)證這一結(jié)果。

左上角：具有高度重疊社區(qū)的典型圖。右上角：使用 node2vec 在左側(cè) embedding 圖的傳統(tǒng)方法。左下角：上圖中的角色圖。右下角：角色圖的拆分器 embedding。

通過圖注意力自動(dòng)調(diào)整超參數(shù)

圖 embedding 方法在各種基于 ML 的應(yīng)用程序上表現(xiàn)出了突出的性能，但它們有許多必須手動(dòng)設(shè)置的超參數(shù)。例如，在學(xué)習(xí) embedding 時(shí)，附近的節(jié)點(diǎn)比遠(yuǎn)處的節(jié)點(diǎn)更重要嗎？即使專家可以微調(diào)這些超參數(shù)，但他們必須對(duì)每個(gè)圖單獨(dú)進(jìn)行調(diào)整。為了避免這種手工操作，在第二篇論文中，我們提出了一種自動(dòng)學(xué)習(xí)最優(yōu)超參數(shù)的方法。

具體來(lái)說(shuō)，許多圖 embedding 方法，如 DeepWalk 等，都采用隨機(jī)移走來(lái)探索給定節(jié)點(diǎn)周圍的上下文（即直接鄰居、鄰居的鄰居等）。這樣的隨機(jī)移走可以有許多超參數(shù)，允許調(diào)整圖的局部搜索，從而調(diào)節(jié) embedding 到附近節(jié)點(diǎn)的注意力。不同的圖可能會(huì)呈現(xiàn)不同的最佳注意力模式，因此會(huì)呈現(xiàn)不同的最佳超參數(shù)（見下圖，其中我們展示了兩種不同的注意力分布）。

我們的新方法自動(dòng)進(jìn)行超參數(shù)調(diào)整，注意你的步驟，使用注意力模型來(lái)學(xué)習(xí)不同圖的上下文分布。上面顯示的是兩個(gè)關(guān)于中心節(jié)點(diǎn)（黃色）和上下文分布（紅色漸變）的示例，由模型學(xué)習(xí)得來(lái)。左邊的圖顯示了一個(gè)更分散的注意力模型，而右邊的分布顯示了一個(gè)集中在直接鄰居上的模型。

這項(xiàng)工作屬于日益壯大的 AutoML 家族，我們希望減輕優(yōu)化超參數(shù)的負(fù)擔(dān)，這是實(shí)際機(jī)器學(xué)習(xí)中的一個(gè)常見問題。許多 AutoML 方法都使用神經(jīng)結(jié)構(gòu)搜索。本文給出了一個(gè)變量，我們使用 embedding 中超參數(shù)與圖論矩陣公式之間的數(shù)學(xué)關(guān)系?！窤uto」部分對(duì)應(yīng)于通過反向傳播學(xué)習(xí)圖的超參數(shù)。

我們相信，我們的貢獻(xiàn)將進(jìn)一步推進(jìn)圖 embedding 的研究現(xiàn)狀。我們學(xué)習(xí)多節(jié)點(diǎn) embedding 的方法在豐富和深入研究的重疊社區(qū)檢測(cè)領(lǐng)域中起到了一定的作用。我們相信后一種圖 embedding 方法將為今后的研究帶來(lái)豐碩的成果。這一領(lǐng)域的一個(gè)開放性問題是使用多種 embedding 方法進(jìn)行分類。此外，我們?cè)趯W(xué)習(xí)超參數(shù)方面的貢獻(xiàn)將減少昂貴的手動(dòng)調(diào)優(yōu)工作，促進(jìn)圖 embedding 的研究。我們希望這些論文和代碼的發(fā)布將有助于推動(dòng)這些研究。

如果想要了解更多信息，請(qǐng)?jiān)L問我們的主頁(yè)！

via：https://ai.googleblog.com/2019/06/innovations-in-graph-representation.html

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。