IEEE x ATEC

IEEE x ATEC科技思享會是由專業(yè)技術(shù)學(xué)會IEEE與前沿科技探索社區(qū)ATEC聯(lián)合主辦的技術(shù)沙龍。邀請行業(yè)專家學(xué)者分享前沿探索和技術(shù)實(shí)踐，助力數(shù)字化發(fā)展。

在萬物互聯(lián)的大數(shù)據(jù)時代，數(shù)據(jù)鏈接了我們生活的方方面面。一方面，大數(shù)據(jù)極大便利了我們的工作與生活；另一方面，數(shù)據(jù)的海量化也增加了諸多隱私信息泄露的風(fēng)險與挑戰(zhàn)。本期科技思享會邀請到了四位重磅嘉賓，共同圍繞“隱私保護(hù)的前沿技術(shù)及應(yīng)用”這個主題，分別從機(jī)器學(xué)習(xí)算法、通訊協(xié)議、APP及操作系統(tǒng)等不同層面，就隱私安全風(fēng)險及技術(shù)創(chuàng)新應(yīng)用展開討論。

以下是德國CISPA亥姆霍茲信息安全中心研究員張陽的演講《量化機(jī)器學(xué)習(xí)模型的隱私風(fēng)險》。

演講嘉賓 | 張 陽

德國CISPA亥姆霍茲信息安全中心研究員

ATEC科技精英賽高級咨詢委員會專家

《量化機(jī)器學(xué)習(xí)模型的隱私風(fēng)險》

大家好，我是張陽，我來自德國亥姆霍茲信息安全中心。今天我分享的主題是《量化機(jī)器學(xué)習(xí)模型的隱私風(fēng)險》。

我們已經(jīng)進(jìn)入了機(jī)器學(xué)習(xí)的時代，機(jī)器學(xué)習(xí)的模型被應(yīng)用在諸多領(lǐng)域，包括自動駕駛車、人臉識別、家庭智能助手在內(nèi)的一系列應(yīng)用都是由機(jī)器學(xué)習(xí)來提供技術(shù)支持。

機(jī)器學(xué)習(xí)在過去20年有了長足的發(fā)展，核心原因是智能化時代每時每刻每分每秒都在產(chǎn)生大量的數(shù)據(jù)，因?yàn)閿?shù)據(jù)的質(zhì)量、數(shù)據(jù)的精細(xì)度越來越好，我們的模型表現(xiàn)也越來越好。但很多情況下，機(jī)器學(xué)習(xí)模型基于有隱私風(fēng)險的數(shù)據(jù)進(jìn)行訓(xùn)練，比如醫(yī)生用生物樣本去判斷疾病，或者更常見的例子是當(dāng)我們每天用各種各樣的軟件打字，會發(fā)現(xiàn)一段時間以后，我們打出字的下一個提示詞會越來越準(zhǔn)確。因?yàn)闄C(jī)器每天在學(xué)習(xí)你會打出什么樣的句子，它把這些數(shù)據(jù)學(xué)習(xí)了以后會反饋給模型，讓模型表現(xiàn)得更好。雖然機(jī)器學(xué)習(xí)應(yīng)用越來越強(qiáng)大，大家生活也會越來越方便。但換一個角度想，這些數(shù)據(jù)包括了很多隱私信息，如果機(jī)器學(xué)習(xí)模型訓(xùn)練好之后隱私數(shù)據(jù)泄露了，就會造成很大的風(fēng)險。

所謂量化機(jī)器學(xué)習(xí)模型隱私風(fēng)險的研究方向，就是在研究一個機(jī)器學(xué)習(xí)模型訓(xùn)練好后會不會泄露它的數(shù)據(jù)隱私。

今天的Talk會分為三個部分。我首先會分享成員推理攻擊，第二會分享數(shù)據(jù)重構(gòu)攻擊，第三個是分享鏈路竊取攻擊。其中，第二個分享是針對特殊的在線學(xué)習(xí)，第三個分享是針對于一種特殊的神經(jīng)網(wǎng)絡(luò)模型，叫圖神經(jīng)網(wǎng)絡(luò)。

 Membership Inference 

我給大家講數(shù)據(jù)成員推理攻擊之前會給大家快速回顧一下機(jī)器學(xué)習(xí)的一個簡單流程?，F(xiàn)在做機(jī)器學(xué)習(xí)比以前要簡單得多，你只需在網(wǎng)上下載一個你最愛的數(shù)據(jù)集，然后打開你喜歡用的庫，選你最喜歡的模型，再把數(shù)據(jù)集拿到模型上訓(xùn)練。模型訓(xùn)練好之后，（比如說做一個圖片分類模型）拿一張圖片放到這個模型里去，這個模型會告訴我：這個圖片有80%概率是一只熊貓，10%是一只狗，10%是一只貓，這就是很典型的機(jī)器學(xué)習(xí)流程。

所謂的成員推理攻擊（Membership Inference），就是我想知道這一張圖片是不是在原模型的訓(xùn)練集里。而從一個攻擊者的角度，你只能去用這張圖片去探測模型產(chǎn)生它的輸出，然后用這個輸出來判斷它是member還是非member。你當(dāng)然是沒有原始數(shù)據(jù)信息的，因?yàn)槿绻性紨?shù)據(jù)信息，只要輕松地做一個查表，攻擊就可以完成。

我今天分享的是我們2019年的一篇paper《ML Leaks》，我們不是第一個做成員推理攻擊的小組，第一個做的大約是2017年Cornell Attack的一個組。我給大家快速回顧一下他們的工作：我有一個Target Model，和一個Target數(shù)據(jù)集，假設(shè)本地攻擊者有一個Shadow數(shù)據(jù)集，這個數(shù)據(jù)集和Target數(shù)據(jù)集來自于同分布的。攻擊者把它的Shadow數(shù)據(jù)集分成兩部分，Training和Testing。訓(xùn)練集就訓(xùn)練一堆所謂的Shadow Models（影子模型）。這里的影子模型的影子是指Target Model的影子。如果Target Model是一個貓、狗、熊貓的三分類，那么影子模型也是貓、狗、熊貓的三分類。你也可以假設(shè)它的影子模型的結(jié)構(gòu)和Target Model也是一樣的。

如果Shadow Models訓(xùn)練好了以后，再把訓(xùn)練集和測試集全部送入Shadow Models，會產(chǎn)生訓(xùn)練集和測試集里每一個sample的output值。所有Shadow訓(xùn)練集，就是Shadow Models的成員，所有的Shadow Models的測試集，就是Shadow Models的非成員。這么做就產(chǎn)生了label的數(shù)據(jù)集，可以去訓(xùn)練攻擊模型。成員推理攻擊是一個二分類，一個sample只可以是member或非member，沒有第三種可能性。所以，所有的Shadow Models、一整套的流程、一系列的操作只是為了構(gòu)建數(shù)據(jù)集去訓(xùn)練Attack Model。這里Attack Model（攻擊模型）也是一個機(jī)器學(xué)習(xí)模型。因?yàn)槲业哪繕?biāo)還是想知道這個熊貓圖片（sample）是不是Target Model的一部分。那我把這個圖片送到Model里去，Target Model產(chǎn)生了output，我把output放入攻擊模型里去，攻擊模型就可以告訴我這是不是一個成員。

成員推理攻擊之所以可以成功，核心原因就是過擬合。所謂的過擬合就是一個Model訓(xùn)練好以后，它會對訓(xùn)練過的圖片（數(shù)據(jù)）更加自信，而對沒見過的圖片（數(shù)據(jù)）沒有那么自信。通過這個“自信”的區(qū)別，就可以區(qū)分出一個圖片是member還是非member。這個work便是Shokri et al.大約2017年做的，他們是第一個work。這個work里邊有三個假設(shè)：第一個是攻擊者本地有個數(shù)據(jù)集和原來的Model數(shù)據(jù)集是來自于同分布，這個假設(shè)當(dāng)然沒有問題，但問題是這個假設(shè)比較強(qiáng)。因?yàn)槿绻娴墓粢粋€頂級的互聯(lián)網(wǎng)公司，它背后有大量的數(shù)據(jù)訓(xùn)練Model，它的數(shù)據(jù)集質(zhì)量非常高，很難去要求一個攻擊者有一個同樣質(zhì)量、甚至同分布的數(shù)據(jù)集，這個是很難的。第二個假設(shè)、第三個假設(shè)的前提是攻擊者需要建立一堆影子模型和一堆攻擊模型。而我們要做的是怎么去放松這些假設(shè)，把它做一個輕量級的成員推理攻擊。如果我們輕量級的成員推理攻擊也可以成功且表現(xiàn)得和原來差不多，那就證明了Attack可以通過很簡單的方法進(jìn)行攻擊，而這就造成這個Attack對現(xiàn)實(shí)生活中的ML Model的威脅會相應(yīng)地變大。因?yàn)槟愕墓艨梢宰兊酶唵?，并達(dá)到同樣的效果。

通過這個思路，我們做了三個攻擊。第一個攻擊本地訓(xùn)練一個Shadow Model、訓(xùn)練一個Attack Model。

結(jié)果左邊是Attack Precision，右邊是Attack Recall。因?yàn)镸embership Influence是二分類攻擊，只可以是member或非member。綠色的柱子是我們的攻擊，就是一個Shadow Model,一個Attack Model。藍(lán)色的柱子是原來的攻擊，多個Shadow Models，多個Attack Models。你會發(fā)現(xiàn)Precision、Recall在十幾個數(shù)據(jù)集上表現(xiàn)差不多。就證明你不需要多個Shadow Models和多個Attack Models，一個就夠。這種情況下，攻擊者就省了很多的計算資源。

但這不是最核心、最要緊的假設(shè)，最要緊的假設(shè)還是Attacker在本地有一個和Target Model同分布的數(shù)據(jù)集。

那怎么去掉這個假設(shè)呢？

我們的方法是在本地找一個完全不相關(guān)的數(shù)據(jù)集，甚至模態(tài)都不相關(guān)。比如Target Model是一個image數(shù)據(jù)，我們在本地找一個自然語言數(shù)據(jù)集，它的數(shù)據(jù)形式表現(xiàn)都不一樣。Target Model可能是一個三維的矩陣或者叫Tensor（張量），而本地只是一堆字符串。本地生成自然語言處理器，只要把數(shù)據(jù)集換了，剩下的操作一點(diǎn)不變，這樣我們的攻擊可以在多種情況下成功。

首先看一下結(jié)果，同樣的，左邊是Precision，右邊是Recall。成員推理攻擊二分類，所有這兩個矩陣對角線上的點(diǎn)，就是Attack1的result，用同分布數(shù)據(jù)集去攻擊同分布數(shù)據(jù)集。所有不在對角線的點(diǎn)，是非同分布數(shù)據(jù)集去攻擊另一個數(shù)據(jù)集，即兩個不相關(guān)的數(shù)據(jù)集相互攻擊。你會發(fā)現(xiàn)多種情況下，兩個圖里顏色越深表現(xiàn)越好。總體來說，對角線表現(xiàn)當(dāng)然是比較好的，但是好多情況下非對角線也表現(xiàn)得非常好，這就意味著Transfer Attack在大部分?jǐn)?shù)據(jù)集上表現(xiàn)都會很好。

那這個攻擊為什么可以成功呢？

是因?yàn)槲覀兊墓裟Ｐ偷膇nput并不是一個圖片或一篇文章，也不是一堆自然語言的字符串。我們的input是一個sample放到Target Model里去產(chǎn)生output的最大三維。

左邊有一個圖是它的TSNE plot。我們找了兩個數(shù)據(jù)集，一個叫CIFAR-100、一個叫News 。CIFAR-100是一個圖片數(shù)據(jù)集，News是一個自然語言數(shù)據(jù)，這是他們二維的分布。他們原來的維度是三維，這個三維是他們對應(yīng)的Attack Model的input。比如說每個點(diǎn)對應(yīng)的Attack Model的最大三維的后驗(yàn)概率。M意味著member，Non-M意味著Non-member。你會發(fā)現(xiàn)， CIFAR-100的member和Non-member分得比較開，News的member和Non-member分得也比較開。而更有意思是News的member與CIFAR-100的member基本處于一個區(qū)域，同樣Non-member也處于一個區(qū)域。這就意味著如果本地的Shadow數(shù)據(jù)集，比如說CIFAR-100是圖片數(shù)據(jù)集,通過這個數(shù)據(jù)集訓(xùn)練拿到的數(shù)據(jù)，然后訓(xùn)練Attack Model，可以把CIFAR-100的member和Non-member分開。那么這條線也自然而然可以把News的member和Non-member分開。

這就是為什么我們的Transfer Attack可以完成的原因。究其原因是我們并沒有轉(zhuǎn)換數(shù)據(jù)集，只是轉(zhuǎn)換了Model和Model之間的Overfitting Behavior?；蛘邠Q句話說，都對他的member過擬合了，那就意味著它們的Overfitting Behavior是比較相似的。就是說一個Model對一個member，自信度非常高。那么另一個Model對它的member的自信度也非常高。這兩個自信度差值不大，就促成了我們的攻擊可以進(jìn)行，這是我們的第二大Attack。

我整個Talk都在講成員推理攻擊的核心就是過擬合。那么第三個Attack，我們是不是可以把它做得更簡單。因?yàn)檫^擬合完全可以只通過從Target Model產(chǎn)生output的postulate來體現(xiàn)。我們第三個Attack，不需要任何的Shadow Model，也不需要訓(xùn)練任何的Attack Model，你只需要把想確認(rèn)的圖片放入Target Model，在它最大的一維后驗(yàn)概率上設(shè)一個閾值，比如設(shè)成70%。現(xiàn)在最高的值是80%，80%高于70%。那我就認(rèn)為這是一個member。這個Attack是最簡單的，而且需要的資源是最少的。我們有一個怎么去自定義或者說怎么去尋找閾值的方式，今天時間有限就先不講了，大家可以在這個paper里找到。

我已經(jīng)介紹了三個Attack，Attack1已經(jīng)比最原始的Attack簡單。Attack2就更簡單，因?yàn)槠浼僭O(shè)更少，本地不需要它的Shadow Dataset，Target Model Dataset是同一數(shù)據(jù)集的。Attack3可能更簡單，因?yàn)樗揪筒恍枰魏蔚腟hadow數(shù)值集。這種情況下，我把三個Attack的表現(xiàn)放在一起比，Attack1和Attack2表現(xiàn)差不多（看左邊的Precision和 Recall），Attack3在Precision上似乎差一點(diǎn)，但在Recall上比較強(qiáng)。如果我們的閾值再調(diào)得好一點(diǎn)，三個Attack會表現(xiàn)差不多。

這意味著什么呢？三種攻擊表現(xiàn)差不多，一種攻擊比一種攻擊需要的資源少，就證明了成員推理攻擊在一個很簡練的情況下就可以被進(jìn)行，說明了這個攻擊對現(xiàn)實(shí)生活中產(chǎn)生的威脅會更大。

再講一個我們在CCS2021的工作。我們之前講的成員推理攻擊，包括現(xiàn)在主流的大量的成員推理攻擊，都有一個假設(shè)，即Target Model給你完整的postulate。比如說80%的熊貓，10%的狗，10%的貓。如果我們沒有那個假設(shè)(因?yàn)楹芏嗲闆r下機(jī)器學(xué)習(xí)Model，可能只給你一個比較簡單的Label),如果只給你一個Label告訴你這是一個熊貓，這種情況下還能做成員推理攻擊嗎？

過去的幾年里，我們一直認(rèn)為這是不可能的。但是去年我們發(fā)現(xiàn)，實(shí)際上這個也是可能的。在座的各位可能有好多是Trustworthy Machine Learning的專家。

大家做這個領(lǐng)域，一定聽過一個叫做對抗樣本的攻擊。對抗樣本和成員推理攻擊，是兩個完全不同的技術(shù)。對抗樣本更接近于對Model的攻擊，成員推理攻擊是隱私方面的攻擊。但對抗樣本是一個很常見的東西，就是對一個正常的、黑盒的Target Model，有一個圖片放到Target Model里去，它告訴我這個是熊貓。對抗樣本攻擊會找一個方法自動產(chǎn)生一些噪音。這些噪音加到原圖片，人眼看不出區(qū)別（下面這張圖片是加了噪音的圖片），但如果把這個加了噪音的圖片放到Target Model里去，它會告訴你這不是一只熊貓，而是一只貓。

所以，對抗樣本攻擊和成員推理攻擊是不相關(guān)的攻擊。但對抗樣本攻擊理論上可以找到信號來判斷這個sample是不是member。我們可以通過對兩個圖片（一個是member，一個non-member）加噪音，會發(fā)現(xiàn)對member加的噪音要大，對non-member加噪音小。你可以通過這個噪音的大小來判斷一個sample是不是member還是non-member。這個就是通過Label-only的方式來做成員推理攻擊。

除此之外，我的實(shí)驗(yàn)室也做了很多關(guān)于成員推理攻擊的文章。因?yàn)槌蓡T推理攻擊是現(xiàn)在機(jī)器學(xué)習(xí)隱私風(fēng)險方面的主流攻擊，甚至可能是最火的攻擊或者是唯一攻擊。別的一些攻擊并不被主流認(rèn)可，或者并沒有那么popular，成員推理攻擊反而是很重要的一個攻擊。

我們在Label-only上、在推薦系統(tǒng)上做過成員推理攻擊，發(fā)現(xiàn)效果都非常好。甚至在如自監(jiān)督學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索等方面也做得比較好。包括對于想讓GPU省資源，讓AI更加綠色的Multi-exit Networks上，我們都做了成員推理攻擊?？傮w來說，成員推理攻擊在這些Model上都可以成功，而且表現(xiàn)都不錯。唯一可能成功率不太高的就是自監(jiān)督學(xué)習(xí)?，F(xiàn)在更高級模式的ML Model，他把sample的representation學(xué)得越來越好，造成的攻擊表現(xiàn)可能沒有那么好。

 Data Reconstruction

 (In Online Learning) 

第二部分是數(shù)據(jù)重構(gòu)攻擊，這里是指在線學(xué)習(xí)的數(shù)據(jù)重構(gòu)攻擊。我剛剛說的數(shù)據(jù)是推動機(jī)器學(xué)習(xí)發(fā)展的一個很重要的因素。而數(shù)據(jù)的產(chǎn)生是一個動態(tài)過程，每時每刻每分每秒都有數(shù)據(jù)在產(chǎn)生。這就意味著再強(qiáng)大的公司訓(xùn)練了一個機(jī)器學(xué)習(xí)模型，而過了三個小時、三天或者三個禮拜后，數(shù)據(jù)、Model都已經(jīng)過時了。因?yàn)檫^去時間產(chǎn)生的新數(shù)據(jù)，Model沒有見過，它就可能判斷不準(zhǔn)。

去解決這個方案，我們需要用到在線學(xué)習(xí)方法。即我們在Model訓(xùn)練好、新的數(shù)據(jù)進(jìn)來以后，把新數(shù)據(jù)在原來Model的基礎(chǔ)上去微調(diào)一下，這個Model就有了新數(shù)據(jù)的支持了。這是一個很基本的一個online learning的過程。我們在想，這個過程會不會反而構(gòu)成一個可以被攻擊的一個平面。假設(shè)我有個Target Model，我用一張圖片去query Target Model，會產(chǎn)生output。然后晚上這個Target Model的擁有者用一些新數(shù)據(jù)更新了Model。明天早晨我用同樣的圖片去query這個已經(jīng)更新過的Model，會得到一個不同的output，因?yàn)镸odel更新了。這個很像智能手機(jī)應(yīng)用商店里軟件的update。

這種情況下，同一張圖片在一個模型的兩個不同版本會產(chǎn)生不同的output，這完全是因?yàn)楦聰?shù)據(jù)造成的。我們就想，這會不會構(gòu)成一個Attack Surface？我們可不可以利用一個同樣的圖片，同樣的sample數(shù)據(jù)在不同版本Model output的不同，去推測它用了什么數(shù)據(jù)去update這個Model。這個是我們要研究的問題，這個是我們2020年在USENIX發(fā)的文章。

我們做了一個general的Attack Pipeline，就是我有一個Target Model，然后找一個 Probing Set去探測這個Model。探測集有100張圖片或1000張圖片，探測以后會產(chǎn)生1000個output。我們假設(shè)有100張圖片update了這個Model。然后我從Attacker的角度，再用同樣的Probing Set再去探測Target Model的第二個版本,每個output都不同，因?yàn)镸odel更新過了。我們把Posterior Difference放到一個Encoder去，我們做了四個不同的Encoder（解碼器），對應(yīng)著4種不同的攻擊。今天的時間有限，我只能講最后一個攻擊，可能也最難的一個攻擊，即Multi-sample Reconstruction。我們通過把這個Posterior Difference放到編碼器，再轉(zhuǎn)換成解碼器，能不能把原來所有的Updating Set里的sample給重構(gòu)出來。

我們的核心思路和別的數(shù)據(jù)重構(gòu)不太一樣。別的數(shù)據(jù)重構(gòu)可能基于數(shù)學(xué)公式來做這個問題。而我們的思路是先學(xué)出這個Updating Set的分布。有了分布以后，我就可以不停地從分布抽取圖片出來。有了圖片以后，再做一些簡單的后期處理，比如聚類，我就會得到這個重構(gòu)的數(shù)據(jù)集。

如果要學(xué)出一個分布，你腦中想到第一個模型想必是對抗生成網(wǎng)絡(luò)（GAN），GAN就是一個學(xué)分布的模型。我們解決這個問題的方案，就是我們在原有GAN的基礎(chǔ)上提出了一個新的GAN，就相當(dāng)于在上面加了一個新的Loss Function，然后我們就有能力去學(xué)出這個Target  Model Update Set的分布。有了分布，我們再做后期處理。

我給大家快速回顧一下GAN，GAN本身有兩個神經(jīng)網(wǎng)絡(luò)構(gòu)成，一個叫生成器、一個叫判別器。生成器的input是128維的高斯噪音。這高斯噪音輸入進(jìn)去以后，Generator會把這個噪音轉(zhuǎn)換成一張圖片。判別器是一個二分類器，這個二分類器的工作是判斷這是真圖片，還是這個生成器生成的圖片。判別器的目的就是我讓所有任何generator生成圖片都被準(zhǔn)確地找出來，都能準(zhǔn)確的和真實(shí)圖片分割出來。而生成器的目的是我生成的圖片越像真的越好，讓判別器看不出來。所以這兩個機(jī)器學(xué)習(xí)模型，本身是一個對抗的過程。這就是被叫做對抗生成網(wǎng)絡(luò)的原因，他們的目標(biāo)是相悖的。他們兩個同時訓(xùn)練，互相訓(xùn)練，最后會達(dá)到一個convergence。訓(xùn)練完以后，generator就是一個很好的生成假圖片的工具。

現(xiàn)在大家所說的Deepfake（深度偽造），大部分是通過GAN產(chǎn)生的。而這個generator本身學(xué)了很好的分布性質(zhì)，實(shí)際上就是學(xué)出真正的訓(xùn)練數(shù)據(jù)集的分布，這是普通的GAN。

我們的CBM-GAN是把Probing Set在Target Model上兩個版本的Posterior Difference放到Encoder去，也把它變成128維做成Latent-vector，加上原來GAN的Latent-vector 128維，合起來256維一起作為generate的input，相當(dāng)于Model兩個update版本的Posterior Difference和generator已經(jīng)產(chǎn)生了聯(lián)系。然后我們在generate的loss基礎(chǔ)上加了一個新loss。如果不看紅框里邊的lost，只看外邊，這就是一個普通的generator的loss。D這里代表discrimination。我們加了一個新loss，這個loss叫Best match loss。我本地有一個Shadow Update Set，我要保證generator對Shadow Update Set里每一個sample都可以學(xué)出一個和它最像的。比如說100張圖片的，我要保證我的generator有能力把Shadow Update Set的每一個圖片都給盡可能地還原出來，這個是我的loss。

我們看一下實(shí)驗(yàn)結(jié)果，有200張圖片,假設(shè)這些數(shù)據(jù)是被MNIST這個經(jīng)典數(shù)據(jù)集去update其中100張圖片。用黃框標(biāo)出來都是重構(gòu)的，沒有被標(biāo)出來是原來的。你會發(fā)現(xiàn)我們學(xué)出的效果相當(dāng)不錯，而且這大約是兩三年以前的工作。當(dāng)時，GAN遠(yuǎn)沒有現(xiàn)在強(qiáng)大，如果用現(xiàn)在更高級GAN，表現(xiàn)應(yīng)該會更好。這就證明了我們從分布到重構(gòu)數(shù)據(jù)的思路應(yīng)該也可以去解決重構(gòu)數(shù)據(jù)集，這一個比較難的問題。

 Link Stealing Against GNN 

我演講的第三部分就是鏈路竊取攻擊。

圖神經(jīng)網(wǎng)絡(luò)是過去四五年機(jī)器學(xué)習(xí)領(lǐng)域新興起的一個領(lǐng)域，也是一個非?；鸬念I(lǐng)域，尤其在工業(yè)界很常用。圖神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)（左圖）不一樣。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，是假設(shè)每一個訓(xùn)練sample都是獨(dú)立的。但圖神經(jīng)網(wǎng)絡(luò)（GNN）的input是整個graph data。

每個點(diǎn)可以是張圖片也可以是社交網(wǎng)絡(luò)里的人，每個點(diǎn)都有一個自己的feature vector。它除了把每個點(diǎn)的feature vector考慮到Model的訓(xùn)練過程中以外，還把點(diǎn)與點(diǎn)之間的聯(lián)系也考慮進(jìn)去。比如工業(yè)界很常用的場景是社交網(wǎng)絡(luò)、金融交易網(wǎng)絡(luò)、交通網(wǎng)絡(luò)等。因?yàn)楹枚喙I(yè)界的數(shù)據(jù)可以自然而然組織成一張圖。

 最早、最經(jīng)典的GNN，也許可能在工業(yè)界應(yīng)用很多的Transductive Setting，就是左邊這個數(shù)據(jù)集有五個點(diǎn)，每個點(diǎn)的feature vector我都知道，唯一我不知道的是這個藍(lán)色點(diǎn)和紅色點(diǎn)的label是熊貓、貓、還是狗。所謂的Transductive Setting就是說我的訓(xùn)練過程中把整個圖全部放進(jìn)去了。因?yàn)槲抑缊D之間的關(guān)系,也知道每個點(diǎn)的feature，我只是不知道那兩個點(diǎn)的label。我把這個全圖信息放進(jìn)去訓(xùn)練一個Model，訓(xùn)練完以后，我的目標(biāo)還是想知道這個藍(lán)色點(diǎn)和紅色點(diǎn)的label是什么。那我query這個Model的時候，我只需要把這個藍(lán)色點(diǎn)或者紅色點(diǎn)的ID給這個Model就可以。給一個藍(lán)色的ID，不用給feature（因?yàn)閒eature在訓(xùn)練的過程中見過），GNN可以寫一個很簡單的查表語句，就可以知道這個藍(lán)色點(diǎn)指的是哪個點(diǎn)，它會給一個output。如果給一個紅色點(diǎn)，我就知道另一個output，這個是Transductive Setting的GNN。我們這里研究的問題是在Transductive GNN上有沒有隱私泄露風(fēng)險。因?yàn)镚NN之所以比別的Model強(qiáng)大，是因?yàn)镚NN用了圖的信息。那么通過GNN去query它的過程，能不能泄露圖的信息。

這是我們在USENIX2021的文章，也是這個領(lǐng)域第一篇文章。我把攻擊考慮得完整一點(diǎn)，包括Node Feature、Partial Graph、Shadow Dataset，每一個信息可以有也可以沒有。但不同情況下，組合起來就有8種不同的攻擊。

時間關(guān)系，我介紹兩種最簡單的Attack。第一種Attack是最弱的，Node Feature、Partial Graph、Shadow Dataset這些信息都沒有。它只能做的是有一個點(diǎn)探測Model產(chǎn)生Posterior、另一個點(diǎn)也探測Model產(chǎn)生Posterior。通過2個Posterior判斷這兩個點(diǎn)是不是鏈在一起的，這就是鏈路竊取攻擊。實(shí)際上這個Attack也很簡單，我們假設(shè)這兩個點(diǎn)之間在原圖里邊有一條邊，那么它們的Posterior應(yīng)該更相近，反之亦然。原因是社交網(wǎng)絡(luò)里很常見的SocialHomophily，兩個點(diǎn)在很多相似的Feature環(huán)境下更容易被鏈接在一起。所以我們把兩個點(diǎn)產(chǎn)生的Posterior Difference算出一個值。如果相似度很高，那么這兩個點(diǎn)之間就有一條邊連著，否則它兩個點(diǎn)之間就沒有一條邊連著。

Attack3是內(nèi)容攻擊，我知道原圖里一些存在的邊，但是并不包括這藍(lán)紅兩點(diǎn)的邊。那Attack3和原來的Attack0是非常相似的。唯一的區(qū)別是我現(xiàn)在有一些ground truth label可以給我做訓(xùn)練了，就是我可以用與Attack0一樣的Feature，Attack Model可以訓(xùn)練一個分類器來做攻擊，兩個點(diǎn)之間有沒有連接。

我們做了8種不同的攻擊，Attack7知道的信息是最多的，Attack0知道得最少。Attack知道的信息越多越好。這三種不同的信息里，知道原圖的部分邊是最強(qiáng)的信息，而有一個不同分布的Shadow Dataset是最沒有用的信息，對攻擊加成不大。更重要一點(diǎn)是我們GNN鏈路竊取攻擊的表現(xiàn)，比傳統(tǒng)的Link Prediction(純通過圖的結(jié)構(gòu)來判斷這兩個點(diǎn)之間一條邊)表現(xiàn)都要好，就證明GNN確實(shí)能記住圖的邊的信息。也說明GNN也確實(shí)可以泄露這種邊的信息。雖然說工業(yè)界很強(qiáng)大的應(yīng)用，但是Model Deploy的時候要小心，因?yàn)樵瓉淼倪吅苋菀妆籄ttacker竊取。

最后分享的是我們組今年剛做的一個工具M(jìn)L-doctor，很快就會在USENIX2022發(fā)表。它集合了幾種不同攻擊，包括成員推理攻擊、數(shù)據(jù)提取攻擊、模型逆向攻擊、模型竊取攻擊。我們第一次把這四個攻擊放在一起考慮，做成了一個包。我們分析了這四個攻擊方式之間的關(guān)系，發(fā)現(xiàn)了一些有意思的現(xiàn)象，并已經(jīng)把相關(guān)code放上了GitHub。歡迎大家下載使用我們的工具，以后在做這方面研究時可以節(jié)省很多時間。

總結(jié)一下，我分享了成員推理攻擊，數(shù)據(jù)重構(gòu)攻擊，鏈路竊取攻擊。感謝所有的合作者（以上list不是完整的，有些還未更新），感謝他們對我的幫助，如果沒有他們的貢獻(xiàn)，我以上分享的工作都是不可能實(shí)現(xiàn)的。今天的分享到此為止，謝謝各位，期待有機(jī)會和大家相見。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。