0
| 本文作者： 李雨晨 | 2020-01-02 11:18 |
(圖片來(lái)源：venturebeat)
雷鋒網(wǎng)按：本文譯自venturebeat，作者Kyle Wiggers
人工智能有希望改變(事實(shí)上已經(jīng)改變了)現(xiàn)有的一些行業(yè)，但隱私問(wèn)題仍是一個(gè)懸而未決的挑戰(zhàn)。
此前，英國(guó)的NHS基金會(huì)被曝出，在沒(méi)有經(jīng)過(guò)160萬(wàn)名患者的同意下公布了DeepMind的數(shù)據(jù)。但是，從全世界范圍來(lái)看，數(shù)據(jù)隱私尤其是醫(yī)療數(shù)據(jù)的隱私保護(hù)問(wèn)題，并不是一個(gè)新鮮的話題。
去年11月，Google與Ascension的健康數(shù)據(jù)共享合作伙伴關(guān)系成為了審查的對(duì)象，該公司放棄了公布胸部X光掃描圖的計(jì)劃，原因是擔(dān)心這些掃描圖中含有個(gè)人身份信息。
去年夏天，微軟悄悄地刪除了一個(gè)擁有超過(guò)1000萬(wàn)張用戶圖片的數(shù)據(jù)集（MS Celeb），此前有消息稱(chēng)，這些人并不知道他們被包括在內(nèi)。
另外，一些報(bào)告揭露了包括蘋(píng)果和谷歌在內(nèi)的科技巨頭為改進(jìn)Siri和Google Assistant等可能非法使用收集的錄音。今年4月，Bloomberg披露，亞馬遜雇傭合同工對(duì)Alexa供電設(shè)備數(shù)千小時(shí)的音頻進(jìn)行注釋?zhuān)偈箒嗰R遜推出面向用戶的工具來(lái)快速刪除云存儲(chǔ)的數(shù)據(jù)。
隱私不僅僅是一個(gè)倫理問(wèn)題，而且是商業(yè)過(guò)程中的博弈。美國(guó)的州、地方和聯(lián)邦各級(jí)的法律旨在將隱私權(quán)作為法規(guī)管理的強(qiáng)制性內(nèi)容。美國(guó)50個(gè)州、地區(qū)和哥倫比亞特區(qū)，數(shù)百項(xiàng)涉及隱私、網(wǎng)絡(luò)安全和數(shù)據(jù)泄露的法案正在等待或已經(jīng)通過(guò)。
可以說(shuō)，其中最全面的一項(xiàng)——《加州消費(fèi)者隱私法》——大約在兩年前已成為法律，這還不包括《健康保險(xiǎn)可攜帶性和責(zé)任法案》（HIPAA）。該法案要求公司在披露個(gè)人健康信息之前必須獲得授權(quán)。而像歐盟一般隱私數(shù)據(jù)保護(hù)條例（GDPR）這樣的國(guó)際規(guī)定，其目的在于讓消費(fèi)者對(duì)個(gè)人數(shù)據(jù)的收集和使用有更大的控制權(quán)。
回顧人工智能技術(shù)的發(fā)展歷史，我們可以看到，隱私問(wèn)題并沒(méi)有被當(dāng)成一把懸在頭上的“達(dá)摩克利斯之劍”。但是機(jī)器學(xué)習(xí)的一個(gè)分支——保護(hù)隱私的機(jī)器學(xué)習(xí)——試圖探索可能防止個(gè)人識(shí)別數(shù)據(jù)泄露的方法。而聯(lián)邦學(xué)習(xí)、微分隱私和同態(tài)加密被認(rèn)為是最有前景的三種技術(shù)。
大多數(shù)人工智能系統(tǒng)的核心是神經(jīng)網(wǎng)絡(luò)，它由層層排列的功能神經(jīng)元組成，神經(jīng)元將信號(hào)傳遞給其他神經(jīng)元。這些信號(hào)輸入到網(wǎng)絡(luò)中，從一層傳遞到另一層，并緩慢地“調(diào)整”網(wǎng)絡(luò)，實(shí)際上調(diào)整了每個(gè)連接的突觸強(qiáng)度（權(quán)重）。隨著時(shí)間的推移，網(wǎng)絡(luò)從數(shù)據(jù)集中提取特征并識(shí)別交叉樣本，最終做出預(yù)測(cè)。
神經(jīng)網(wǎng)絡(luò)不會(huì)直接處理原始圖像、視頻、音頻或文本。訓(xùn)練語(yǔ)料庫(kù)中的樣本通過(guò)數(shù)學(xué)轉(zhuǎn)換成多維數(shù)組，如標(biāo)量（單個(gè)數(shù)字）、向量（標(biāo)量的有序數(shù)組）和矩陣（標(biāo)量排列成一列或多列和一行或多列）。第四種實(shí)體類(lèi)型，封裝標(biāo)量、向量和矩陣形成張量添加到有效線性轉(zhuǎn)換（或關(guān)系）中。
盡管存在這些轉(zhuǎn)換，但通?？梢詮纳窠?jīng)網(wǎng)絡(luò)的輸出中識(shí)別出敏感信息，數(shù)據(jù)集本身也易受攻擊，因?yàn)樗鼈兺ǔ２粫?huì)被打亂，而且存儲(chǔ)在易受數(shù)據(jù)泄露攻擊的集中存儲(chǔ)庫(kù)中。
到目前為止，最常見(jiàn)的機(jī)器學(xué)習(xí)逆向工程為成員推斷攻擊，攻擊者使用單個(gè)數(shù)據(jù)點(diǎn)或多個(gè)數(shù)據(jù)點(diǎn)來(lái)確定它是否屬于訓(xùn)練目標(biāo)模型的語(yǔ)料庫(kù)。事實(shí)證明，從數(shù)據(jù)集中刪除敏感信息并不意味著無(wú)法重新推斷，因?yàn)槿斯ぶ悄芴貏e擅長(zhǎng)重新創(chuàng)建樣本。除非使用隱私保護(hù)技術(shù)，訓(xùn)練后的模型包含了所有訓(xùn)練集的信息。
Wisconsin大學(xué)和Marshfield臨床研究學(xué)會(huì)的研究人員能夠從一個(gè)被訓(xùn)練用于預(yù)測(cè)藥物劑量機(jī)器學(xué)習(xí)模型中提取患者的基因組信息。
而在另一項(xiàng)研究中，卡內(nèi)基梅隆大學(xué)和Wisconsin-Madison大學(xué)的研究人員成功地從用來(lái)進(jìn)行面部識(shí)別的訓(xùn)練模型中重建了頭部拍攝圖像。
一個(gè)更復(fù)雜的數(shù)據(jù)提取攻擊方法使用生成性對(duì)抗網(wǎng)絡(luò)，或GANs，由兩部分人工智能系統(tǒng)組成，分別是生成樣本的生成器和區(qū)分生成樣本和真實(shí)樣本的鑒別器組成。他們被訓(xùn)練生成與原始語(yǔ)料庫(kù)中的樣本非常相似的樣本，而無(wú)需接觸原始樣本，并通過(guò)與有辨別力的深層神經(jīng)網(wǎng)絡(luò)交互來(lái)學(xué)習(xí)數(shù)據(jù)的分布。
2017年，研究人員證明，GANs可以被訓(xùn)練來(lái)產(chǎn)生私有數(shù)據(jù)集集的原始樣本，從中揭示敏感信息。在另一項(xiàng)研究中，一個(gè)團(tuán)隊(duì)使用GANs來(lái)推斷用于訓(xùn)練圖像生成機(jī)器學(xué)習(xí)模型的樣本，在“白盒”設(shè)置中，他們可以訪問(wèn)目標(biāo)模型的參數(shù)（例如AI技術(shù)用來(lái)擬合數(shù)據(jù)的變量），成功率高達(dá)100%。
幸運(yùn)的是，像聯(lián)邦學(xué)習(xí)和微分隱私這樣的方法是有希望保護(hù)數(shù)據(jù)隱私的。
聯(lián)邦學(xué)習(xí)是今年AI領(lǐng)域的熱詞之一，多位學(xué)術(shù)大咖和企業(yè)界的研究者都對(duì)這種方法表示看好。
簡(jiǎn)單地說(shuō)，聯(lián)邦學(xué)習(xí)是一種采用分布式設(shè)備或服務(wù)器（即節(jié)點(diǎn)）訓(xùn)練人工智能算法的技術(shù)，這些設(shè)備或服務(wù)器保存數(shù)據(jù)樣本，而不交換這些樣本，使各個(gè)節(jié)點(diǎn)能夠在不共享數(shù)據(jù)的情況下構(gòu)建通用的機(jī)器學(xué)習(xí)模型。這與傳統(tǒng)的分布式方法不同，后者假設(shè)本地?cái)?shù)據(jù)樣本分布廣泛。
中央服務(wù)器可用于安排算法的執(zhí)行步驟并充當(dāng)參考時(shí)鐘，或者執(zhí)行步驟可能是對(duì)等的（在這種情況下，不存在中央服務(wù)器）。不管怎樣，局部模型都是在局部數(shù)據(jù)樣本上訓(xùn)練的，并且在模型之間以一定的頻率交換權(quán)值以生成全局模型。
這是一個(gè)迭代過(guò)程，被分解成一組聯(lián)合學(xué)習(xí)輪次的交互，其中每輪都將當(dāng)前全局模型狀態(tài)傳輸?shù)絽⑴c節(jié)點(diǎn)。在節(jié)點(diǎn)上訓(xùn)練局部模型，每個(gè)節(jié)點(diǎn)上生成一組可能的模型更新，然后將局部更新聚合并處理為單個(gè)全局更新，并應(yīng)用于全局模型。
谷歌最早探索了聯(lián)邦學(xué)習(xí)的方法，并且已經(jīng)將其部署到生產(chǎn)中。雷鋒網(wǎng)了解到，谷歌在其“數(shù)千萬(wàn)”iOS和Android設(shè)備的Gboard預(yù)測(cè)鍵盤(pán)中使用它進(jìn)行個(gè)性化。在Pixel4發(fā)布的同時(shí)，谷歌推出了一個(gè)改進(jìn)版的“正在播放的音樂(lè)識(shí)別”功能，該功能以聯(lián)合方式聚合歌曲的播放次數(shù)，按地區(qū)識(shí)別最受歡迎的歌曲，以提高識(shí)別率。
據(jù)雷鋒網(wǎng)了解，谷歌最近推出了一個(gè)名為T(mén)ensorFlow federed的TensorFlow機(jī)器學(xué)習(xí)框架模塊，該模塊旨在更容易在分布式數(shù)據(jù)上進(jìn)行深度學(xué)習(xí)和其他計(jì)算。
當(dāng)然，沒(méi)有哪種技術(shù)是完美的；聯(lián)邦學(xué)習(xí)需要在學(xué)習(xí)過(guò)程中進(jìn)行節(jié)點(diǎn)間頻繁的通信。為了使機(jī)器學(xué)習(xí)模型能夠交換參數(shù)，它們需要大量的處理能力和內(nèi)存。其他挑戰(zhàn)包括無(wú)法檢查訓(xùn)練示例，以及由于人工智能模型僅在供電和傳輸參數(shù)方法可用時(shí)才能訓(xùn)練造成的偏差。
聯(lián)邦學(xué)習(xí)與微分隱私密切相關(guān)，微分隱私是一種通過(guò)描述語(yǔ)料庫(kù)中組的模式而公開(kāi)共享數(shù)據(jù)集信息的系統(tǒng)，同時(shí)保留個(gè)人的數(shù)據(jù)。它通常需要在原始數(shù)據(jù)輸入到本地機(jī)器學(xué)習(xí)模型之前向其注入少量噪聲，這樣竊取數(shù)據(jù)者就很難從訓(xùn)練模型中提取原始數(shù)據(jù)。
直觀地說(shuō)，如果一個(gè)觀察者看不到某個(gè)特定個(gè)體的信息是否被用于計(jì)算，那么這個(gè)算法可以被認(rèn)為是微分隱私的。微分隱私的聯(lián)合學(xué)習(xí)過(guò)程允許節(jié)點(diǎn)共同學(xué)習(xí)一個(gè)模型，同時(shí)隱藏任何節(jié)點(diǎn)所持有的數(shù)據(jù)。
開(kāi)源的TensorFlow庫(kù)TensorFlow Privacy基于微分隱私方法。具體地說(shuō)，它使用改進(jìn)的隨機(jī)梯度下降方法來(lái)調(diào)參，該梯度下降將訓(xùn)練數(shù)據(jù)引起的多個(gè)更新平均起來(lái)，剪切每個(gè)更新，并將噪聲添加到最終平均值。
這就防止了對(duì)少數(shù)細(xì)節(jié)的記憶，并更加保險(xiǎn)，即兩種機(jī)器學(xué)習(xí)模型無(wú)法區(qū)分一個(gè)人的數(shù)據(jù)是否用于他們的訓(xùn)練。
自2017年以來(lái)，蘋(píng)果一直在使用微分隱私來(lái)識(shí)別流行的表情符號(hào)、Safari中的媒體播放偏好等，該公司在最新的移動(dòng)操作系統(tǒng)版本（iOS 13）中將其與聯(lián)邦學(xué)習(xí)相結(jié)合。這兩種技術(shù)都有助于改善Siri的結(jié)果，以及蘋(píng)果QuickType鍵盤(pán)和iOS等應(yīng)用程序的apps功能。后者掃描日歷和郵件應(yīng)用程序以查找聯(lián)系人和呼叫者的姓名，這些聯(lián)系人和呼叫者的號(hào)碼不存儲(chǔ)在本地。
Nvidia和倫敦國(guó)王學(xué)院的研究人員最近利用聯(lián)邦學(xué)習(xí)訓(xùn)練了一種用于腦腫瘤分割的神經(jīng)網(wǎng)絡(luò)，Nvidia聲稱(chēng)這是醫(yī)學(xué)圖像分析的第一個(gè)里程碑。他們的模型使用了來(lái)自BraTS（多模式腦腫瘤分割）挑戰(zhàn)的285名腦腫瘤患者數(shù)據(jù)集，與Google和Apple采取的方法一樣，該模型利用微分隱私為該數(shù)據(jù)庫(kù)添加噪音。
Nvidia高級(jí)研究員Nicola Rieke在之前的一次采訪中說(shuō)到：“通過(guò)這樣的方式每個(gè)參與節(jié)點(diǎn)存儲(chǔ)更新，并限制我們?cè)跈C(jī)構(gòu)之間實(shí)際共享的信息的粒度?！比绻?0%或60%模型進(jìn)行更新，我們還能以全局模型聚合的方式合并更新嗎？我們發(fā)現(xiàn)“是的，我們可以。”這真是振奮人心的結(jié)果。甚至只共享模型的10%，也可以聚合模型?！?/p>
當(dāng)然，微分隱私也不是完美的。注入底層數(shù)據(jù)、輸入、輸出或參數(shù)中的任何噪聲都會(huì)影響整個(gè)模型的性能。在一項(xiàng)研究中，在訓(xùn)練數(shù)據(jù)集中加入噪聲后，作者注意到預(yù)測(cè)精度從94.4%下降到24.7%。另一種保護(hù)隱私的機(jī)器學(xué)習(xí)技術(shù)——同態(tài)加密——沒(méi)有這些缺點(diǎn)，但它離完美也還很遠(yuǎn)。
同態(tài)加密并不是什么新鮮事，IBM研究員克雷格·根特里（Craig Gentry）在2009年開(kāi)發(fā)了第一個(gè)方案。
但近年來(lái)，隨著計(jì)算能力和效率的提高，同態(tài)加密得到了廣泛的應(yīng)用。它本質(zhì)上是一種密碼學(xué)形式，允許對(duì)使用算法加密的明文（文件內(nèi)容），也稱(chēng)為密文，進(jìn)行計(jì)算，使生成的加密結(jié)果與對(duì)未加密文本執(zhí)行的操作結(jié)果完全匹配。
使用這種技術(shù)，一個(gè)“加密網(wǎng)”（例如，任何可以應(yīng)用于加密數(shù)據(jù)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)）可以對(duì)數(shù)據(jù)執(zhí)行計(jì)算，并將加密結(jié)果返回給某個(gè)客戶端，然后客戶端可以使用加密密鑰（不公開(kāi)共享）來(lái)解密返回的數(shù)據(jù)并獲得實(shí)際結(jié)果。
英特爾物聯(lián)網(wǎng)集團(tuán)副總裁Jonathan Ballon今年早些時(shí)候接受VentureBeat 采訪時(shí)說(shuō)：“如果發(fā)送核磁共振圖像，我希望我的醫(yī)生能夠立即看到，但其他人看不到。“
同態(tài)加密可以做到這一點(diǎn)。此外，模型本身也是加密的。所以公司可以把這個(gè)模型放在公共云上，而云提供商不知道他們的模型是什么樣子的?！皩?shí)際上，同態(tài)加密庫(kù)還沒(méi)有充分利用現(xiàn)代硬件，而且至少比傳統(tǒng)模型慢一個(gè)數(shù)量級(jí)。但是像cuHE這樣的新項(xiàng)目，一個(gè)加速的加密庫(kù)，聲稱(chēng)在各種加密任務(wù)上比以前實(shí)現(xiàn)快12到50倍的加速。
此外，像PySyft和tf-encrypted這樣的圖書(shū)館——它們分別建立在Facebook的PyTorch和TensorFlow機(jī)器學(xué)習(xí)框架上——在最近幾個(gè)月取得了長(zhǎng)足的進(jìn)步。有像HE Transformer這樣的抽象層，它是nggraph（Intel's neural network compiler）的后端，可以在一些密碼網(wǎng)絡(luò)上提供領(lǐng)先的性能。
事實(shí)上，就在幾個(gè)月前，英特爾的研究人員提出了nGraph-HE2，它是HE-Transformr 的繼承者，它可以利用自身的激活函數(shù)對(duì)標(biāo)準(zhǔn)的、預(yù)先訓(xùn)練的機(jī)器學(xué)習(xí)模型進(jìn)行推理。他們?cè)谝黄撐闹袌?bào)告說(shuō)，其運(yùn)行時(shí)標(biāo)量編碼（將一個(gè)數(shù)值編碼成一個(gè)比特?cái)?shù)組）的速度要快3倍到88倍，吞吐量要翻一番，此外，額外的乘法和加法優(yōu)化使運(yùn)行時(shí)的速度進(jìn)一步提高了2.6倍至4.2倍。
IBM高級(jí)研究科學(xué)家Flavio Bergamaschi研究了使用邊緣硬件實(shí)現(xiàn)同態(tài)加密操作的方法。
在最近的一項(xiàng)研究中，他和同事在一個(gè)裝備了人工智能攝像頭的設(shè)備上部署了一個(gè)本地同態(tài)數(shù)據(jù)庫(kù)，使得搜索能夠直接在該攝像頭上進(jìn)行。他們報(bào)告說(shuō)，這是“同態(tài)加速”的性能，每個(gè)數(shù)據(jù)庫(kù)條目的查找僅需1.28秒，這相當(dāng)于5分鐘內(nèi)查詢200條條目。
他在最近的一次電話采訪中表示：“我們正處于性能轉(zhuǎn)折點(diǎn)。目前完全同態(tài)加密在性能上足夠快，足夠滿足某些用例?！?/p>
在生產(chǎn)方面，Bergamaschi和他的團(tuán)隊(duì)與一個(gè)美國(guó)銀行客戶合作，使用同態(tài)技術(shù)對(duì)機(jī)器學(xué)習(xí)過(guò)程進(jìn)行加密。這個(gè)機(jī)器學(xué)習(xí)過(guò)程是一個(gè)線性回歸模型，有十幾個(gè)變量，分析了24個(gè)月當(dāng)前賬戶持有人的交易數(shù)據(jù)，以預(yù)測(cè)這些賬戶的財(cái)務(wù)狀況，部分原因是為了推薦貸款等產(chǎn)品。
出于客戶的隱私和遵從性的考慮，IBM團(tuán)隊(duì)加密了現(xiàn)有模型和所使用的事務(wù)數(shù)據(jù)，并且他們使用加密和未加密的模型進(jìn)行預(yù)測(cè)以比較性能。雖然前者跑得比后者慢，但準(zhǔn)確度是一樣的。
“這是很重要的一點(diǎn)。如果我們沒(méi)有任何預(yù)測(cè)模型，我們可以獲取交易數(shù)據(jù)，并在運(yùn)營(yíng)中執(zhí)行新模型的訓(xùn)練?！盉ergamaschi說(shuō)。
對(duì)同態(tài)加密的研究熱情催生了一個(gè)將其引入商業(yè)的創(chuàng)業(yè)公司。
總部位于新澤西州紐瓦克的Duality Technologies最近得到了英特爾風(fēng)險(xiǎn)投資部門(mén)的投資，將其同態(tài)加密平臺(tái)定位為“眾多”企業(yè)（尤其是被監(jiān)管行業(yè)中的企業(yè)）的隱私保護(hù)解決方案。銀行可以跨機(jī)構(gòu)進(jìn)行隱私保護(hù)的金融犯罪調(diào)查，該公司的銷(xiāo)售宣傳也是如此，而科學(xué)家可以利用它來(lái)研究基于患者就醫(yī)記錄的問(wèn)題。
但是像聯(lián)邦學(xué)習(xí)和微分隱私一樣，同態(tài)加密也不是沒(méi)有缺點(diǎn)的。即使是領(lǐng)先的技術(shù)也只能計(jì)算多項(xiàng)式函數(shù)——對(duì)于機(jī)器學(xué)習(xí)中許多非多項(xiàng)式的激活函數(shù)來(lái)說(shuō)，這是一個(gè)非標(biāo)準(zhǔn)函數(shù)。另外，對(duì)加密數(shù)據(jù)的操作只能涉及整數(shù)的加法和乘法，這在學(xué)習(xí)算法需要浮點(diǎn)計(jì)算的情況下是一個(gè)挑戰(zhàn)。
巴倫說(shuō)：“在你可以用10秒來(lái)進(jìn)行推斷的項(xiàng)目里，同態(tài)加密也可以，但是如果你今天只有3毫秒的周轉(zhuǎn)時(shí)間，那就沒(méi)有辦法了?！薄坝?jì)算量太高，這要追溯到工程領(lǐng)域?！?/p>
自2014年以來(lái)，Bergamaschi和他的同事們一直在試驗(yàn)加速同態(tài)運(yùn)算的硬件方法。從歷史上看，帶寬一直是最大的絆腳石——雖然加速器單獨(dú)產(chǎn)生了強(qiáng)大的基準(zhǔn)性能，但總體上并不能產(chǎn)生強(qiáng)大的系統(tǒng)性能。這是因?yàn)閳?zhí)行操作所需的數(shù)據(jù)需要處理器和加速器之間的大量帶寬。
解決方案可能在于更有效地利用處理器上存儲(chǔ)的技術(shù)。韓國(guó)高級(jí)科學(xué)技術(shù)研究所的研究人員發(fā)表的一篇論文主張，對(duì)所有正常和安全的數(shù)據(jù)使用組合緩存，并對(duì)安全處理器和緩存插入模塊使用內(nèi)存調(diào)度和映射方案。
他們說(shuō)，綜合起來(lái)，在典型的8核和16核安全處理器中，這兩種方法可以將加密性能的下降從25%-34%降低到8%-14%以下，同時(shí)將額外的硬件成本降到最低。
新技術(shù)或許可以解決人工智能和機(jī)器學(xué)習(xí)中固有的一些隱私問(wèn)題，但它們還處于初級(jí)階段，并非沒(méi)有弱點(diǎn)。
聯(lián)邦學(xué)習(xí)在分布式服務(wù)器上訓(xùn)練算法，而不需要交換數(shù)據(jù)樣本，但是在功率、計(jì)算和互聯(lián)網(wǎng)的波動(dòng)下很難檢查和控制。
微分隱私，在保存?zhèn)€人信息時(shí)暴露數(shù)據(jù)集的信息，由于注入噪聲而導(dǎo)致準(zhǔn)確性下降。
至于同態(tài)加密—一種允許對(duì)加密數(shù)據(jù)進(jìn)行計(jì)算的加密形式——它有點(diǎn)慢，計(jì)算量也很高。
不過(guò)，像巴倫這樣的人相信，這三種方法都是朝著正確方向邁出的一步?！斑@與從HTTP到HTTPS非常相似?！盉allon說(shuō)，“總有一天，我們將擁有使機(jī)器學(xué)習(xí)中的隱私無(wú)懈可擊的工具和能力，但我們還沒(méi)有完全實(shí)現(xiàn)?！?span style="color: #FFFFFF;">雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
