0
| 本文作者： 我在思考中 | 2022-04-06 10:22 |
機(jī)器學(xué)習(xí)已經(jīng)成為各行各業(yè)的寶藏工具，常被用來構(gòu)建系統(tǒng)，幫助人們發(fā)現(xiàn)那些容易忽略的細(xì)節(jié)，并輔助決策。盡管已經(jīng)取得了驚艷的結(jié)果，但是也有很多痛苦，例如如何在已經(jīng)成型的模型中修改、刪減某些模塊或者數(shù)據(jù)記錄？
有學(xué)者表示，在大多數(shù)情況下，修改往往意味著重新訓(xùn)練，但仍然無法避免納入可疑數(shù)據(jù)。這些數(shù)據(jù)可能來自系統(tǒng)日志、圖像、客戶管理系統(tǒng)等等。尤其是歐洲GDPR出臺，對模型遺忘功能提出了更高的要求，企業(yè)如果不想辦法將會面臨合規(guī)處罰。
確實(shí)，完全重新訓(xùn)練的代價(jià)比較高，也不可能解決敏感數(shù)據(jù)問題。因此，我們無法證明重新訓(xùn)練的模型可以完全準(zhǔn)確、有效。
為了解決這些問題，學(xué)者們定義了一種“機(jī)器學(xué)習(xí)解除術(shù)”（machine unlearning），通過分解數(shù)據(jù)庫、調(diào)整算法等專門技術(shù)，誘導(dǎo)模型選擇性失憶。機(jī)器學(xué)習(xí)解除術(shù)，顧名思義，就是讓訓(xùn)練好的模型遺忘掉特定數(shù)據(jù)訓(xùn)練效果/特定參數(shù), 以達(dá)到保護(hù)模型中隱含數(shù)據(jù)的目的。
機(jī)器學(xué)習(xí)之所以有魅力，是因?yàn)樗芡高^龐大的數(shù)據(jù)，超出人類認(rèn)知范圍的復(fù)雜關(guān)系。同時，這項(xiàng)技術(shù)的黑盒性質(zhì)，讓學(xué)者在修改模型時候，非常謹(jǐn)慎，畢竟無法知道一個特定的數(shù)據(jù)點(diǎn)處在模型的哪個位置，以及無法明確該數(shù)據(jù)點(diǎn)如何直接影響模型。
另外一種情況是：當(dāng)數(shù)據(jù)出現(xiàn)異常值時，模型會記得特別牢，并對整體效果產(chǎn)生影響。
當(dāng)前的數(shù)據(jù)隱私工具可以在數(shù)據(jù)脫敏的情況下訓(xùn)練模型，也可以在數(shù)據(jù)不出本地的情況下聯(lián)合訓(xùn)練?；蛟S可以將敏感數(shù)據(jù)替換成空值，引入噪聲掩蔽敏感數(shù)據(jù)。但這些都無法從根本上解決問題。甚至，替代元素并保留關(guān)鍵數(shù)據(jù)的差異隱私技術(shù)也不足以解決選擇性遺忘問題。例如它只能在單個案件或少數(shù)幾個案件中發(fā)揮作用，在這些案件中，雖然不需要重新訓(xùn)練，但會有“敏感”的人要求從數(shù)據(jù)庫中刪除數(shù)據(jù)。隨著越來越多的刪除請求陸續(xù)到來，該框架的“遺忘模型"很快就會瓦解。
因此，隱私技術(shù)和機(jī)器學(xué)習(xí)解除術(shù)在解決問題的層面，并不能等同。
匿名無法驗(yàn)證和差分隱私技術(shù)的數(shù)據(jù)刪除問題不僅是理論問題，而且會產(chǎn)生嚴(yán)重的后果。研究人員已經(jīng)證明，人們總是有能力從所謂的通用算法和模型中提取敏感數(shù)據(jù)。例如2020年時候，學(xué)者發(fā)現(xiàn)，從GPT-2中可以獲得包括個人身份和受版權(quán)保護(hù)的信息等訓(xùn)練數(shù)據(jù)。
讓機(jī)器學(xué)習(xí)模型獲得選擇性遺忘的能力，需要解決兩個關(guān)鍵問題：
1.理解每個數(shù)據(jù)點(diǎn)如何機(jī)器學(xué)習(xí)模型；
2.隨機(jī)性如何影響空間。例如需要弄清，在某些情況下，數(shù)據(jù)輸入中相對較小的變化為何會產(chǎn)生不同的結(jié)果。
該方向的最初研究出現(xiàn)在在2019年。當(dāng)時，Nicolas Papernot提出將機(jī)器學(xué)習(xí)的數(shù)據(jù)分割成多個獨(dú)立的部分，通過建立眾多的迷你數(shù)據(jù)，從而實(shí)現(xiàn)只對特定組件進(jìn)行刪除和再訓(xùn)練，然后插回完整的數(shù)據(jù)集中，生成功能齊全的機(jī)器學(xué)習(xí)模型。
具體操作過程是：先將訓(xùn)練數(shù)據(jù)分成多個不相交的切片，且一個訓(xùn)練點(diǎn)只包含在一個切片中；然后，在每個切片上單獨(dú)訓(xùn)練模型；隨后，合并切片，成功刪除數(shù)據(jù)元素。因此，當(dāng)一個訓(xùn)練點(diǎn)被要求遺忘時，只需要重新訓(xùn)練受影響的模型。由于切片比整個訓(xùn)練集更小，就減少了遺忘的代價(jià)。
該方法被Nicolas Papernot命名為SISA（Sharded, Isolated, Sliced, and Aggregated ），對比完全重訓(xùn)練和部分重訓(xùn)練的基線, SISA實(shí)現(xiàn)了準(zhǔn)確性和時間開銷的權(quán)衡。在簡單學(xué)習(xí)任務(wù)中, 在數(shù)據(jù)集Purchase上是4.63x, 在數(shù)據(jù)集 SVHN上是2.45x。
同時，作者也承認(rèn)，雖然這個概念很有前途，但也有局限性。例如，通過減少每個切片的數(shù)據(jù)量，會對機(jī)器學(xué)習(xí)產(chǎn)生影響，并且可能會產(chǎn)生質(zhì)量較低的結(jié)果。此外，這項(xiàng)技術(shù)并不總是像宣傳的那樣奏效。
目前，機(jī)器學(xué)習(xí)遺忘術(shù)的研究仍處于初級階段。隨著研究人員和數(shù)據(jù)科學(xué)家深入了解刪除數(shù)據(jù)對整體模型的影響，成熟的工具也會出現(xiàn)，其目標(biāo)是：機(jī)器學(xué)習(xí)框架和算法允許學(xué)者刪除一條記錄或單個數(shù)據(jù)點(diǎn)，并最終得到一個“完全遺忘“相關(guān)數(shù)據(jù)的有效模型。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
