人工智能算法在現(xiàn)實世界中的落地，從來都離不開兩個研究范疇：一是模型性能強大可用，二是設(shè)計邏輯安全可信。

訪談｜李梅、劉冰一

作者｜李梅

編輯｜陳彩嫻

2013 年 4 月 23 日的午后一點，美國各大交易所的平靜被驟然打破，辦公室里一臺臺電話響個不停，同時夾雜著工作人員急躁的咆哮聲，驚恐與不安的情緒四處竄開。

華爾街的金融精英們正在經(jīng)歷著他們所能想象到的最可怕的危機：

短短 5 秒內(nèi)，標普市值就被抹去了 1365 億美元！

股市突然遭遇如此瘋狂的大跳水，其直接的導(dǎo)火索是美聯(lián)社官方推特賬戶發(fā)出的一條僅包含 12 個詞的短快訊：

Breaking: Two Explosions in the White House and Barack Obama is injured.（突發(fā)：白宮發(fā)生兩起爆炸，貝拉克·奧巴馬受傷。）

這一重磅政治新聞給金融界投放了一顆「信息炸彈」，消息被大量傳播后，股票市場頓時陷入一片混亂。

然而，這場風(fēng)波從開始到結(jié)束，只持續(xù)了大約 4 分鐘。

美聯(lián)社很快聲明白宮遇襲為虛假新聞，白宮發(fā)言人也出面表示「總統(tǒng)安然無恙」，各路股票指數(shù)旋即回歸常規(guī)水平，資本市場迅速恢復(fù)平靜。

數(shù)小時后，發(fā)布假新聞的幕后黑手也浮出了水面——一個叫做“敘利亞電子軍”（Syrian Electronic Army）的、罪行累累的黑客組織黑入了美聯(lián)社賬號。

回看整起事件，引人深思的是：為何社交媒體上的一點風(fēng)吹草動就能在資本市場引發(fā)如此劇烈的反應(yīng)？

這是因為，在算法賦能金融交易的場景下，股票交易算法在社交網(wǎng)站上抓取到「有價值」的新聞后，會自動執(zhí)行股票交易行為，從而引發(fā)一系列連鎖反應(yīng)。

對人類而言，其實不難識別和求證新聞的真實性，比如當時就有人提醒，美聯(lián)社一貫的風(fēng)格是稱呼「奧巴馬總統(tǒng)」，而不是直呼其名。但對于缺乏常識信息的機器學(xué)習(xí)模型來說，辨別這一點卻很困難，以至于會在真實世界中造成巨大損失。這也是我們以「智能」代替「人工」所可能要承受的代價之一。

在九年后的今天，人工智能和機器學(xué)習(xí)在現(xiàn)實物理世界中的應(yīng)用已經(jīng)變得更加廣泛。但 AI 遠非萬能，機器學(xué)習(xí)模型在可信任性方面已經(jīng)暴露出令人憂心的問題。在我們所生活的世界中，不僅有無法識別假新聞的愚蠢的 AI，更存在著危險的 AI。

比如在自動駕駛、智慧醫(yī)療等對安全性要求非常高的場景中，模型的「失之毫厘」會帶來「差之千里」的危險后果。同時，數(shù)據(jù)隱私的問題也日益突出。得益于生物信息識別技術(shù)的開發(fā)，在機場、火車站等場所，人們在機器上刷個臉、摁個指紋，就能方便快捷地完成安檢程序。但這些海量的生物信息被采集和存儲起來，也為不法分子提供了可乘之機，黑產(chǎn)鏈買賣盜用人臉信息去實施詐騙的新聞并不罕見。

所以，人類要如何信任 AI ？人類可以放心地把財產(chǎn)管理讓渡給算法、把生命健康托付給模型、把隱私信息拱手交給機器嗎？

可信 AI ，正是一個致力于讓 AI 更安全、讓人類對 AI 更放心的一個研究領(lǐng)域，目前也已經(jīng)有越來越多的研究者意識到可信機器學(xué)習(xí)的重要性并投入其中，李博便是其中之一，而且是當中的一位佼佼者。

圖注：李博在新加坡高校舉辦的學(xué)術(shù)論壇上作演講，以2013年 AI 算法對美國股票的波動影響來詮釋可信機器學(xué)習(xí)研究的重要性

從本科就讀同濟大學(xué)信息安全專業(yè)開始，李博就關(guān)注到計算機安全問題。之后，她去美國范德堡大學(xué)攻讀博士，機器學(xué)習(xí)模型在真實世界中安全性不足的種種現(xiàn)象，讓她感到機器學(xué)習(xí)的安全問題已經(jīng)非常急迫，便毅然投身于可信 AI 領(lǐng)域的研究。如今，她在伊利諾伊大學(xué)香檳分校（UIUC）計算機系領(lǐng)導(dǎo)著安全學(xué)習(xí)實驗室，致力于解決機器學(xué)習(xí)的可驗證魯棒性、隱私性、泛化性等問題 。

從過去到現(xiàn)在再到未來，李博所要探索的問題始終是：如何讓 AI 更安全、更可信？

1 初入「安全」門

李博出生于廣東湛江，降生人世還沒有多久，就被父母寄予希望，在未來會成為一位博學(xué)之才，于是給她取名為「博」。二十七年后，李博果然拿到博士學(xué)位，成為人工智能領(lǐng)域一位饒有建樹的博士。

上初中后，李博的父母工作繁忙，有時顧不到她的生活與學(xué)習(xí)，于是決定讓李博搬到山西的外婆家。那里的親戚都是三尺講臺上的老師，這為李博后來的成長創(chuàng)造了優(yōu)質(zhì)的環(huán)境。在教師家庭耳濡目染的李博，很早就培養(yǎng)了嚴謹?shù)男袨楹退伎剂?xí)慣。

李博的家人十分支持她拓展自己的興趣愛好，比如跳體操、彈鋼琴，同時還有意去逐步建立她的科學(xué)素養(yǎng)。小時候，李博從《十萬個為什么》中獲得科學(xué)啟蒙，再大一些就去讀霍金的《時間簡史》、《果殼中的宇宙》等等。在好動的年紀，李博卻能夠沉浸在書本的世界中，去探索世界本質(zhì)、思考自然原理。從科普讀物中，她領(lǐng)略到了自然學(xué)科的美妙，尤其是物理和數(shù)學(xué)。

2007年，李博進入同濟大學(xué)電子與信息工程學(xué)院就讀本科，學(xué)習(xí)信息安全專業(yè)。那時，信息安全還算是一個比較新的學(xué)科，盡管李博對于這個領(lǐng)域還沒有特別深入的認知，但她能強烈地感受到這是一個很重要、很有價值的研究方向。

除了與其他計算機類專業(yè)相同的課程外，李博還修讀了一些更貼合信息安全的核心課程，包括密碼學(xué)。作為網(wǎng)絡(luò)安全的基石，密碼學(xué)利用算法防范潛在的惡意攻擊，以保障信息的安全傳輸和安全存儲，極大地吸引了李博的興趣。

而大二去臺灣交換的一年，更讓她在科研實踐中真正見識到了關(guān)于安全研究的門道。

當時，逢甲大學(xué)的張真誠教授到上海訪學(xué)，就信息安全和計算機密碼學(xué)領(lǐng)域的發(fā)展等話題在高校開展了學(xué)術(shù)講座。張真誠主要從事信息安全、密碼學(xué)和多媒體圖像處理三大領(lǐng)域的研究工作，是臺灣信息安全界的引領(lǐng)人物、IEEE 和 IET 雙料院士，被稱為「臺灣密碼學(xué)之父」。十幾年過去，雖然李博已經(jīng)記不清當時講座的具體內(nèi)容，但她記得自己在臺下聽得津津有味、受益匪淺：「當時覺得這些研究非常好玩?！?/p>

不久后，李博就看到學(xué)校發(fā)布了臺灣交換生項目的選拔通知，而且還可以申請張真誠教授的交換生名額！于是李博毫不猶豫地填了報名表，最后如愿去了臺灣。

在臺灣交換期間，李博與張老師實驗室里的研究生和博士生們一起做研究、寫論文，大部分時間都是非常忙碌且充實的。李博回憶，團隊的成員都很努力，經(jīng)常一起熬夜，通宵趕 deadline，餓了就訂一份臺灣夜市的海鮮粥來補充能量，然后繼續(xù)奮戰(zhàn)。大家對于科研的熱情投入讓她深受感動：「感覺那樣緊湊的生活非常有意義，覺得就是自己想要的生活。」

在參與科研的過程中，李博對信息安全方向的研究有了更深入的了解，并且還產(chǎn)出了科研成果，發(fā)表了一些密碼學(xué)方向的論文，內(nèi)容涉及如加解密領(lǐng)域的數(shù)字水印研究（Digital water marking）、視覺密碼的加解密等。

李博在學(xué)術(shù)研究上的眼光無疑也是獨到且敏銳的。本科四年，李博的科研工作主要側(cè)重于信息安全方向，但她也逐漸開始了對 AI 的接觸和學(xué)習(xí)，并萌生了將 AI 與安全結(jié)合起來研究的興趣和設(shè)想。雖然對于未來的研究方向還不甚明確，但她可以確定的是，自己將來想做和計算機安全相關(guān)的研究。

彼時，深度學(xué)習(xí)技術(shù)還未崛起，「可信機器學(xué)習(xí)」這一領(lǐng)域更是尚未誕生，但李博已經(jīng)頗具前瞻性地預(yù)見到它的必將出現(xiàn)：

安全的、可信任的 AI 才是造福人類的 AI。（公眾號：雷峰網(wǎng)(公眾號：雷峰網(wǎng))）

2 AI 模型的「攻防戰(zhàn)」

本科畢業(yè)后，李博赴美國范德堡大學(xué)（Vanderbilt University）攻讀博士，師從 Yevgeniy Vorobeychik 教授。

在國內(nèi)讀本科，接著去美國讀博，這是李博很早就為自己規(guī)劃好的道路。申請學(xué)校時，李博主要考慮與自己的科研興趣相匹配的學(xué)校。有著「南方哈佛」之稱的范德堡大學(xué)在安全領(lǐng)域的研究實力很強勁，所以李博沒有太多糾結(jié)，就選擇了這所學(xué)校。而且，之前在臺灣交換時，她憑借發(fā)表的論文，在參加一些會議時與領(lǐng)域內(nèi)的前輩學(xué)者有過不少交流，她的科研成果給他們留下了深刻的印象，這也為她申博成功助推了一把。

李博的導(dǎo)師 Yevgeniy Vorobeychik 教授專注于對抗機器學(xué)習(xí)領(lǐng)域的研究，尤其是從博弈論的角度去解決機器模型的安全和隱私問題，他主導(dǎo)的研究機構(gòu) ISIS （Institute for Software Integrated Systems）在網(wǎng)絡(luò)物理系統(tǒng)安全領(lǐng)域首屈一指。他與德克薩斯大學(xué)達拉斯分校的 Murat Kantarcioglu 教授合著的 Adversarial Machine Learning（《對抗機器學(xué)習(xí)：機器學(xué)習(xí)系統(tǒng)中的攻擊和防御》）一書，全面論述了機器學(xué)習(xí)的安全性問題，討論了各種攻擊和防御技術(shù)。

圖注：李博的博士導(dǎo)師 Yevgeniy Vorobeychik 教授

李博入學(xué)后，將機器學(xué)習(xí)作為自己的科研方向，并思考選擇什么樣的角度去研究。導(dǎo)師建議她去嘗試機器學(xué)習(xí)安全方向。在當時，這個領(lǐng)域還非常小眾，全球從事該領(lǐng)域研究的學(xué)者加起來也是屈指可數(shù)。導(dǎo)師告訴她，如果她選擇這個方向，以她的能力肯定能做出很好的成果，但它在未來的前景如何還不好判斷，所以這是一個比較冒險的選擇。

聽完這番話，李博并沒有產(chǎn)生類似的憂慮，相反，這正是她所感興趣的研究。而且，經(jīng)過本科在信息安全方面的學(xué)習(xí)和研究，她相信自己能將安全和機器學(xué)習(xí)很好地結(jié)合起來，能更準確地找到機器學(xué)習(xí)的安全痛點在哪里。她的選擇很有前瞻性，后來深度學(xué)習(xí)的大火推動了很多技術(shù)在真實世界中的落地，安全問題變得更加突出。

Vorobeychik 對于李博在科研上的進展并不急于求成，寬慰她說「第一、第二年只管好好上課，不用太著急」，但他沒想到這位中國學(xué)生并不想過得太「輕松」，反而 push 起導(dǎo)師來。

「我當時自己其實比較著急，想要趕快寫論文、發(fā)論文。」李博沒有藏著掖著，直接跟 Vorobeychik 表明自己在課程學(xué)習(xí)方面沒什么問題，想要盡快投入科研。經(jīng)過交談，導(dǎo)師了解了她的訴求，開始讓她參與到科研項目中，而且是做比較難的項目。

李博最初跟著導(dǎo)師做了許多從博弈論角度研究安全問題的項目。博弈論是當時機器學(xué)習(xí)安全研究所采用的一個主流方法論。機器學(xué)習(xí)模型的交互過程可以建立為一個博弈模型，在一個博弈（Game）中，有兩個參與者，分別是攻擊者（Attacker）和防御者（Defender）。研究人員的目標是找出一個均衡博弈狀態(tài)，即最優(yōu)解，讓防御者贏得博弈，從而提高機器學(xué)習(xí)模型的魯棒性。

沿著這個方向，李博做了一系列的研究。比如，在對垃圾郵件和惡意軟件進行檢測的研究上，對抗性環(huán)境中的攻擊者通常會故意避開用于檢測它們的分類器。為了解決這個問題，李博與導(dǎo)師研究了攻擊的目標建模算法，發(fā)現(xiàn)常用的「特征篩選」會導(dǎo)致模型更加容易被攻擊。為此，他們提出一個基于「Stackelberg Game」的優(yōu)化學(xué)習(xí)模型，在特征篩選和對抗規(guī)避之間進行權(quán)衡，尋求最優(yōu)解，從而獲得魯棒性算法。這篇論文被 NeurIPS 2014 接收，成為后來很多機器學(xué)習(xí)安全研究的主要參考工作之一，至今已被引用上百次。

論文地址：https://papers.nips.cc/paper/2014/file/8597a6cfa74defcbde3047c891d78f90-Paper.pdf

隨著研究的深入，李博在機器學(xué)習(xí)模型的安全性方面做出了許多開創(chuàng)性的重要成果。比方說，在被NeurIPS 2016 接收的一項工作中，李博首次提出了針對推薦系統(tǒng)的投毒攻擊。投毒攻擊（Poisoning Attack），是指在機器學(xué)習(xí)模型的訓(xùn)練階段，惡意攻擊者可以修改一小部分訓(xùn)練數(shù)據(jù)，從而使得模型在測試階段做出符合攻擊者預(yù)期的錯誤判斷。李博與導(dǎo)師以及 CMU 的學(xué)者合作，展示了對協(xié)同過濾（Collaborative Filtering）這種系統(tǒng)推薦技術(shù)的數(shù)據(jù)投毒攻擊，并提出了相應(yīng)的防御算法，在真實世界中得到了有效性驗證。

論文地址：https://arxiv.org/pdf/1608.08182.pdf

目前，投毒攻擊（包括后門攻擊）已經(jīng)在不同的深度學(xué)習(xí)模型中被廣泛研究，而李博的這項早期研究事實上為學(xué)界后續(xù)的一系列工作奠定了深厚的理論基礎(chǔ)。比如最近她和團隊提出的針對后門攻擊的、可驗證的深度學(xué)習(xí)模型魯棒性同樣是「史上首次」，為防御后門攻擊的模型的魯棒性提供了理論保證。

另外，在隱私數(shù)據(jù)保護方面，李博開發(fā)了可擴展的隱私保護數(shù)據(jù)生成模型，并用來生成具有隱私保護的醫(yī)療病例數(shù)據(jù)。這項工作還被集成在開源工具 MITRE Identification Scrubber Toolkit (MIST)中。

博士期間的李博一直保持著非常高產(chǎn)出的狀態(tài)：25篇會議論文，11篇期刊論文，還有各種榮譽獎項。2015年，李博還獲得了賽門鐵克研究實驗室獎學(xué)金，該獎項全球僅有 3 人入選，用于獎勵在計算機安全領(lǐng)域做出創(chuàng)新性工作的學(xué)者。這些成績都是李博在這五年抓緊每分每秒努力做科研的結(jié)果，相信「天才在于勤奮」的她，直到現(xiàn)在也是保持著每天從早上九點工作到凌晨的日常。

2016年，名字帶「博」的李博，終于正式成為了一名博士。

李博打算繼續(xù)留在學(xué)術(shù)界，這也是她一直以來的規(guī)劃。她認為，在學(xué)術(shù)界的好處是可以更自由地去探索一些自己特別感興趣的問題，即使這些探索可能沒法很快「變現(xiàn)」，但從長遠來看，它們可能具有很重要的價值。不過，李博也談到在工業(yè)界做研究亦有其不同的優(yōu)勢，比如工業(yè)界可以提供更豐富的數(shù)據(jù)資源，也會提出更多具有實際應(yīng)用價值的問題。所以，李博后來也去積極地嘗試與工業(yè)界展開一些合作。

申請教職時，李博在一個月里輾轉(zhuǎn)飛到美國各個城市去面試，最終獲得了包括伊利諾伊大學(xué)香檳分校（UIUC）在內(nèi)的多個大學(xué)的錄取。

在 CS Ranking 上，UIUC 在 AI 領(lǐng)域排名全球第三，那里做機器學(xué)習(xí)和計算機安全方向的大牛非常多，但當時做「機器學(xué)習(xí)安全」的學(xué)者卻沒有多少。李博認為這其實是一個很好的機會，未來她的合作者都將是一群非常優(yōu)秀的科學(xué)家，肯定能在科研上獲得高質(zhì)量產(chǎn)出。就這樣，李博最終選擇了 UIUC。

拿到教職 offer 后，李博選擇花一年時間去加州大學(xué)伯克利分校做博士后研究，博士后的導(dǎo)師就是全球知名的「計算機安全教母」宋曉冬教授（Dawn Song）。這一年，李博接觸和認識了更多可信機器學(xué)習(xí)的研究者，還拓展了跟工業(yè)界的聯(lián)系，從而注意到更多真實世界中的問題。

李博與宋曉冬在對抗機器學(xué)習(xí)方面合作了許多重要研究，涉及視覺分類的物理攻擊、后門投毒攻擊、GAN 生成對抗樣本、對抗性子空間的局部內(nèi)在維度表征、空間轉(zhuǎn)換的對抗樣本、物體檢測器的物理對抗、深度神經(jīng)網(wǎng)絡(luò)的黑盒攻擊等等。

其中一項在魯棒機器學(xué)習(xí)領(lǐng)域堪稱為里程碑式的研究，這便是李博與宋曉冬等人合作的“Robust physical-world attacks on deep learning visual classification”。在這項工作中，他們以自動駕駛中的安全問題為切入點，最早證明了對抗樣本對深度神經(jīng)網(wǎng)絡(luò)的攻擊可以存在于物理世界中。這項工作被 CVPR 2018 接收，在當時產(chǎn)生了極大的領(lǐng)域影響力，多次被《連線》、《紐約時報》、《財富》、IEEE Spectrum 等媒體報道，論文目前已經(jīng)被引用1800余次，是李博所有論文中被引用次數(shù)最多的一篇。

論文地址：https://openaccess.thecvf.com/content_cvpr_2018/papers/Eykholt_Robust_Physical-World_Attacks_CVPR_2018_paper.pdf

以往的對抗機器學(xué)習(xí)研究主要囿于對數(shù)字世界里模型的觀察，比如研究者可以對圖像的像素加以肉眼無法識別的微小改動，模型就會因此被愚弄和攻擊。

而李博想要知道的是，模型的對抗攻擊在現(xiàn)實物理世界中是否也會發(fā)生？

當時已經(jīng)有不少研究者都提出了這個重要疑問，但還沒有人真的去做驗證。李博對這個有趣又有挑戰(zhàn)性的問題躍躍欲試，決定選取自動駕駛的 AI 系統(tǒng)對路標的視覺識別作為證明角度。

一般情況下，如果一個 AI 模型在大多數(shù)條件下都管用，比方說 90%，那這個模型就已經(jīng)足夠好了；但在性命攸關(guān)的自動駕駛場景中，90% 是遠遠不夠的。自動駕駛系統(tǒng)的安全性不足一直是這個行業(yè)的痛點，即使攻擊者無法攻破系統(tǒng)的「圍墻」，但仍可能通過對物理對象進行物理性改動來干擾系統(tǒng)，比如停車標志牌上的圖案被人為地涂抹、破壞后，可能會被系統(tǒng)錯誤地識別成限速標志牌，而車輛的每一次剎車或加減速的決策都需要絕對的安全，否則就有可能釀成慘劇。

因此，弄清楚 AI 系統(tǒng)的易受攻擊之處，并了解它為何會被攻擊、如何被攻擊，進而提高模型的魯棒性、最終提升自動駕駛系統(tǒng)的安全度，這些都是亟待解決的難題。

然而，要想證明物理世界中的模型同樣會有被攻擊的潛在危險，并不像在數(shù)字世界中那樣容易。路標這樣的物理對象使對抗性攻擊變得更加復(fù)雜，路標所處環(huán)境的多變性，光照、天氣、地面清潔度、距離等因素都會影響生成物理對抗樣本的魯棒性。因此，李博和她的團隊設(shè)計了新的優(yōu)化方法來完成對黑盒 AI 系統(tǒng)的物理攻擊。

李博帶上團隊里的幾個博士生，去各種場地拍攝了大量的路牌照片來訓(xùn)練模型。他們在停車牌上模擬人的隨手涂鴉，貼上黑色或白色的小塊貼紙，并且不遮擋路牌上 “STOP” 或右轉(zhuǎn)向箭頭的整體樣式。

這些貼紙看似隨意，但卻是經(jīng)過精心設(shè)計的物理干擾，當人類司機看到這樣的路牌時，基本上不會認錯，但若是一輛自動駕駛汽車向一個寫著“STOP SIGN”的路牌駛近，攝像頭的感知系統(tǒng)就會將它們誤認為是 45 英里/小時的限速標志牌，而不會立即停車。另外，右轉(zhuǎn)向路牌也會被錯誤識別為停車路牌。

實驗顯示，無論拍攝標志牌的距離和角度如何，在所有場景下，對自動駕駛車輛系統(tǒng)的物理攻擊都是成功的！

掌握了關(guān)于這些可能存在的攻擊信息后，研究者就可以制定策略來訓(xùn)練出更強大的模型。李博在攻擊者和防御者之間建立博弈模型，讓 AI 系統(tǒng)相互對抗，使用一個神經(jīng)網(wǎng)絡(luò)來識別和利用另一個系統(tǒng)的漏洞。這樣一個過程可以讓目標網(wǎng)絡(luò)的訓(xùn)練所具有的缺陷都顯露出來，然后就能有效地去修補這些缺陷、防御潛在的攻擊。

李博和她的合作者成功地向人們表明，圖像分類系統(tǒng)對物理對象的對抗性擾動具有很強的敏感性，這種敏感性在真實世界中的潛在后果是不堪設(shè)想的。

如李博所期望的那樣，這項研究喚起了人們對物理學(xué)習(xí)系統(tǒng)可能面臨攻擊這個事實的重視。不僅在學(xué)術(shù)界引起熱議，而且?guī)砹艘徊üI(yè)界的研究熱情。IBM 受到該研究啟發(fā)，開發(fā)了類似的技術(shù)為其「初代 AI 界老大哥」 Watson AI 系統(tǒng)提供安全保障。亞馬遜將該研究成果運用到智能音箱 Alexa 中。還有一些自動駕駛汽車公司，也在使用該研究來提高機器學(xué)習(xí)模型的魯棒性。

這項工作的影響力之大，還吸引了英國倫敦科技博物館的目光。2019年6月，博物館正在策劃一次藏品展出，鑒于該研究所具有的時代意義，他們聯(lián)系到李博的團隊，買下了對抗路標實物，將其存放在永久收藏柜里。

圖注：英國科技博物館展出李博團隊生成的對抗性路標

今天，這塊路牌仍然被陳列在這座有著一百五十多年歷史的老博物館里。在可信機器學(xué)習(xí)的新浪潮下，它仿佛一朵激揚的大浪花，向世人警醒著：AI 技術(shù)一次次地經(jīng)歷著令人驚嘆的更新?lián)Q代，但「水滿則溢」，技術(shù)背后的安全隱患也已經(jīng)到了不能再假裝其不存在的地步。

「通過設(shè)計新方法來『愚弄』 AI ，從而使 AI 變得更安全」，這是李博在 2020 年憑借這項成果入選 MIT 科技評論「 35 歲以下的 35 位技術(shù)創(chuàng)新者」全球榜單的理由。31歲的她，在對抗機器學(xué)習(xí)領(lǐng)域已經(jīng)做出了引領(lǐng)性的出色研究。

結(jié)束了一年的博士后研究，李博回到 UIUC 正式開始執(zhí)教生涯、繼續(xù)創(chuàng)造新的科研突破。

在先前關(guān)于對抗攻擊策略的研究的基礎(chǔ)上，她提出了一系列新方法來提高 AI 系統(tǒng)的魯棒性。比如利用數(shù)據(jù)的時域相關(guān)性和空間相關(guān)性來檢測惡意樣本。她利用時域相關(guān)性去檢測惡意音頻樣本的工作被收錄在 ICLR 2019，后來還被 IBM 應(yīng)用在 Watson 語音識別系統(tǒng)中。在利用空間相關(guān)性來檢測惡意對抗圖像樣本方面，李博也提出了第一個可以有效抵抗自適性攻擊的惡意樣本識別算法。

圖注：利用時域連續(xù)性檢測惡意語音樣本

圖注：利用空間連續(xù)性檢測惡意圖像

為了生成更加有效的對抗樣本，李博進一步提出了「對抗神經(jīng)網(wǎng)絡(luò)」，在  MNIST  對抗攻擊挑戰(zhàn)賽（Adversarial Attack Challenge） 的排行榜上獲得了 Top 1 的成績，這再次證明了她提出的「對抗樣本建模」原則的價值與可行性。同時，在視覺任務(wù)上，李博引入一種「無限制對抗性攻擊」的方法，通過修改圖像的顏色、紋理等細節(jié)來對 AI 系統(tǒng)成功實現(xiàn)了攻擊，并設(shè)立了評估機器學(xué)習(xí)系統(tǒng)對抗各種攻擊的魯棒性的基準。

在機器學(xué)習(xí)模型的隱私保護上，李博也再次交出了「第一」的答卷。她和團隊提出的 DataLens 模型第一次實現(xiàn)了高維連續(xù)數(shù)據(jù)的具有隱私保證的數(shù)據(jù)生成。這項工作不僅證明了生成數(shù)據(jù)滿足差分隱私的要求，還首次在理論上證明了這類生成模型的收斂性，系統(tǒng)地分析了系統(tǒng)效率和生成數(shù)據(jù)質(zhì)量之間的權(quán)衡問題。

圖注：具有差分隱私保證的高維數(shù)據(jù)生成模型

相關(guān)論文地址：

https://arxiv.org/pdf/1810.05162.pdf

https://arxiv.org/pdf/1904.06347.pdf

https://arxiv.org/pdf/2103.11109.pdf

3 可信 AI的未來：引入邏輯推理

如今，“可信機器學(xué)習(xí)/可信人工智能”成為一個熱門的研究領(lǐng)域，魯棒性、隱私性、公平性、可解釋性是可信機器學(xué)習(xí)的四個核心構(gòu)成，每個方面都有許多學(xué)者在探索鉆研。李博在 UIUC 領(lǐng)導(dǎo)的「安全學(xué)習(xí)實驗室」小組也正在致力于解決這些子問題。

圖注：李博與實驗室的學(xué)生合影

李博的課題組目前主要開展的工作包括：

可驗證的魯棒性機器學(xué)習(xí)：優(yōu)化機器學(xué)習(xí)模型以對抗惡意攻擊，并提供可驗證的魯棒性。

具有隱私保護的機器學(xué)習(xí)和數(shù)據(jù)分析：探索差分隱私、同態(tài)加密和信息理論分析等技術(shù)，在實踐中實現(xiàn)隱私保護。

機器學(xué)習(xí)的泛化性：基于泛化性與魯棒性、隱私性之間的聯(lián)系，通過優(yōu)化其他屬性來改進機器學(xué)習(xí)的泛化性能。

在李博看來，這些問題之間緊密相關(guān)：「經(jīng)過幾年研究，我深深地體會到這些子問題之間其實不是相互獨立的，它們之間有很本質(zhì)的內(nèi)在聯(lián)系?！?/p>

例如，他們證明了在聯(lián)邦學(xué)習(xí)中，如果模型滿足差分隱私，那么它的魯棒性也可以被表示為隱私對應(yīng)的參數(shù)；此外，機器學(xué)習(xí)模型的魯棒性和模型泛化性在滿足某些條件下是可以互為充分條件的。

圖注：魯棒性、隱私性、泛化性之間的關(guān)系

目前的可信機器學(xué)習(xí)還未對這些子問題之間的互相關(guān)聯(lián)予以太多關(guān)注，但李博相信，如果可以更多地發(fā)掘這些子問題之間本質(zhì)性的關(guān)聯(lián)，我們就不必重造車輪，而是可以利用一些子問題的研究成果來提供更多原則和理論基礎(chǔ)，給其他可信機器學(xué)習(xí)的子問題帶來解決方案。若只單獨研究其中的每一個，就會產(chǎn)生重復(fù)性勞動，也很難發(fā)現(xiàn)最基礎(chǔ)、最本質(zhì)的問題。

秉持著這種研究思路，李博對于課題組內(nèi)博士生科研方向的「排兵布陣」也是考慮良多。興趣優(yōu)先，因材施教，組里11個博士生在可信機器學(xué)習(xí)的大框架下做著不同方向的研究，有的專攻可驗證魯棒性，有的研究自然語言處理方向的魯棒性和隱私性問題，還有的學(xué)生是從聯(lián)邦學(xué)習(xí)的角度來做魯棒性和隱私性研究，這樣大家就可以展開很多有效的合作。

圖注：在李博教授的Trustworthy Machine Learning課程期末，博士生展示項目海報

最近，在可信機器學(xué)習(xí)的研究上，李博又邁出了關(guān)鍵的一步?；谶@幾年對相關(guān)問題的深入思考，她正在探索一種新的方法論——基于邏輯推理的可信機器學(xué)習(xí)。在李博看來，這就是可信機器學(xué)習(xí)的未來。

幾乎沒有模型不會被攻擊，問題是，如何防御攻擊？近年來，防御攻擊的工作正在面臨一個難題：當我們檢測到攻擊時，會研究相應(yīng)的防御攻擊的手段；然而，新的攻擊形式很快又會出現(xiàn)，這就需要我們再去找出新的防御方法......所謂「道高一尺，魔高一丈」，攻擊防不勝防。這樣的循環(huán)什么時候才是盡頭？

李博認為，可驗證的魯棒性能夠終止這種「攻防循環(huán)」。

那么，機器學(xué)習(xí)魯棒性的可驗證性有什么用？

李博介紹，在某些攻擊條件下，可驗證性本質(zhì)上可以為模型的精度設(shè)置一個下限。比如針對某種攻擊的防御手段，其下限為90%，那么就能保證模型的精度不會下降到這個數(shù)字以下。也就是說，無論攻擊者使出什么招數(shù)，只要攻擊防御不超過這個界限，就能保證模型的性能。

總體上，可驗證魯棒性有兩種研究范式，一種是決定論的，另一種是概率論的，兩種角度下各有許多不同的細分路徑。但整體來說，它們?nèi)源嬖谝粋€缺點，即攻擊的條件非常有限，目前只能去驗證很小一部分的防御方法。

圖注：可驗證魯棒性的研究路徑

推理，是李博提供給這個問題的解決思路。

目前，幾乎所有的機器學(xué)習(xí)模型都是純數(shù)據(jù)驅(qū)動的，人類的先驗知識、經(jīng)驗、推理等信息都沒有被建立模型。這種現(xiàn)狀可以說是深度學(xué)習(xí)革命的大獲成功所帶來的。在2019年的圖靈獎演講中，Geoffrey Hinton 曾談到了兩種使計算機智能化的方法。其一，他稱之為「智能設(shè)計」，即將特定任務(wù)的知識傳授給計算機；其二，便是「學(xué)習(xí)」，即人類只向計算機提供示例。話里話外，Hinton 都表達了他對第一種方法的否定。

但不得不承認，已有的提高模型魯棒性所使用的統(tǒng)計方法已經(jīng)遇到了一個瓶頸，有必要引入一些顯性信息，如域知識、邏輯推理等。比如在“Stop Sign”這項研究中，人類基于生活經(jīng)驗，很容易就能從路牌圖案的整體輪廓中判斷出它是不是一個停車標志，但模型卻并不具備這種能力。

因此，李博想到，若能使用邏輯推理來幫助模型，就能獲得更好的魯棒性。我們可以用知識限定攻擊條件和場景，比如「在中國車輛靠右行駛」這樣的生活常識，以及「如果一個人在橫穿馬路，車輛行到跟前不停下的話，會發(fā)生什么？」這樣的因果推理知識。

李博告訴 AI 科技評論，目前，她的團隊已經(jīng)有一些正在進行的項目在實踐這種方案，比如用馬爾科夫邏輯網(wǎng)絡(luò)（Markov Logic Networks）來將一階邏輯表達出來，然后利用概率圖模型（Probabilistic Graphical Models ）做推理，從而發(fā)現(xiàn)并自動糾正純統(tǒng)計型模型（Statistical Model ）被攻擊的預(yù)測。

他們的研究表明，將人的知識、推理邏輯與純數(shù)據(jù)驅(qū)動的模型結(jié)合起來，確實可以大幅度提高圖像和NLP模型的可驗證魯棒性，即使是在大規(guī)模數(shù)據(jù)集上效果也非常好。

圖注：感知-推理示例，感知組件由用于其子任務(wù)的不同神經(jīng)網(wǎng)絡(luò)組成，推理組件是一個因子圖。

可信機器學(xué)習(xí)涵蓋機器學(xué)習(xí)的方方面面。在 NLP 任務(wù)中，可信機器學(xué)習(xí)可以解決錯誤分詞、錯誤翻譯等問題；在視覺方面，可信機器學(xué)習(xí)則旨在確保模型具有準確的預(yù)測能力，且不會被微小的惡意擾動所攻擊；在聯(lián)邦學(xué)習(xí)中，可信機器學(xué)習(xí)則更關(guān)注如何解決中心模型被惡意用戶破壞的問題。這些不同任務(wù)有著共同的底層邏輯，那便是預(yù)防在訓(xùn)練或者判斷階段中的惡意攻擊，保障模型的魯棒性和數(shù)據(jù)的隱私性。

所以，李博對可驗證魯棒性的關(guān)注也自然地延伸到這些不同的機器學(xué)習(xí)任務(wù)當中，做了一些有益的探索。比如她的團隊提出了針對聯(lián)邦學(xué)習(xí)和自動駕駛中激光雷達點云識別的可驗證魯棒性，為可驗證AI提供了在真實世界場景中的可行性。

圖注：聯(lián)邦學(xué)習(xí)的可驗證魯棒性

圖注：激光雷達點云識別的可驗證魯棒性

在開發(fā)算法和可驗證方法論的同時，李博和她的團隊也為社區(qū)貢獻了各種基準來幫助訓(xùn)練和評估針對不同任務(wù)的算法。例如，他們提出了針對自然語言的大型可信基準 AdvGlue、針對強化學(xué)習(xí)算法的可驗證魯棒性基準 CROP、 COPA ，以及針對自動駕駛真實場景的安全測試場景基準 SafeBench 等等?！竎urrently data is the oil in the modern world，所以不同的benchmark也會更有效的提高可信AI的生產(chǎn)力」，李博這樣解釋這些工作的動機。

圖注：對抗自然語言基準（地址：https://adversarialglue.github.io）

圖注：自動駕駛惡意場景基準（地址：https://safebench.github.io/leaderboard/index.html）

4 人工智能，福兮

AI 的終極歸宿是應(yīng)用在真實世界，造福人類，李博的研究都來源于、扎根在且落回到真實世界中。

在工業(yè)界，有許多機器學(xué)習(xí)模型應(yīng)用于真實世界，所以安全性是工業(yè)界也同樣非常重視的問題。李博在這方面與工業(yè)界保持著積極合作，比如亞馬遜的欺詐檢測模型、Facebook廣告推薦系統(tǒng)的隱私保護、eBay的交易圖等等。

另外，她也與國內(nèi)的互聯(lián)網(wǎng)公司如百度、騰訊、螞蟻等有過魯棒性和隱私性方面的合作。比如，在與螞蟻的可信 AI 研究團隊的合作中，為了測試他們的人臉識別系統(tǒng)的易受攻擊性，李博團隊設(shè)計算法，在螞蟻提供的API上進行評估，發(fā)現(xiàn)系統(tǒng)果然可以被攻擊。她進而提出一些防御攻擊的方案，在螞蟻的平臺上實現(xiàn)相應(yīng)的算法，以防止人臉識別系統(tǒng)遭受惡意攻擊，最終收獲了不錯的效果。

在可信機器學(xué)習(xí)領(lǐng)域深耕數(shù)年，李博的卓越成就已經(jīng)為她贏得了許多榮譽獎項，比如亞馬遜網(wǎng)絡(luò)服務(wù)機器學(xué)習(xí)研究獎、 Facebook 研究獎、NSF CAREER 獎、英特爾新星獎等等。

今年 2 月，因為在可信機器學(xué)習(xí)領(lǐng)域的杰出工作，李博獲得了具有「諾貝爾獎風(fēng)向標」之稱的斯隆研究獎。值得注意的是，與她一同獲獎的還有另外三位人工智能領(lǐng)域的華人女性科學(xué)家，她們分別是陳丹琦、方飛和宋舒然。

李博對女性科研工作者的影響力不斷擴大感到欣慰：「其實我的組里就有蠻多女生的，我一直覺得女生很能夠focus，如果認真做（科研）的話，我覺得可以做得很好，所以我蠻鼓勵女性學(xué)者能夠不要在意周圍的眼光，如歲數(shù)大之類的評價，就去做自己喜歡做的事情，不要太在意別人，我覺得你就可以做得很好。我覺得女生和男生在科研能力上沒有什么差別?！?/p>

就在上個月，身為 AI 領(lǐng)域杰出青年科學(xué)家的李博，還被授予 IJCAI 2022 年計算機與思想獎，以表彰她在機器學(xué)習(xí)魯棒性方面的貢獻，包括發(fā)現(xiàn) AI 魯棒性、隱私性和泛化性之間的內(nèi)在聯(lián)系，揭示各種模型的易受攻擊性，以及提出數(shù)學(xué)方法來彌補模型的漏洞，為機器學(xué)習(xí)模型和隱私保護提供魯棒性保障。

未來，李博將繼續(xù)她在可信機器學(xué)習(xí)領(lǐng)域的探索，為 AI 在真實世界中的應(yīng)用保駕護航。（公眾號：雷峰網(wǎng)）

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。