使用谷歌人工智能開(kāi)源框架 TensorFlow 的人都要瑟瑟發(fā)抖了，這次是該框架本身的問(wèn)題。

12 月 15 日，雷鋒網(wǎng)報(bào)道，騰訊安全平臺(tái)部預(yù)研團(tuán)隊(duì)發(fā)現(xiàn)谷歌人工智能學(xué)習(xí)系統(tǒng) TensorFlow 存在自身安全風(fēng)險(xiǎn)，可被黑客利用帶來(lái)安全威脅。這次威脅還不小，攻擊者可以生成 Tensorflow 的惡意模型文件，對(duì) AI 研究者進(jìn)行攻擊，對(duì)受害者自身的 AI 應(yīng)用進(jìn)行竊取或篡改、破壞。該框架在谷歌、ebay、airbnb、twitter、uber、小米、中興等公司均有使用，這意味著，影響范圍不小。

12 月 16 日，雷鋒網(wǎng)宅客頻道（微信公眾號(hào)：letshome）與發(fā)現(xiàn)此次安全威脅的騰訊安全平臺(tái)預(yù)研團(tuán)隊(duì)取得聯(lián)系，探尋此次威脅發(fā)現(xiàn)的始末以及修復(fù)難度。

以下是雷鋒網(wǎng)宅客頻道與騰訊安全平臺(tái)預(yù)研團(tuán)隊(duì)的問(wèn)答實(shí)錄：

1.到底問(wèn)題在哪里，是什么問(wèn)題？

騰訊安全平臺(tái)預(yù)研團(tuán)隊(duì)：漏洞發(fā)生在 Tensorflow 處理AI模型的時(shí)候，屬于邏輯型的漏洞。

2.影響到底多大？

騰訊安全平臺(tái)預(yù)研團(tuán)隊(duì)：所有 Tensorflow 版本，包括最新的移動(dòng)版 Tensorflow lite。

成功的攻擊（讓 AI 研發(fā)或者開(kāi)發(fā)人員使用有漏洞利用代碼的 AI 模型）可以完整控制整個(gè) AI 。危害取決于 AI 本身用于什么工作。如果是自動(dòng)駕駛的 AI，就可以導(dǎo)致車毀人亡；如果是人臉驗(yàn)證的 AI，就可以誤導(dǎo)驗(yàn)證邏輯。

引用一個(gè)第三方的觀點(diǎn)。上海信息安全行業(yè)協(xié)會(huì)專委會(huì)副主任張威認(rèn)為，此次發(fā)現(xiàn)的漏洞由于可以使他人獲得人工智能應(yīng)用場(chǎng)景里的系統(tǒng)權(quán)限，這也意味著其可以拿到很多頂層數(shù)據(jù)。而當(dāng)前參與人工智能開(kāi)發(fā)的企業(yè)多是算法和數(shù)據(jù)相結(jié)合，有關(guān)數(shù)據(jù)可能涉及核心秘密，因此風(fēng)險(xiǎn)較高。

他建議，政府應(yīng)盡快組織篩查使用該套平臺(tái)編程的部門(mén)，確定影響范圍，尤其是涉及國(guó)家安全和國(guó)家秘密的敏感部門(mén)是否也使用過(guò)該套平臺(tái)，同時(shí)在人工智能的編程平臺(tái)上加強(qiáng)審查。

3.12 月初，有消息稱 TensorFlow、Caffe、Torch 這三大深度學(xué)習(xí)框架所使用的大量第三方開(kāi)源基礎(chǔ)庫(kù)存在不少網(wǎng)絡(luò)安全漏洞。你們這次的發(fā)現(xiàn)和前面這種安全風(fēng)險(xiǎn)有什么明顯區(qū)別？

騰訊安全平臺(tái)預(yù)研團(tuán)隊(duì)：以前其他團(tuán)隊(duì)發(fā)現(xiàn)的 TensorFlow 漏洞是 TensorFlow 使用的外部組件的問(wèn)題（可以理解為手機(jī)使用的其他廠商的內(nèi)存有問(wèn)題而不是手機(jī)廠商自身的問(wèn)題），這次我們發(fā)現(xiàn)的這個(gè)是 TensorFlow自身的問(wèn)題，是 TensorFlow 第一個(gè)官方承認(rèn)的安全漏洞，官方也意識(shí)到 TensorFlow 的安全問(wèn)題可能帶來(lái)的危害，所以計(jì)劃像其他大量使用的軟件一樣專門(mén)開(kāi)辟一個(gè)安全公告頁(yè)面。

4.修復(fù)需要多久？修復(fù)難度在哪里？在這段“時(shí)間差”里，使用者怎么辦？

騰訊安全平臺(tái)預(yù)研團(tuán)隊(duì)：Google TensorFlow 工程師團(tuán)隊(duì)還在討論修復(fù)方案，目前看需要重新設(shè)計(jì) AI 模型輸入處理機(jī)制，因?yàn)檫@本身可以算是處理機(jī)制的問(wèn)題。對(duì)于 TensorFlow 使用者，等待 TensorFlow 版本更新即可。我覺(jué)得如果短期速成修復(fù)倒是可以比較快，長(zhǎng)期來(lái)看還是要在處理 AI 框架的機(jī)制上有規(guī)避這一類風(fēng)險(xiǎn)的措施才行。

使用這個(gè)開(kāi)源框架的人可能會(huì)遭到攻擊，因?yàn)檫@是個(gè)尚未公開(kāi)的漏洞，存在較大安全風(fēng)險(xiǎn)。這個(gè)漏洞出問(wèn)題的點(diǎn)是在處理 AI 模型的時(shí)候，一個(gè)攻擊場(chǎng)景是，黑客在網(wǎng)上提供一個(gè)AI 模型給大家用，大家下載回來(lái)一運(yùn)行就中招了?；蛘吆诳湍軌蚩刂颇硞€(gè)系統(tǒng)的 AI 模型就能實(shí)施攻擊。所以，使用 TensorFlow 的系統(tǒng)要注意不要使用有問(wèn)題/被黑客修改過(guò)的 AI 模型，最終防范還是要升級(jí)新版本。

雖然利用這個(gè)漏洞進(jìn)行攻擊成本很低，但發(fā)現(xiàn)難度還是有的，而且我們是首先發(fā)現(xiàn)這個(gè)漏洞，我們判斷，已經(jīng)掌握這個(gè)漏洞的人應(yīng)該很少或者沒(méi)有。一般來(lái)說(shuō)是跟隨下一個(gè)版本修復(fù)，谷歌現(xiàn)在的想法是，想從機(jī)制上解決（會(huì)涉及到 Tensorflow 一些 API 的調(diào)整），所以，可能會(huì)慢一些，時(shí)間點(diǎn)也沒(méi)有給。對(duì) Tensorflow 的使用者來(lái)說(shuō)，目前安心等官方出新版本升級(jí)比較好。

5.谷歌怎么回應(yīng)的？

騰訊安全平臺(tái)預(yù)研團(tuán)隊(duì): 提交報(bào)告后，谷歌第一反應(yīng)是跟我們討論，是否要在官網(wǎng)建立一個(gè)類似 Google android那樣的安全頁(yè)面，做安全致謝以及給研發(fā)人員的安全指引，目前這個(gè)安全頁(yè)面已經(jīng)在制作中。

谷歌與安全研究員的關(guān)系來(lái)說(shuō)是很好的，他們是很有安全意識(shí)的，對(duì)安全研究者挺好，騰訊的安全漏洞獎(jiǎng)勵(lì)計(jì)劃也參考了谷歌漏洞獎(jiǎng)勵(lì)計(jì)劃。TensorFlow 這個(gè)漏洞應(yīng)該還沒(méi)有納入谷歌漏洞獎(jiǎng)勵(lì)計(jì)劃，相信未來(lái)會(huì)納入。之前我們也給谷歌的安卓報(bào)過(guò)漏洞，拿過(guò)獎(jiǎng)金。

這次比較特殊的地方是，這次是谷歌旗下 TensorFlow 的首個(gè)漏洞，官方?jīng)]有處理過(guò)類似事件，可能還沒(méi)有建立這個(gè)流程，這塊我們也在和官方探討，推動(dòng)他們建立安全漏洞報(bào)告處理流程，更好地與安全研究團(tuán)隊(duì)協(xié)作。

6.你們還想強(qiáng)調(diào)的點(diǎn)。

騰訊安全平臺(tái)預(yù)研團(tuán)隊(duì)：AI 框架近兩年被用得很多，但是都沒(méi)有關(guān)注其安全性，這肯定會(huì)帶來(lái)安全風(fēng)險(xiǎn)，我們也會(huì)持續(xù)關(guān)注這里。目前已知的公開(kāi)發(fā)現(xiàn) AI 框架漏洞有兩個(gè)，一個(gè)是之前 360 發(fā)現(xiàn)的三個(gè) AI 框架引入的第三方組件帶來(lái)的漏洞，另一個(gè)是此次我們發(fā)現(xiàn)的框架本身的漏洞。經(jīng)過(guò)這兩次普及，安全研究員會(huì)持續(xù)關(guān)注，未來(lái)這里肯定還有更多的漏洞被發(fā)掘出來(lái)，當(dāng)然好的一面是漏洞會(huì)減少，也會(huì)提高大家對(duì)這里的安全意識(shí)。

比如，這次如果我們能讓谷歌把 TensorFlow 加入到漏洞獎(jiǎng)勵(lì)計(jì)劃 /  TensorFlow 建立安全漏洞處理機(jī)制，安全性肯定會(huì)大大提升。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。