雷鋒網(wǎng)按：本文由圖普科技工程師翻譯自《How To Fool AI Into Seeing Something That Isn’t There》。雷鋒網(wǎng)獨(dú)家文章。

軟件工程師也是人，而人類總會(huì)犯錯(cuò)誤，所以我們的機(jī)器上總是充斥著安全漏洞。在構(gòu)建驅(qū)動(dòng)這些計(jì)算系統(tǒng)的軟件時(shí)，他們可能讓代碼運(yùn)行在了錯(cuò)誤的地方，把數(shù)據(jù)儲(chǔ)存在了錯(cuò)誤的地方，或許他們儲(chǔ)存了太多數(shù)據(jù)。林林總總的安全漏洞成為了黑客的攻擊對(duì)象，而且他們?cè)诠魰r(shí)毫不手軟。

 但即使是讓人工智能取代那些軟件工程師，風(fēng)險(xiǎn)仍然存在。AI也會(huì)犯錯(cuò)，正如谷歌和一個(gè)由特斯拉創(chuàng)始人Elon Musk啟動(dòng)的創(chuàng)業(yè)公司OpenAI的研究人員發(fā)布的一篇新論文里面描述的，這些風(fēng)險(xiǎn)在那些不斷地改造我們的計(jì)算機(jī)系統(tǒng)的新型AI里非常嚴(yán)重，尤其是當(dāng)AI接觸監(jiān)控?cái)z像機(jī)，傳感器等分布在世界各地的電子設(shè)備時(shí)，它們可以變得非常高危 。“這是一個(gè)每個(gè)人都應(yīng)該思考的問題”，OpenAI研究人員，前谷歌員工Ian Goodfellow說，他與現(xiàn)任的Google研究人員Alexey Kurakin和Samy Bengio一起寫了這篇論文。

| 看到不存在的東西

 隨著可以通過分析大量的數(shù)據(jù)來學(xué)習(xí)零散的任務(wù)的人工智能分支－深層神經(jīng)網(wǎng)絡(luò)的興起，我們正在走向一個(gè)新的潮流：比起直接讓我們的計(jì)算機(jī)執(zhí)行服務(wù)，我們會(huì)為訓(xùn)練機(jī)器寫更多的代碼。

而在Facebook、Google和微軟這類互聯(lián)網(wǎng)龍頭企業(yè)內(nèi)部，這種趨勢(shì)早已變成現(xiàn)實(shí)。

馬克·扎克伯格和他的公司在世界最受歡迎的社交網(wǎng)絡(luò)上用數(shù)百萬的圖片訓(xùn)練神經(jīng)網(wǎng)絡(luò)去識(shí)別人臉。Google使用大量的口語詞匯訓(xùn)練神經(jīng)網(wǎng)絡(luò)去識(shí)別安卓手機(jī)的語言指令。在未來，我們將創(chuàng)造智能機(jī)器人和無人駕駛汽車。

今天，神經(jīng)網(wǎng)絡(luò)不僅能識(shí)別物體，動(dòng)物，標(biāo)志和其他書面語言，而且他們能夠非常好地識(shí)別出人臉和語音。但是它們也會(huì)犯錯(cuò)——有時(shí)候甚至?xí)敢恍┫胂蟛坏降腻e(cuò)誤。Kurakin說：“沒有完美的機(jī)器學(xué)習(xí)系統(tǒng)”。事實(shí)上，在某些情況下，你可以欺騙這些系統(tǒng)，讓它們以為自己看到或聽到了實(shí)際上不存在的東西。

Kurakin解釋說，只要非常細(xì)微地改變一個(gè)圖像，神經(jīng)網(wǎng)絡(luò)就會(huì)認(rèn)為這個(gè)圖像包含了一些它實(shí)際上并沒有的東西，這些改變是人類的肉眼也許也感覺不到的——有時(shí)改變僅僅是在圖片的各處隨意添加了幾個(gè)像素。他說，你可以改變大象的照片的幾個(gè)像素，然后欺騙神經(jīng)網(wǎng)絡(luò)讓它認(rèn)為這是一輛汽車。像Kurakin這樣的研究人員把這些稱為“對(duì)抗樣本”。它們也是神經(jīng)網(wǎng)絡(luò)的安全漏洞之一。

Kurakin，Bengio和Goodfellow在他們的新論文中表明，神經(jīng)網(wǎng)絡(luò)即使被用于識(shí)別直接從相機(jī)或其他傳感器傳過來的數(shù)據(jù)，可能也會(huì)存在同樣的漏洞。想象一下，如果有一個(gè)利用一個(gè)基于神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別技術(shù)來控制一個(gè)絕密的設(shè)施的出入權(quán)限的系統(tǒng)，Kurakin說，你只需在你的臉上畫一些點(diǎn)就可以輕易欺騙它，讓它認(rèn)為你是另外一個(gè)人。

Goodfellow說，這種類型的攻擊幾乎可以用于任何形式的機(jī)器學(xué)習(xí)算法，不僅包括神經(jīng)網(wǎng)絡(luò)，還包括決策樹和支持向量機(jī)——那些在十幾年來一直廣受歡迎，幫助機(jī)器從數(shù)據(jù)中學(xué)習(xí)規(guī)律的算法。事實(shí)上，他認(rèn)為類似的攻擊已經(jīng)在現(xiàn)實(shí)世界中實(shí)踐。他猜測(cè)金融公司很可能正在使用這些漏洞去欺騙競(jìng)爭(zhēng)對(duì)手所使用的交易系統(tǒng)。“他們可以偽造一些交易，誘使他們的競(jìng)爭(zhēng)對(duì)手以低于真實(shí)價(jià)值的價(jià)格去拋售股票，”他說，“然后他們就可以以低價(jià)格買進(jìn)股票?！?/span>

在他們的論文中，Kurakin和Goodfellow通過在一張紙上打印一個(gè)敵對(duì)的圖像并將這張紙展示給相機(jī)來欺騙神經(jīng)網(wǎng)絡(luò)。但他們認(rèn)為更微小的攻擊也可以有效果——比如前面的在人臉上加一些像素點(diǎn)的例子。Goodfellow說：“我們不確定我們?cè)诂F(xiàn)實(shí)世界中可以做的是哪些，但我們的研究表明這是可能的。”“我們證明了我們可以欺騙相機(jī)，我們認(rèn)為存在各種各樣的攻擊途徑，包括通過添加人類看不見的標(biāo)識(shí)來欺騙一個(gè)人臉識(shí)別系統(tǒng)?！彼a(bǔ)充道。

| 一場(chǎng)難以實(shí)現(xiàn)的騙局

雖然這決不是一件容易實(shí)現(xiàn)的事情，但要欺騙神經(jīng)網(wǎng)絡(luò)，你不一定需要知道它是如何設(shè)計(jì)或者它是通過什么數(shù)據(jù)訓(xùn)練的。正如前面的研究展示，如果你能建立一個(gè)對(duì)抗性樣本來欺騙你自己的神經(jīng)網(wǎng)絡(luò)，它也可能也可以欺騙其他處理相同任務(wù)的神經(jīng)網(wǎng)絡(luò) 。

換句話說，如果你可以欺騙一個(gè)圖像識(shí)別系統(tǒng)，你或許就可以欺騙另一個(gè)。Kurakin說“你可以用另一個(gè)系統(tǒng)去制作一個(gè)對(duì)抗性樣本，而這個(gè)樣本會(huì)更有可能欺騙你的神經(jīng)網(wǎng)絡(luò)。”

Kurakin特別強(qiáng)調(diào)，這些是小的安全漏洞。他說，在理論上它們是一個(gè)問題，但是在現(xiàn)實(shí)世界中，精準(zhǔn)攻擊是很困難的——除非攻擊者把點(diǎn)按照完美的模式畫在她的臉上，否則什么都不會(huì)發(fā)生。然而，這種漏洞是真實(shí)存在的。隨著神經(jīng)網(wǎng)絡(luò)在現(xiàn)代世界中發(fā)揮越來越大的作用，我們必須填補(bǔ)這些漏洞。但怎樣做呢——構(gòu)建更好的神經(jīng)網(wǎng)絡(luò)。

雖然這不容易，但這項(xiàng)工作正在進(jìn)行中。深層神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)理念是模仿大腦神經(jīng)元的網(wǎng)絡(luò)，這就是它們被稱為神經(jīng)網(wǎng)絡(luò)的原因。但歸根結(jié)底，它們只是一個(gè)龐大而復(fù)雜的數(shù)學(xué)運(yùn)算——層層相疊的微積分公式。這種公式是由像Kurakin和Goodfellow這樣的研究人員組建的，而他們都是人類。從本質(zhì)上來說，他們控制這些系統(tǒng)，而他們已經(jīng)在為消除這些安全漏洞絞盡腦汁。

Kurakin說，有一個(gè)選擇就是把對(duì)抗樣本加入到神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集里，教神經(jīng)網(wǎng)絡(luò)區(qū)別真實(shí)的和敵對(duì)的圖像。研究人員也在尋找其他的選擇，但他們并不能確定這些方法到底有沒有效果。歸根結(jié)底，想讓神經(jīng)網(wǎng)絡(luò)變得更好，我們?nèi)祟愖约菏紫纫粩噙M(jìn)步。

雷鋒網(wǎng)注：轉(zhuǎn)載請(qǐng)聯(lián)系我們授權(quán)，并保留出處和作者，不得刪減內(nèi)容。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。